node.jsのpuppeteer(ブラウザ自動操作)を使って、スクレイピングしてみた

node.jsのpuppeteer(ブラウザ自動操作)を使って、スクレイピングしてみた

node.jsは非同期がデフォだけど、スクレイピングは同期的な方が良いよな~。

1, 適当なフォルダを作って、適当な名前(scraping.js)で保存。
2, package.jsonがないから、npm init -y で生成
3, package.jsonの中身が空なので、npm installでパッケージがインストールされないので手動でインストールする
npm install –save puppeteer sync-request fs path

4, 適当なファイル名で保存して実行。
上手く動いたけど、node.jsはすぐにバージョンが変わるので、すぐに修正が必要になりそう…。