GASでお手軽Webスクレイピング【Google Apps Script】

※新しいGASのエディターだと動画内で使用しているライブラリ「Parser」をプロジェクトキー「M1lugvAXKKtUxn_vdAG9JZleS6DrsjUUV」で追加できないようになっています。古いエディターに切り替えてからプロジェクトキーでライブラリを導入するか、スクリプトID「1Mc8BthYthXx6CoIz90-JiSzSafVnT6U3t0z_W3hLTAX5ek4w0G_EIrNw」で導入するようにしてください。
-------------------------------------------------------------------------------------
Google Apps Script(GAS)を使ってWebスクレイピングのプログラムを作ります。GASはJavaScriptベースのスクリプト言語なので、基本的にコードの書き方はJavaScriptと同じように書けます。

一般的にWebスクレイピングのプログラムを書くときはPythonをよく使うと思うのですが、GASでも書けます。

GASで各メリットとしては以下のことが挙げられます。
・無料
・環境構築不要
・サーバーレスで定期実行可能
・スプレッドシート等との連携が簡単

逆にデメリットです。
・ブラウザ内のエディタが使いにくい
・動作速度が使いにくい
・モバイルデバイスからは基本的には使えない

メリットの中で最も魅力的なのは「サーバーレスで定期実行できる」ことだと思います。

例えばPythonでWebスクレイピングのプログラムを作っても、その後サーバーを用意して定期実行のプログラムも作る必要があります。
しかしGASならトリガー設定で簡単に行なえます。

ただ、GASはWebスクレイピングのプログラムを書くにはあまり向いていないかもしれませんが・・・。

どのようなシステムを作るかにも寄るので、GASを使うことも一度検討してみても良いとは思います。

--------------------------------------------------------------------------------------------------------------------------------------------
2020年12月からGASのエディターが新しいものに変わったので、解説しました。
Google Apps Script（GAS）の新しいエディターの変更点についてざっくり確認してみた【Google Apps Script】
   • 新しいエディターの変更点についてざっくり確認してみた【Google App...  
-------------------------------------------------------------------------------------
動画内で使用したテキスト検索・抽出ライブラリ
Parser
https://www.kutil.org/2016/01/easy-da...
-------------------------------------------------------------------------------------
以前に投稿したJavaScriptの変数宣言の動画です。

「var, let, constの違い!?【JavaScript】」
   • var, let, constの違い!?【JavaScript】  
-------------------------------------------------------------------------------------
以前に投稿したWebスクレイピングの解説動画です。

「すぐできるWebスクレイピング [python]」
   • 【基本】すぐできるWebスクレイピング （python）  

「【画像保存】Webスクレイピングによる画像保存を徹底解説！！（Python）」
   • 【画像保存】Webスクレイピングによる画像保存を徹底解説！！（Python）  

「【CSV出力】Webスクレイピングで取得したデータをCSVファイルに書き出す方法を徹底解説！！」
   • 【CSV出力】Webスクレイピングで取得したデータをCSVファイルに書き出...  
-------------------------------------------------------------------------------------
※Webスクレイピングは使い方によっては「偽計業務妨害罪」等の罪に問われる恐れもあります。
サイトのrobots.txtや利用規約を確認して正しく使いましょう。

Webスクレイピングの注意事項に関しては以下のサイトが参考になります。

【スクレイピングと法律】スクレイピングって法律的に何がOKで何がOUTなのかを弁護士が解説。
https://it-bengosi.com/blog/scraping/

スクレイピングは違法？スクレイピング前に注意すべきこと
https://qiita.com/ScrapeStorm-JP/item...

Webスクレイピングの注意事項一覧
https://qiita.com/nezuq/items/c5e827e...
--------------------------------------------------------------------------------------------------------------------------------------------
今後の頑張りに繋がりますので、高評価・チャンネル登録もよろしくお願いします。
↓チャンネル登録は以下のリンクからでもできます！
   / @noelrecords-programming  

ツイッターでも情報を発信しています。
  / noelrecords_app  

欲しいものリスト作ってみました。
開発環境を更新したい！！いろいろ実験してみたい！！
https://www.amazon.jp/hz/wishlist/ls/...

#プログラミング #GAS #NoelRecordsのプログラミング研究室