スクレイピング(scraping) とは?
投稿日時 : 2024/08/22
更新日時 : 2024/08/23
スクレイピングの目的
主にインターネットから情報を探索し、取得した画像やテキストをAIに学習させたり、取得した情報を使ったりする。
例:SNSでスクレイピング
パッと思いつくのは例えばSNSを「プロ野球」のキーワードでスクレイピングし、リアルタイムでどの選手が活躍しているのか、またはSNSのユーザがプロ野球に対してどのような反応をしているのか、ピックアップして逐次情報をまとめて表示する事ができる。
そんな事ができるのですね!どんどん使っちゃいましょう
実はこのスクレイピング、負荷が凄くて禁止しているサイトばかりなんだ。そもそも自分に権利がある情報を誰かに使われるのって嫌じゃない?
サイト開発者はスクレイピングのアクセスがあったら、明示的に禁止です!って知らせる事もできる
サイト開発者はスクレイピングのアクセスがあったら、明示的に禁止です!って知らせる事もできる
明示的にとおっしゃる事は意思表示なだけで、悪意のある人にはそれを無視する事も可能って事ですか?
そう。だから本当にスクレイピングさせたくないなら技術的に対応しなくてはいけない。例えば記事データをJavaScriptでレンダリングするとか、人である事を確認してから情報を出すとか