robots.txt は、サイトがクローラーに特定のパスへのアクセスを控えるよう求めるテキストファイルです。レート制限は、サイトが誰に対してもアクセス速度を強制する方法です。そして、数ヶ月間稼働し続けるスクレイパーと、午後一でプロキシプールを使い尽くすスクレイパーの違いは、主にこの両方を尊重しているかどうかにあります。 これは主に倫理の問題ではありません(もちろん倫理でもありますが)、エンジニアリングの問題です。あなたが持つすべてのIPは、各ターゲットに対して有限のレピュテーション予算を持っています。無作法なスクレイピングは、ローテーションで補充できるよりも速くその予算を消費します。このガイドでは、シグナルの実際の意味と、プロキシを長持ちさせるプラクティスについて説明します。

robots.txt:その役割と限界

Robots Exclusion Protocol(2022年にRFC 9309として正式化)により、サイトは/robots.txtで、どのユーザーエージェントがどのパスを取得してよいかを公開できます。

User-agent: *
Disallow: /admin/
Disallow: /search
Crawl-delay: 5

User-agent: Googlebot
Allow: /

Sitemap: https://example.com/sitemap.xml

プロキシユーザーにとって重要な3つの事実:

  • これは勧告です。 技術的に、禁止されたパスを取得するクライアントを止めるものはありません。遵守は任意です。だからこそ、サイトは非遵守を強力なボットシグナルとみなします。robots.txtを無視する訪問者は、慣習に従わない自動化クライアントであることを自ら宣言しているのです。
  • それ自体は法的文書ではありませんが、証拠にはなります。スクレイピングをめぐる紛争では、サイトのrobots.txtは自動アクセスが許可されていなかったという通知として頻繁に引用されます。それを無視すると、「これが歓迎されないとは思わなかった」という立場は弱まります。法的マップを参照してください。
  • トラップがどこにあるかを教えてくれます。 * に対する Disallow にリストされたパスは、サイトが最も厳重に監視しているパスであることが多いです。検索エンドポイント、ファセットナビゲーション、無限カレンダー、管理エリアなどです。それらを取得することは、最も検出されやすく、スクレイパーにとって最も役に立たない行為です。

経験則:/robots.txt はホストごとに1日1回取得してキャッシュする。Disallow は自分のユーザーエージェントと * に対して守る。Crawl-delay があれば尊重する(非標準ですが広く使われています。数値は1クライアントからのリクエスト間隔(秒)です)。Sitemap の行を読む。これはサイトがクリーンで完全なURLリストを提供しているので、クロールして探す必要がありません。

レート制限:サイトが「もっとゆっくり」と言う方法

レート制限は強制され、耳を傾ければシグナルが伴います。

シグナル意味正しい対応
429 Too Many Requests制限を超えました(通常はIPごと、場合によってはセッションごと)停止。指定があれば Retry-After の値だけ待つ。なければ指数バックオフ
Retry-After: 120(ヘッダー)120秒間(または指定日時まで)再試行しない正確に尊重。早く再試行すると、多くのシステムでペナルティが延長されます
503 と Retry-After過負荷または意図的なスロットリング上記と同じ
一連の200の後の 403ソフトブロック:このIPまたはセッションのレピュテーションが尽きたIP と セッションをローテーション。再開前に速度を落とす
ステータス200のCAPTCHA / チャレンジページアンチボット層が証明を求めている(スコアリングの仕組みを参照)成功ではなくブロックとして扱う。突破しようと連打しない
応答時間が着実に増加優先度を下げられているか、あなた自身が負荷になっている並行性を減らす
X-RateLimit-Remaining / -Reset ヘッダー明示的な予算。APIで一般的予算内に収まるようにペース調整。ゼロになったらリセットまで待機

高くつく間違いは、200以外のすべてを「すぐにローテーションして再試行」と扱うことです。それは1つのIPの一時的な制限を、IPの焼き切れに変え、次々とIPを焼き、拒否されたときにフィンガープリントがアドレスを変えるというパターンをターゲットのモデルに学習させます。これはアンチボットベンダーが特に検出するパターンです。ローテーションは通常の負荷を分散するためのものであり、トリップしたばかりの制限を回避するためのものではありません。ローテーション戦略を参照してください。

IPを長持ちさせるプラクティス

  1. サイトのIPごとの許容範囲を見つけ、その半分以下に抑える。 推測ではなく、一度測定する(方法はローテーション間隔の選択にあります)。
  2. ジッターを追加する。 均一な間隔は最も機械らしいシグナルです。平均を中心に遅延をランダム化し、URLを訪問する順序も変えましょう。
  3. サイトマップを使う。 サイトが公開しているなら、それはインデックスしてほしい完全なリストです。リンクをクロールするよりも、ポライトで完全であり、トラップパスを避けられます。
  4. キャッシュと条件付きリクエストを使う。 サイトがサポートしていれば If-Modified-Since / If-None-Match を送信。304 は全ページの取得に比べてわずかなコストです。相手の帯域、あなたのプロキシGB、IPレピュテーションのすべてにおいて。
  5. 必要ないものは取得しない。 可能ならアセットなしのHTML。ブラウザ自動化では画像・フォント・メディアをブロック。これだけでプロキシのGBあたりコストを桁違いに削減でき(理由)、サイトが見る負荷フットプリントも減ります。
  6. 公式API、フィード、データエクスポートを優先する 存在する場合。多くのサイトがRSS、JSONエンドポイント、バルクダウンロードを提供しているのは、まさに人々がHTMLをスクレイピングするのをやめるようにするためです。
  7. ターゲットが許容するなら、正直に身元を明かす。 連絡先アドレス付きの説明的なUser-Agentは、研究・監視クローラーの標準であり、既知の良いボットをホワイトリストするサイトもあります。ブラウザとして振る舞う必要がある場合は、すべてのレイヤーで一貫させてください(中途半端が失敗する理由)。
  8. 指数バックオフし、ホストごとの並行性を制限する(グローバルだけでなく)。10ホストに各2接続はポライトですが、1ホストに20接続は違います。
  9. 止めると言われたら止まる。 Retry-After、明示的なブロックページ、サイト運営者からのメッセージは、それぞれ次に何をすべきかを変えます。最後のものは法的な姿勢も変えます。

なぜポライトさは安上がりなのか

上記の各プラクティスは、次の3つのコストのいずれかを削減します。プロキシ費用(バイト数と再試行の削減)、IPの消耗(各アドレスが長持ちするため、必要な数が減り、より安価なタイプを使用できます)、検出リスク(思いやりのあるクローラーのように振る舞うクライアントは、洪水のように振る舞うものよりも行動レイヤーで良いスコアを得ます)。攻撃的なスクレイピングは、より疑わしく見えるためにお金を使う戦略です。人々が挙げる例外、つまり「後で何も問題にならない一回限りの取得」は実際にありますが、思われるより稀です。なぜなら、ターゲットはインテリジェンスを共有し、プールは将来の自分と共有されるからです。

負荷に関する倫理の注意

IP経済を超えて:相手側のサイトは誰かのインフラ請求書です。サイトが吸収できるレートで取得するスクレイパーは、通常のトラフィックと区別がつきません。実際のユーザーのサービスを劣化させるものは、最低限失礼であり、大規模になると、法律が不法侵入や妨害と呼ぶ領域に近づきます。Crawl-delayとレート制限は、サイトが吸収できる範囲を示す方法です。それらを読むことは、ここでの良いマナーのすべてです。

よくある質問

robots.txtは法的拘束力がありますか?

単独では拘束力はありません。慣習です。しかし、サイトの意向の通知として機能し、紛争で引用されます。また、それを無視することはアンチボットシステムへの強い自動化シグナルです。実際には拘束力があると扱ってください。

Crawl-delayとはどういう意味ですか?

非標準ですが一般的なディレクティブ:単一のクローラーがリクエスト間で待つべき秒数。クライアントごと(IP/セッションごと)に尊重し、操作全体としては扱わないでください。

429が返ってきたらどうすればいいですか?

そのIPからそのホストへのアクセスを停止し、Retry-After の値があれば待ち、なければ指数バックオフし、その後ゆっくり再開します。すぐにローテーションして再試行しないでください。ブロックが広がります。

プロキシをローテーションすればレート制限を無視できますか?

各IPをIPごとの制限内に保ちながら、全体のスループットを高くすることができます。しかし、攻撃的なパターンが見えなくなるわけではありません。フィンガープリントと行動ベースの検出はセッションをリンクし、焼けたIPはやはり焼けています。

User-Agentでスクレイパーを特定すべきですか?

サイトがクローラーを許容する場合は、はい。それが正直なデフォルトであり、ホワイトリストに登録されることもあります。ブラウザとして見せなければならない場合は、TLS、ヘッダー、行動を一貫させ、正直なUAとブラウザ偽装を混在させないでください。

どのくらいの速度でサイトをスクレイピングできますか?

1つのIPが許容する速度×あなたが持つIPの数(測定値であり、推測ではない)から安全マージンを引いた速度、そしてそのサイトの Crawl-delay や応答時間が一定に保たれるペースを超えない速度です。