インフラ、プロトコル、運用上の制約について多言語研究集団が記すフィールドノート。
ブラウザ自動化セッションにプロキシを設定する方法を解説。ChromeがURLから取得できない認証付きプロキシの扱い（Playwrightのコンテキスト別、Puppeteerのpage.authenticate、Seleniumのオプションと回避策）と、ヘッドレスブラウザでプロキシが解決しない問題についても説明します。
requests、httpx、aiohttpで動作するプロキシ設定を、現在のパラメータ名（httpxではproxies=ではなくproxy=）とともに解説。SOCKS5のリモートDNS、セッションIDユーザー名によるローテーション、そして問題発生時に表示される…
ISPプロキシとは、一般消費者向けインターネットプロバイダに登録されたIPアドレスでありながら、データセンターでホストされているものです。つまり、レジデンシャルな評判、データセンターの速度、そしてオフラインになることのない静的アドレスを兼ね備えています。ローテ…
HTTP/2はTCP上で動作しCONNECTトンネル内を通過するため、どのプロキシでも透過的に機能します。一方、HTTP/3はUDP上のQUICで動作するため、HTTPプロキシは転送できず、ほとんどのSOCKS5プロキシも転送しません。プロキシ経由のブラウザや…
エンタープライズ向けアンチボット製品は、すべてのリクエストをIPレピュテーション、ネットワークフィンガープリント、ブラウザフィンガープリント、行動の4つのレイヤーでスコアリングし、チャレンジ、スロットリング、ブロックを行います。各レイヤーが何を見ているのか、なぜレイヤーが一致しなければならないのか、…
TLSフィンガープリンティングは、リクエストが送信される前に、ハンドシェイク自体からHTTPS接続の背後にあるソフトウェアを識別します。JA3とJA4はそれをシグネチャにハッシュ化します。なぜPythonスクリプトやヘッドレスブラウザがレジデンシャルプロキシの背後でも露呈するのか、そしてその対策につ…