ほとんどのプロキシコードにはエラーパスが1つしかありません。すべてをキャッチしてローテーションし、リトライする。この単一のパスが、プールの消耗とターゲットのエスカレーションの原因です。 プロキシ経由のリクエストの失敗は、5つの異なるイベントのいずれかです。プロキシ自体に到達できない、プロキシが資格情報を拒否した、ターゲットがこのIPを拒否した、ターゲットがレート制限をかけた、またはターゲットがコンテンツの代わりにチャレンジページを200で返した。ローテーションが有効なのは、そのうちの1つだけです。即時のリトライはどれにも有効ではありません。このガイドでは、失敗を分類し、それぞれに正しく対応するコンパクトなPythonリトライレイヤーを構築します。指数バックオフ、適用可能な場合のみのローテーション、そして「停止」と言ったターゲットを実際に放置するサーキットブレーカーを備えています。スニペットはrequestsを使用しています。ロジックはhttpxとaiohttpに直接移植できます(パラメータ名はPythonでのプロキシを参照)。
5つの失敗
| # | 何が起こったか | Pythonでの現れ方 | 正しい対応 |
|---|---|---|---|
| 1 | プロキシに到達できない — ホスト/ポートの誤り、プロバイダーの障害、ネットワーク | 接続エラーをラップするProxyError。HTTPの前にConnectTimeout。 | バックオフ付きでリトライ。N回失敗したらプロキシエンドポイントをダウンとしてマークし、アラートを出す。ゲートウェイがダウンしている場合、同じゲートウェイ内でのローテーションは役に立ちません。 |
| 2 | プロキシがあなたを拒否した — 資格情報の誤り、IPがホワイトリストにない、プランを使い果たした | 407を伴うProxyError。ゲートウェイからのプロバイダー固有の4xxの場合もあります。 | リトライしないでください。 設定を修正してください。407をループでリトライすると、プロバイダーからアカウントを制限される可能性があります。 |
| 3 | ターゲットがこのIPを拒否した — レピュテーション、ASN、地理的ブロック | 403、時々401/451。まれに接続リセット。 | 新しい出口(新しいセッションID)と新しいクッキージャーにローテーションし、1〜2回リトライ。IPを変えても続く場合は、問題はフィンガープリントまたはタイプであり、IPではありません。停止して再評価してください(理由)。 |
| 4 | ターゲットがレート制限をかけた | 429、またはRetry-After付きの503 | この出口でRetry-After(またはバックオフ)の間スリープし、その後続行。待つ代わりにローテーションするとブロックが広がります。レート制限シグナルを参照。 |
| 5 | チャレンジが200として提供された — CAPTCHA/中間ページ | ステータス200だが、ボディが期待されるコンテンツではない | 失敗タイプ3として扱います。コンテンツ(マーカーテキスト、期待される要素の欠落、ボディが小さすぎる)で検出します。ステータスだけで判断しないでください。 |
| — | 一時的なネットワーク/ターゲットの5xx | ReadTimeout、ストリーム途中のConnectionError、500/502/504 | 同じ出口でバックオフ付きでリトライ。これらは通常、あなたが原因ではありません。 |
この表がこの記事のすべてです。以下は、プログラムにこれを守らせるためのものです。
まず分類する
import requests
from enum import Enum
class Fail(Enum):
NONE = 0; PROXY_DOWN = 1; PROXY_AUTH = 2; IP_BLOCKED = 3; RATE_LIMITED = 4; CHALLENGE = 5; TRANSIENT = 6
CHALLENGE_MARKERS = (b"captcha", b"cf-chl", b"challenge-platform", b"datadome", b"px-captcha")
def classify(resp: requests.Response | None, exc: Exception | None, min_bytes: int = 2000) -> Fail:
if exc is not None:
if isinstance(exc, requests.exceptions.ProxyError):
return Fail.PROXY_AUTH if "407" in str(exc) else Fail.PROXY_DOWN
if isinstance(exc, (requests.exceptions.ConnectTimeout,)):
return Fail.PROXY_DOWN # プロキシに到達しなかった(またはCONNECTに応答しなかった)
if isinstance(exc, (requests.exceptions.ReadTimeout, requests.exceptions.ConnectionError)):
return Fail.TRANSIENT
return Fail.TRANSIENT
s = resp.status_code
if s == 429 or (s == 503 and "Retry-After" in resp.headers):
return Fail.RATE_LIMITED
if s in (401, 403, 451):
return Fail.IP_BLOCKED
if s >= 500:
return Fail.TRANSIENT
if s == 200:
body = resp.content[:20000].lower()
if len(resp.content) < min_bytes or any(m in body for m in CHALLENGE_MARKERS):
return Fail.CHALLENGE
return Fail.NONE
return Fail.TRANSIENT
CHALLENGE_MARKERSとmin_bytesはターゲットごとに調整してください。信頼できるチェックは「ページに目的の要素が含まれているか」です。製品タイトル、JSONキーなど。その欠落がチャレンジシグナルです。
バックオフを適切に実装する
ジッター付きの指数バックオフ:遅延を倍増させるとリトライが分散されます。ジッターは、100人のワーカーが同期してリトライするのを防ぎます。Retry-Afterが存在する場合はそれを尊重します。
import random, time, email.utils
def backoff_delay(attempt: int, base: float = 1.0, cap: float = 60.0) -> float:
return random.uniform(0, min(cap, base * (2 ** attempt))) # "full jitter"
def retry_after_seconds(resp: requests.Response | None) -> float | None:
if resp is None or "Retry-After" not in resp.headers:
return None
v = resp.headers["Retry-After"].strip()
if v.isdigit():
return float(v)
dt = email.utils.parsedate_to_datetime(v) # HTTP-date形式
return max(0.0, dt.timestamp() - time.time()) if dt else None
(ターゲット、出口)ごとのサーキットブレーカー
ターゲットが出口を数回連続で拒否した場合、その出口をそのターゲットにしばらく提供しないようにします。毎回ブロックを検出する代わりに。プロキシエンドポイントがダウンしている場合も同様です。
import time
from collections import defaultdict
class Breaker:
def __init__(self, threshold=3, cooldown=300):
self.fail = defaultdict(int); self.open_until = {}
self.threshold, self.cooldown = threshold, cooldown
def allow(self, key) -> bool:
return time.time() >= self.open_until.get(key, 0)
def ok(self, key):
self.fail[key] = 0
def bad(self, key):
self.fail[key] += 1
if self.fail[key] >= self.threshold:
self.open_until[key] = time.time() + self.cooldown
self.fail[key] = 0
まとめ
import secrets
GATE, PORT, PASS = "gate.provider.com", 7777, "PASSWORD"
breaker = Breaker()
def proxies_for(session_id: str) -> dict:
url = f"http://customer-session-{session_id}:{PASS}@{GATE}:{PORT}"
return {"http": url, "https": url}
def fetch(url: str, host: str, max_attempts: int = 5, timeout=(10, 30)) -> requests.Response | None:
sid = secrets.token_hex(4)
sess = requests.Session()
for attempt in range(max_attempts):
key = (host, sid)
if not breaker.allow(key) or not breaker.allow(("gateway", GATE)):
sid = secrets.token_hex(4); sess = requests.Session(); continue # 別の出口を選ぶ
resp = exc = None
try:
resp = sess.get(url, proxies=proxies_for(sid), timeout=timeout)
except requests.RequestException as e:
exc = e
kind = classify(resp, exc)
if kind is Fail.NONE:
breaker.ok(key); breaker.ok(("gateway", GATE)); return resp
if kind is Fail.PROXY_AUTH:
raise RuntimeError("プロキシが資格情報/ホワイトリストを拒否しました — 設定を修正してください。リトライではありません")
if kind is Fail.PROXY_DOWN:
breaker.bad(("gateway", GATE)); time.sleep(backoff_delay(attempt, base=2)); continue
if kind is Fail.RATE_LIMITED:
time.sleep(retry_after_seconds(resp) or backoff_delay(attempt, base=5)); continue # 同じ出口
if kind in (Fail.IP_BLOCKED, Fail.CHALLENGE):
breaker.bad(key)
sid = secrets.token_hex(4); sess = requests.Session() # 新しい出口 + 新しいクッキー
time.sleep(backoff_delay(attempt)); continue
# TRANSIENT
time.sleep(backoff_delay(attempt)); continue
return None
これが単純なループと異なる点:407をリトライしない。レート制限では待機し、ホップしない。IPレベルの拒否とチャレンジでのみローテーションし、各ローテーションに新しいクッキージャーをペアにする(同じクッキーを新しいIPで使うのは同じ訪問者です)。ホストで失敗し続ける出口の提供を停止する。そして、すべての場所でジッター付きバックオフを使用します。Failカウントをメトリクスに配線してください。異なる出口でのIP_BLOCKED率の上昇は、フィンガープリントまたはIPタイプが間違っていることを意味し、リトライポリシーでは修正できません(TLSフィンガープリントとIPタイプの選択を参照)。
ライブラリを使用する場合
tenacityはリトライ/バックオフ/停止条件のデコレータを提供し、良い基盤です。ただし、分類と「ローテーション vs 待機 vs 停止」の決定は独自のコードに保持してください。一般的なリトライライブラリはすべての例外を同じように扱いますが、それがまさに間違いです。urllib3のRetryオブジェクト(requestsのHTTPAdapterにマウント可能)は、接続レベルのリトライと429/503のRetry-Afterを適切に処理し、TRANSIENTとRATE_LIMITEDクラスに使用する価値があります。プロキシのローテーションやチャレンジボディの検出はできないため、上記のレイヤーを補完するものであり、置き換えるものではありません。
非同期に関する注意
aiohttp/httpx.AsyncClientでは、構造はawait asyncio.sleep()で同一です。唯一の追加はホストごとのセマフォで、1つのホストでのバックオフが他を妨げず、ホストごとの並行性が礼儀正しく保たれます。グローバルセマフォだけでは、100のコルーチンが唯一スリープしていないターゲットに殺到する可能性があります。
よくある質問
すべてのエラーでプロキシをローテーションすべきですか?
いいえ。IPレベルの拒否(403系)とチャレンジページでは、常に新しいクッキージャーとともにローテーションしてください。429/Retry-Afterでは待機し、ローテーションしないでください。407では設定を修正してください。一時的なエラーと5xxでは同じ出口でリトライしてください。
何回リトライすべきですか?
指数バックオフとジッターで3〜5回が通常の範囲です。それを超えると、永続的なブロック(ローテーション限界に達した)または障害(ブレーカーが開くべき)に直面しています。リクエストごとの合計経過時間に上限を設定してください。
コードでCAPTCHAページを検出するには?
ステータスではなくコンテンツで:期待する要素(タイトル、JSONキー)の存在、ボディ内の既知のチャレンジマーカー、および非現実的に小さな応答を確認してください。コンテンツなしの200は失敗です。
プロキシ用のサーキットブレーカーとは?
(ターゲット、出口)ごとのカウンターで、連続して数回失敗した後、その出口をそのターゲットに対してクールダウン期間中使用停止します。これにより、毎回ブロックを再発見せず、拒否したホストを叩き続けることを防ぎます。
なぜtenacityやurllib3 Retryを使わないのですか?
一時的なエラーとレート制限のリトライには使用してください。ただし、407と403とチャレンジを区別できず、セッションIDをローテーションできず、クッキーをリセットできません。その決定ロジックは独自のコードに保持してください。
多くのIPでブロック率が上昇しているのは何を意味しますか?
IPが問題ではないことを意味します:ターゲットはTLS/HTTPフィンガープリント、ヘッダー、または動作であなたを識別しているか、そのサイトに対してIPタイプが間違っています。ローテーションを停止し、実際に失敗しているレイヤーを修正してください。