ほとんどのプロキシコードにはエラーパスが1つしかありません。すべてをキャッチしてローテーションし、リトライする。この単一のパスが、プールの消耗とターゲットのエスカレーションの原因です。 プロキシ経由のリクエストの失敗は、5つの異なるイベントのいずれかです。プロキシ自体に到達できない、プロキシが資格情報を拒否した、ターゲットがこのIPを拒否した、ターゲットがレート制限をかけた、またはターゲットがコンテンツの代わりにチャレンジページを200で返した。ローテーションが有効なのは、そのうちの1つだけです。即時のリトライはどれにも有効ではありません。このガイドでは、失敗を分類し、それぞれに正しく対応するコンパクトなPythonリトライレイヤーを構築します。指数バックオフ、適用可能な場合のみのローテーション、そして「停止」と言ったターゲットを実際に放置するサーキットブレーカーを備えています。スニペットはrequestsを使用しています。ロジックはhttpxとaiohttpに直接移植できます(パラメータ名はPythonでのプロキシを参照)。

5つの失敗

#何が起こったかPythonでの現れ方正しい対応
1プロキシに到達できない — ホスト/ポートの誤り、プロバイダーの障害、ネットワーク接続エラーをラップするProxyError。HTTPの前にConnectTimeout。バックオフ付きでリトライ。N回失敗したらプロキシエンドポイントをダウンとしてマークし、アラートを出す。ゲートウェイがダウンしている場合、同じゲートウェイ内でのローテーションは役に立ちません。
2プロキシがあなたを拒否した — 資格情報の誤り、IPがホワイトリストにない、プランを使い果たした407を伴うProxyError。ゲートウェイからのプロバイダー固有の4xxの場合もあります。リトライしないでください。 設定を修正してください。407をループでリトライすると、プロバイダーからアカウントを制限される可能性があります。
3ターゲットがこのIPを拒否した — レピュテーション、ASN、地理的ブロック403、時々401/451。まれに接続リセット。新しい出口(新しいセッションID)と新しいクッキージャーにローテーションし、1〜2回リトライ。IPを変えても続く場合は、問題はフィンガープリントまたはタイプであり、IPではありません。停止して再評価してください(理由)。
4ターゲットがレート制限をかけた429、またはRetry-After付きの503この出口でRetry-After(またはバックオフ)の間スリープし、その後続行。待つ代わりにローテーションするとブロックが広がります。レート制限シグナルを参照。
5チャレンジが200として提供された — CAPTCHA/中間ページステータス200だが、ボディが期待されるコンテンツではない失敗タイプ3として扱います。コンテンツ(マーカーテキスト、期待される要素の欠落、ボディが小さすぎる)で検出します。ステータスだけで判断しないでください。
—一時的なネットワーク/ターゲットの5xxReadTimeout、ストリーム途中のConnectionError、500/502/504同じ出口でバックオフ付きでリトライ。これらは通常、あなたが原因ではありません。

この表がこの記事のすべてです。以下は、プログラムにこれを守らせるためのものです。

まず分類する

import requests
from enum import Enum

class Fail(Enum):
    NONE = 0; PROXY_DOWN = 1; PROXY_AUTH = 2; IP_BLOCKED = 3; RATE_LIMITED = 4; CHALLENGE = 5; TRANSIENT = 6

CHALLENGE_MARKERS = (b"captcha", b"cf-chl", b"challenge-platform", b"datadome", b"px-captcha")

def classify(resp: requests.Response | None, exc: Exception | None, min_bytes: int = 2000) -> Fail:
    if exc is not None:
        if isinstance(exc, requests.exceptions.ProxyError):
            return Fail.PROXY_AUTH if "407" in str(exc) else Fail.PROXY_DOWN
        if isinstance(exc, (requests.exceptions.ConnectTimeout,)):
            return Fail.PROXY_DOWN            # プロキシに到達しなかった(またはCONNECTに応答しなかった)
        if isinstance(exc, (requests.exceptions.ReadTimeout, requests.exceptions.ConnectionError)):
            return Fail.TRANSIENT
        return Fail.TRANSIENT
    s = resp.status_code
    if s == 429 or (s == 503 and "Retry-After" in resp.headers):
        return Fail.RATE_LIMITED
    if s in (401, 403, 451):
        return Fail.IP_BLOCKED
    if s >= 500:
        return Fail.TRANSIENT
    if s == 200:
        body = resp.content[:20000].lower()
        if len(resp.content) < min_bytes or any(m in body for m in CHALLENGE_MARKERS):
            return Fail.CHALLENGE
        return Fail.NONE
    return Fail.TRANSIENT

CHALLENGE_MARKERSとmin_bytesはターゲットごとに調整してください。信頼できるチェックは「ページに目的の要素が含まれているか」です。製品タイトル、JSONキーなど。その欠落がチャレンジシグナルです。

バックオフを適切に実装する

ジッター付きの指数バックオフ:遅延を倍増させるとリトライが分散されます。ジッターは、100人のワーカーが同期してリトライするのを防ぎます。Retry-Afterが存在する場合はそれを尊重します。

import random, time, email.utils

def backoff_delay(attempt: int, base: float = 1.0, cap: float = 60.0) -> float:
    return random.uniform(0, min(cap, base * (2 ** attempt)))     # "full jitter"

def retry_after_seconds(resp: requests.Response | None) -> float | None:
    if resp is None or "Retry-After" not in resp.headers:
        return None
    v = resp.headers["Retry-After"].strip()
    if v.isdigit():
        return float(v)
    dt = email.utils.parsedate_to_datetime(v)      # HTTP-date形式
    return max(0.0, dt.timestamp() - time.time()) if dt else None

(ターゲット、出口)ごとのサーキットブレーカー

ターゲットが出口を数回連続で拒否した場合、その出口をそのターゲットにしばらく提供しないようにします。毎回ブロックを検出する代わりに。プロキシエンドポイントがダウンしている場合も同様です。

import time
from collections import defaultdict

class Breaker:
    def __init__(self, threshold=3, cooldown=300):
        self.fail = defaultdict(int); self.open_until = {}
        self.threshold, self.cooldown = threshold, cooldown
    def allow(self, key) -> bool:
        return time.time() >= self.open_until.get(key, 0)
    def ok(self, key):
        self.fail[key] = 0
    def bad(self, key):
        self.fail[key] += 1
        if self.fail[key] >= self.threshold:
            self.open_until[key] = time.time() + self.cooldown
            self.fail[key] = 0

まとめ

import secrets

GATE, PORT, PASS = "gate.provider.com", 7777, "PASSWORD"
breaker = Breaker()

def proxies_for(session_id: str) -> dict:
    url = f"http://customer-session-{session_id}:{PASS}@{GATE}:{PORT}"
    return {"http": url, "https": url}

def fetch(url: str, host: str, max_attempts: int = 5, timeout=(10, 30)) -> requests.Response | None:
    sid = secrets.token_hex(4)
    sess = requests.Session()
    for attempt in range(max_attempts):
        key = (host, sid)
        if not breaker.allow(key) or not breaker.allow(("gateway", GATE)):
            sid = secrets.token_hex(4); sess = requests.Session(); continue   # 別の出口を選ぶ
        resp = exc = None
        try:
            resp = sess.get(url, proxies=proxies_for(sid), timeout=timeout)
        except requests.RequestException as e:
            exc = e
        kind = classify(resp, exc)

        if kind is Fail.NONE:
            breaker.ok(key); breaker.ok(("gateway", GATE)); return resp
        if kind is Fail.PROXY_AUTH:
            raise RuntimeError("プロキシが資格情報/ホワイトリストを拒否しました — 設定を修正してください。リトライではありません")
        if kind is Fail.PROXY_DOWN:
            breaker.bad(("gateway", GATE)); time.sleep(backoff_delay(attempt, base=2)); continue
        if kind is Fail.RATE_LIMITED:
            time.sleep(retry_after_seconds(resp) or backoff_delay(attempt, base=5)); continue   # 同じ出口
        if kind in (Fail.IP_BLOCKED, Fail.CHALLENGE):
            breaker.bad(key)
            sid = secrets.token_hex(4); sess = requests.Session()        # 新しい出口 + 新しいクッキー
            time.sleep(backoff_delay(attempt)); continue
        # TRANSIENT
        time.sleep(backoff_delay(attempt)); continue
    return None

これが単純なループと異なる点:407をリトライしない。レート制限では待機し、ホップしない。IPレベルの拒否とチャレンジでのみローテーションし、各ローテーションに新しいクッキージャーをペアにする(同じクッキーを新しいIPで使うのは同じ訪問者です)。ホストで失敗し続ける出口の提供を停止する。そして、すべての場所でジッター付きバックオフを使用します。Failカウントをメトリクスに配線してください。異なる出口でのIP_BLOCKED率の上昇は、フィンガープリントまたはIPタイプが間違っていることを意味し、リトライポリシーでは修正できません(TLSフィンガープリントとIPタイプの選択を参照)。

ライブラリを使用する場合

tenacityはリトライ/バックオフ/停止条件のデコレータを提供し、良い基盤です。ただし、分類と「ローテーション vs 待機 vs 停止」の決定は独自のコードに保持してください。一般的なリトライライブラリはすべての例外を同じように扱いますが、それがまさに間違いです。urllib3のRetryオブジェクト(requestsのHTTPAdapterにマウント可能)は、接続レベルのリトライと429/503のRetry-Afterを適切に処理し、TRANSIENTとRATE_LIMITEDクラスに使用する価値があります。プロキシのローテーションやチャレンジボディの検出はできないため、上記のレイヤーを補完するものであり、置き換えるものではありません。

非同期に関する注意

aiohttp/httpx.AsyncClientでは、構造はawait asyncio.sleep()で同一です。唯一の追加はホストごとのセマフォで、1つのホストでのバックオフが他を妨げず、ホストごとの並行性が礼儀正しく保たれます。グローバルセマフォだけでは、100のコルーチンが唯一スリープしていないターゲットに殺到する可能性があります。

よくある質問

すべてのエラーでプロキシをローテーションすべきですか?

いいえ。IPレベルの拒否(403系)とチャレンジページでは、常に新しいクッキージャーとともにローテーションしてください。429/Retry-Afterでは待機し、ローテーションしないでください。407では設定を修正してください。一時的なエラーと5xxでは同じ出口でリトライしてください。

何回リトライすべきですか?

指数バックオフとジッターで3〜5回が通常の範囲です。それを超えると、永続的なブロック(ローテーション限界に達した)または障害(ブレーカーが開くべき)に直面しています。リクエストごとの合計経過時間に上限を設定してください。

コードでCAPTCHAページを検出するには?

ステータスではなくコンテンツで:期待する要素(タイトル、JSONキー)の存在、ボディ内の既知のチャレンジマーカー、および非現実的に小さな応答を確認してください。コンテンツなしの200は失敗です。

プロキシ用のサーキットブレーカーとは?

(ターゲット、出口)ごとのカウンターで、連続して数回失敗した後、その出口をそのターゲットに対してクールダウン期間中使用停止します。これにより、毎回ブロックを再発見せず、拒否したホストを叩き続けることを防ぎます。

なぜtenacityやurllib3 Retryを使わないのですか?

一時的なエラーとレート制限のリトライには使用してください。ただし、407と403とチャレンジを区別できず、セッションIDをローテーションできず、クッキーをリセットできません。その決定ロジックは独自のコードに保持してください。

多くのIPでブロック率が上昇しているのは何を意味しますか?

IPが問題ではないことを意味します:ターゲットはTLS/HTTPフィンガープリント、ヘッダー、または動作であなたを識別しているか、そのサイトに対してIPタイプが間違っています。ローテーションを停止し、実際に失敗しているレイヤーを修正してください。