В большинстве кода с прокси есть один путь обработки ошибок — поймать всё, ротировать, повторить — и именно этот путь приводит к выгоранию пулов и эскалации со стороны целей. Неудачный проксированный запрос — это одно из пяти разных событий: прокси был недоступен; прокси отклонил ваши учётные данные; цель отказала этому IP; цель ограничила ваш rate limit; или цель ответила 200 со страницей-челленджем вместо контента. Ротация помогает ровно с одним из них. Немедленный повтор не помогает ни с одним. Это руководство классифицирует ошибки, а затем строит компактный слой повторных попыток на Python, который реагирует на каждую ошибку правильно: с экспоненциальным backoff, ротацией только там, где она применима, и circuit breaker, чтобы цель, которая сказала «стоп», действительно оставалась в покое. Примеры используют requests; логика переносится напрямую в httpx и aiohttp (имена параметров в Прокси в Python).

Пять типов ошибок

#Что произошлоКак это выглядит в PythonПравильный ответ
1Прокси недоступен — неверный хост/порт, сбой провайдера, сетьProxyError с ошибкой соединения; ConnectTimeout до любого HTTPПовторить с backoff; после N неудач пометить прокси-эндпоинт как недоступный и оповестить. Ротация в пределах того же шлюза не поможет, если шлюз лежит.
2Прокси отклонил вас — неверные учётные данные, IP не в белом списке, исчерпан тарифProxyError с 407; иногда провайдер-специфичные 4xx от шлюзаНе повторять. Исправить конфигурацию; повторение 407 в цикле может привести к троттлингу аккаунта провайдером.
3Цель отказала этому IP — репутация, ASN, гео-блок403, иногда 401/451; редко сброс соединенияРотировать на новый выход (новый session ID) и новую cookie jar; повторить один-два раза; если проблема сохраняется на разных IP, значит дело в отпечатке или типе, а не в IP — остановиться и пересмотреть (почему).
4Цель ограничила rate limit429, или 503 с Retry-AfterПодождать Retry-After (или backoff) на этом же выходе; затем продолжить на нём. Ротация вместо ожидания распространяет блок. См. сигналы rate limit.
5Челлендж с кодом 200 — CAPTCHA/промежуточная страницаСтатус 200, но тело не содержит ожидаемого контентаОбрабатывать как ошибку типа 3. Определять по содержимому (маркерный текст, отсутствие ожидаемого элемента, слишком маленькое тело), никогда только по статусу.
—Временная сеть / 5xx целиReadTimeout, ConnectionError в середине потока, 500/502/504Повторить с backoff на том же выходе; обычно это не связано с вами.

Таблица — это вся суть статьи; всё ниже — это заставить программу следовать ей.

Сначала классифицируйте

import requests
from enum import Enum

class Fail(Enum):
    NONE = 0; PROXY_DOWN = 1; PROXY_AUTH = 2; IP_BLOCKED = 3; RATE_LIMITED = 4; CHALLENGE = 5; TRANSIENT = 6

CHALLENGE_MARKERS = (b"captcha", b"cf-chl", b"challenge-platform", b"datadome", b"px-captcha")

def classify(resp: requests.Response | None, exc: Exception | None, min_bytes: int = 2000) -> Fail:
    if exc is not None:
        if isinstance(exc, requests.exceptions.ProxyError):
            return Fail.PROXY_AUTH if "407" in str(exc) else Fail.PROXY_DOWN
        if isinstance(exc, (requests.exceptions.ConnectTimeout,)):
            return Fail.PROXY_DOWN            # никогда не достигли прокси (или он не ответил на CONNECT)
        if isinstance(exc, (requests.exceptions.ReadTimeout, requests.exceptions.ConnectionError)):
            return Fail.TRANSIENT
        return Fail.TRANSIENT
    s = resp.status_code
    if s == 429 or (s == 503 and "Retry-After" in resp.headers):
        return Fail.RATE_LIMITED
    if s in (401, 403, 451):
        return Fail.IP_BLOCKED
    if s >= 500:
        return Fail.TRANSIENT
    if s == 200:
        body = resp.content[:20000].lower()
        if len(resp.content) < min_bytes or any(m in body for m in CHALLENGE_MARKERS):
            return Fail.CHALLENGE
        return Fail.NONE
    return Fail.TRANSIENT

Настройте CHALLENGE_MARKERS и min_bytes под каждую цель: надёжная проверка — «содержит ли страница элемент, за которым я пришёл?» — название товара, JSON-ключ — и его отсутствие является сигналом челленджа.

Backoff, правильно реализованный

Экспоненциальный backoff с джиттером: удвоение задержек распределяет повторные попытки; джиттер предотвращает синхронные повторные попытки сотен воркеров. Уважайте Retry-After, когда он есть.

import random, time, email.utils

def backoff_delay(attempt: int, base: float = 1.0, cap: float = 60.0) -> float:
    return random.uniform(0, min(cap, base * (2 ** attempt)))     # "полный джиттер"

def retry_after_seconds(resp: requests.Response | None) -> float | None:
    if resp is None or "Retry-After" not in resp.headers:
        return None
    v = resp.headers["Retry-After"].strip()
    if v.isdigit():
        return float(v)
    dt = email.utils.parsedate_to_datetime(v)      # HTTP-date форма
    return max(0.0, dt.timestamp() - time.time()) if dt else None

Circuit breaker на каждую пару (цель, выход)

Когда цель несколько раз подряд отказала выходу, перестаньте предлагать этот выход этой цели на некоторое время, вместо того чтобы обнаруживать блок на каждом запросе. Та же идея для прокси-эндпоинта, который лежит.

import time
from collections import defaultdict

class Breaker:
    def __init__(self, threshold=3, cooldown=300):
        self.fail = defaultdict(int); self.open_until = {}
        self.threshold, self.cooldown = threshold, cooldown
    def allow(self, key) -> bool:
        return time.time() >= self.open_until.get(key, 0)
    def ok(self, key):
        self.fail[key] = 0
    def bad(self, key):
        self.fail[key] += 1
        if self.fail[key] >= self.threshold:
            self.open_until[key] = time.time() + self.cooldown
            self.fail[key] = 0

Собираем всё вместе

import secrets

GATE, PORT, PASS = "gate.provider.com", 7777, "PASSWORD"
breaker = Breaker()

def proxies_for(session_id: str) -> dict:
    url = f"http://customer-session-{session_id}:{PASS}@{GATE}:{PORT}"
    return {"http": url, "https": url}

def fetch(url: str, host: str, max_attempts: int = 5, timeout=(10, 30)) -> requests.Response | None:
    sid = secrets.token_hex(4)
    sess = requests.Session()
    for attempt in range(max_attempts):
        key = (host, sid)
        if not breaker.allow(key) or not breaker.allow(("gateway", GATE)):
            sid = secrets.token_hex(4); sess = requests.Session(); continue   # выбрать другой выход
        resp = exc = None
        try:
            resp = sess.get(url, proxies=proxies_for(sid), timeout=timeout)
        except requests.RequestException as e:
            exc = e
        kind = classify(resp, exc)

        if kind is Fail.NONE:
            breaker.ok(key); breaker.ok(("gateway", GATE)); return resp
        if kind is Fail.PROXY_AUTH:
            raise RuntimeError("прокси отклонило учётные данные/белый список — исправьте конфигурацию, а не повторяйте")
        if kind is Fail.PROXY_DOWN:
            breaker.bad(("gateway", GATE)); time.sleep(backoff_delay(attempt, base=2)); continue
        if kind is Fail.RATE_LIMITED:
            time.sleep(retry_after_seconds(resp) or backoff_delay(attempt, base=5)); continue   # тот же выход
        if kind in (Fail.IP_BLOCKED, Fail.CHALLENGE):
            breaker.bad(key)
            sid = secrets.token_hex(4); sess = requests.Session()        # новый выход + свежие cookies
            time.sleep(backoff_delay(attempt)); continue
        # TRANSIENT
        time.sleep(backoff_delay(attempt)); continue
    return None

Что это делает, чего не делает наивный цикл: он никогда не повторяет 407; он ждёт при rate limit, а не прыгает; он ротирует только при отказе на уровне IP и челленджах, и каждую ротацию сопровождает свежей cookie jar (те же cookies на новом IP — это тот же посетитель); он перестаёт предлагать выход, который продолжает падать на хосте; и он использует backoff с джиттером везде. Подключите счётчики Fail к вашим метрикам — рост частоты IP_BLOCKED на разных выходах означает, что отпечаток или тип IP неверны, и никакая политика повторных попыток это не исправит (см. TLS-отпечатки и выбор типа IP).

Использование библиотеки вместо этого

tenacity даёт декораторы для условий повторных попыток/backoff/остановки и является хорошей основой — но оставьте классификацию и решение «ротировать vs ждать vs остановиться» в своём коде; универсальные библиотеки повторных попыток относятся ко всем исключениям одинаково, что как раз и есть ошибка. Объект Retry из urllib3 (монтируемый на HTTPAdapter в requests) хорошо обрабатывает повторные попытки на уровне соединения и Retry-After для 429/503, и его стоит использовать для классов TRANSIENT и RATE_LIMITED; он не может ротировать ваш прокси или обнаружить челлендж-тело, так что он дополняет, а не заменяет слой выше.

Заметка об асинхронности

В aiohttp/httpx.AsyncClient структура идентична с await asyncio.sleep(); единственное дополнение — семафор на хост, чтобы backoff на одном хосте не блокировал другие, и чтобы конкурентность на хост оставалась вежливой. Глобального семафора недостаточно: сотня корутин может навалиться на одну цель, как только она единственная не спит.

Часто задаваемые вопросы

Стоит ли ротировать прокси при каждой ошибке?

Нет. Ротируйте при отказе на уровне IP (класс 403) и на страницах-челленджах, всегда со свежей cookie jar. При 429/Retry-After — ждите, не ротируйте. При 407 — исправляйте конфигурацию. При временных ошибках и 5xx — повторяйте на том же выходе.

Сколько раз повторять?

Три-пять попыток с экспоненциальным backoff и джиттером — обычный диапазон; дальше вы либо сталкиваетесь с постоянным блоком (лимит ротации исчерпан), либо с инцидентом (breaker должен быть открыт). Ограничьте общее время на запрос.

Как обнаружить CAPTCHA-страницу в коде?

По содержимому, а не по статусу: проверяйте наличие ожидаемого элемента (заголовка, JSON-ключа), известных маркеров челленджа в теле и неправдоподобно маленький ответ. 200 без вашего контента — это ошибка.

Что такое circuit breaker для прокси?

Это счётчик на пару (цель, выход), который после нескольких последовательных сбоев перестаёт использовать этот выход для этой цели на период охлаждения — чтобы вы не обнаруживали блок на каждом запросе и не продолжали долбить хост, который вас отверг.

Почему бы просто не использовать tenacity или urllib3 Retry?

Используйте их для повторных попыток при временных ошибках и rate limit; но они не отличат 407 от 403 от челленджа, не смогут ротировать ваш session ID и не сбросят cookies. Оставьте эту логику решений в своём коде.

Что означает рост частоты блокировок на многих IP?

Это значит, что проблема не в IP: цель идентифицирует вас по TLS/HTTP-отпечатку, заголовкам или поведению, либо тип IP не подходит для этого сайта. Прекратите ротацию и исправьте тот слой, который на самом деле даёт сбой.