В большинстве кода с прокси есть один путь обработки ошибок — поймать всё, ротировать, повторить — и именно этот путь приводит к выгоранию пулов и эскалации со стороны целей. Неудачный проксированный запрос — это одно из пяти разных событий: прокси был недоступен; прокси отклонил ваши учётные данные; цель отказала этому IP; цель ограничила ваш rate limit; или цель ответила 200 со страницей-челленджем вместо контента. Ротация помогает ровно с одним из них. Немедленный повтор не помогает ни с одним. Это руководство классифицирует ошибки, а затем строит компактный слой повторных попыток на Python, который реагирует на каждую ошибку правильно: с экспоненциальным backoff, ротацией только там, где она применима, и circuit breaker, чтобы цель, которая сказала «стоп», действительно оставалась в покое. Примеры используют requests; логика переносится напрямую в httpx и aiohttp (имена параметров в Прокси в Python).
Пять типов ошибок
| # | Что произошло | Как это выглядит в Python | Правильный ответ |
|---|---|---|---|
| 1 | Прокси недоступен — неверный хост/порт, сбой провайдера, сеть | ProxyError с ошибкой соединения; ConnectTimeout до любого HTTP | Повторить с backoff; после N неудач пометить прокси-эндпоинт как недоступный и оповестить. Ротация в пределах того же шлюза не поможет, если шлюз лежит. |
| 2 | Прокси отклонил вас — неверные учётные данные, IP не в белом списке, исчерпан тариф | ProxyError с 407; иногда провайдер-специфичные 4xx от шлюза | Не повторять. Исправить конфигурацию; повторение 407 в цикле может привести к троттлингу аккаунта провайдером. |
| 3 | Цель отказала этому IP — репутация, ASN, гео-блок | 403, иногда 401/451; редко сброс соединения | Ротировать на новый выход (новый session ID) и новую cookie jar; повторить один-два раза; если проблема сохраняется на разных IP, значит дело в отпечатке или типе, а не в IP — остановиться и пересмотреть (почему). |
| 4 | Цель ограничила rate limit | 429, или 503 с Retry-After | Подождать Retry-After (или backoff) на этом же выходе; затем продолжить на нём. Ротация вместо ожидания распространяет блок. См. сигналы rate limit. |
| 5 | Челлендж с кодом 200 — CAPTCHA/промежуточная страница | Статус 200, но тело не содержит ожидаемого контента | Обрабатывать как ошибку типа 3. Определять по содержимому (маркерный текст, отсутствие ожидаемого элемента, слишком маленькое тело), никогда только по статусу. |
| — | Временная сеть / 5xx цели | ReadTimeout, ConnectionError в середине потока, 500/502/504 | Повторить с backoff на том же выходе; обычно это не связано с вами. |
Таблица — это вся суть статьи; всё ниже — это заставить программу следовать ей.
Сначала классифицируйте
import requests
from enum import Enum
class Fail(Enum):
NONE = 0; PROXY_DOWN = 1; PROXY_AUTH = 2; IP_BLOCKED = 3; RATE_LIMITED = 4; CHALLENGE = 5; TRANSIENT = 6
CHALLENGE_MARKERS = (b"captcha", b"cf-chl", b"challenge-platform", b"datadome", b"px-captcha")
def classify(resp: requests.Response | None, exc: Exception | None, min_bytes: int = 2000) -> Fail:
if exc is not None:
if isinstance(exc, requests.exceptions.ProxyError):
return Fail.PROXY_AUTH if "407" in str(exc) else Fail.PROXY_DOWN
if isinstance(exc, (requests.exceptions.ConnectTimeout,)):
return Fail.PROXY_DOWN # никогда не достигли прокси (или он не ответил на CONNECT)
if isinstance(exc, (requests.exceptions.ReadTimeout, requests.exceptions.ConnectionError)):
return Fail.TRANSIENT
return Fail.TRANSIENT
s = resp.status_code
if s == 429 or (s == 503 and "Retry-After" in resp.headers):
return Fail.RATE_LIMITED
if s in (401, 403, 451):
return Fail.IP_BLOCKED
if s >= 500:
return Fail.TRANSIENT
if s == 200:
body = resp.content[:20000].lower()
if len(resp.content) < min_bytes or any(m in body for m in CHALLENGE_MARKERS):
return Fail.CHALLENGE
return Fail.NONE
return Fail.TRANSIENT
Настройте CHALLENGE_MARKERS и min_bytes под каждую цель: надёжная проверка — «содержит ли страница элемент, за которым я пришёл?» — название товара, JSON-ключ — и его отсутствие является сигналом челленджа.
Backoff, правильно реализованный
Экспоненциальный backoff с джиттером: удвоение задержек распределяет повторные попытки; джиттер предотвращает синхронные повторные попытки сотен воркеров. Уважайте Retry-After, когда он есть.
import random, time, email.utils
def backoff_delay(attempt: int, base: float = 1.0, cap: float = 60.0) -> float:
return random.uniform(0, min(cap, base * (2 ** attempt))) # "полный джиттер"
def retry_after_seconds(resp: requests.Response | None) -> float | None:
if resp is None or "Retry-After" not in resp.headers:
return None
v = resp.headers["Retry-After"].strip()
if v.isdigit():
return float(v)
dt = email.utils.parsedate_to_datetime(v) # HTTP-date форма
return max(0.0, dt.timestamp() - time.time()) if dt else None
Circuit breaker на каждую пару (цель, выход)
Когда цель несколько раз подряд отказала выходу, перестаньте предлагать этот выход этой цели на некоторое время, вместо того чтобы обнаруживать блок на каждом запросе. Та же идея для прокси-эндпоинта, который лежит.
import time
from collections import defaultdict
class Breaker:
def __init__(self, threshold=3, cooldown=300):
self.fail = defaultdict(int); self.open_until = {}
self.threshold, self.cooldown = threshold, cooldown
def allow(self, key) -> bool:
return time.time() >= self.open_until.get(key, 0)
def ok(self, key):
self.fail[key] = 0
def bad(self, key):
self.fail[key] += 1
if self.fail[key] >= self.threshold:
self.open_until[key] = time.time() + self.cooldown
self.fail[key] = 0
Собираем всё вместе
import secrets
GATE, PORT, PASS = "gate.provider.com", 7777, "PASSWORD"
breaker = Breaker()
def proxies_for(session_id: str) -> dict:
url = f"http://customer-session-{session_id}:{PASS}@{GATE}:{PORT}"
return {"http": url, "https": url}
def fetch(url: str, host: str, max_attempts: int = 5, timeout=(10, 30)) -> requests.Response | None:
sid = secrets.token_hex(4)
sess = requests.Session()
for attempt in range(max_attempts):
key = (host, sid)
if not breaker.allow(key) or not breaker.allow(("gateway", GATE)):
sid = secrets.token_hex(4); sess = requests.Session(); continue # выбрать другой выход
resp = exc = None
try:
resp = sess.get(url, proxies=proxies_for(sid), timeout=timeout)
except requests.RequestException as e:
exc = e
kind = classify(resp, exc)
if kind is Fail.NONE:
breaker.ok(key); breaker.ok(("gateway", GATE)); return resp
if kind is Fail.PROXY_AUTH:
raise RuntimeError("прокси отклонило учётные данные/белый список — исправьте конфигурацию, а не повторяйте")
if kind is Fail.PROXY_DOWN:
breaker.bad(("gateway", GATE)); time.sleep(backoff_delay(attempt, base=2)); continue
if kind is Fail.RATE_LIMITED:
time.sleep(retry_after_seconds(resp) or backoff_delay(attempt, base=5)); continue # тот же выход
if kind in (Fail.IP_BLOCKED, Fail.CHALLENGE):
breaker.bad(key)
sid = secrets.token_hex(4); sess = requests.Session() # новый выход + свежие cookies
time.sleep(backoff_delay(attempt)); continue
# TRANSIENT
time.sleep(backoff_delay(attempt)); continue
return None
Что это делает, чего не делает наивный цикл: он никогда не повторяет 407; он ждёт при rate limit, а не прыгает; он ротирует только при отказе на уровне IP и челленджах, и каждую ротацию сопровождает свежей cookie jar (те же cookies на новом IP — это тот же посетитель); он перестаёт предлагать выход, который продолжает падать на хосте; и он использует backoff с джиттером везде. Подключите счётчики Fail к вашим метрикам — рост частоты IP_BLOCKED на разных выходах означает, что отпечаток или тип IP неверны, и никакая политика повторных попыток это не исправит (см. TLS-отпечатки и выбор типа IP).
Использование библиотеки вместо этого
tenacity даёт декораторы для условий повторных попыток/backoff/остановки и является хорошей основой — но оставьте классификацию и решение «ротировать vs ждать vs остановиться» в своём коде; универсальные библиотеки повторных попыток относятся ко всем исключениям одинаково, что как раз и есть ошибка. Объект Retry из urllib3 (монтируемый на HTTPAdapter в requests) хорошо обрабатывает повторные попытки на уровне соединения и Retry-After для 429/503, и его стоит использовать для классов TRANSIENT и RATE_LIMITED; он не может ротировать ваш прокси или обнаружить челлендж-тело, так что он дополняет, а не заменяет слой выше.
Заметка об асинхронности
В aiohttp/httpx.AsyncClient структура идентична с await asyncio.sleep(); единственное дополнение — семафор на хост, чтобы backoff на одном хосте не блокировал другие, и чтобы конкурентность на хост оставалась вежливой. Глобального семафора недостаточно: сотня корутин может навалиться на одну цель, как только она единственная не спит.
Часто задаваемые вопросы
Стоит ли ротировать прокси при каждой ошибке?
Нет. Ротируйте при отказе на уровне IP (класс 403) и на страницах-челленджах, всегда со свежей cookie jar. При 429/Retry-After — ждите, не ротируйте. При 407 — исправляйте конфигурацию. При временных ошибках и 5xx — повторяйте на том же выходе.
Сколько раз повторять?
Три-пять попыток с экспоненциальным backoff и джиттером — обычный диапазон; дальше вы либо сталкиваетесь с постоянным блоком (лимит ротации исчерпан), либо с инцидентом (breaker должен быть открыт). Ограничьте общее время на запрос.
Как обнаружить CAPTCHA-страницу в коде?
По содержимому, а не по статусу: проверяйте наличие ожидаемого элемента (заголовка, JSON-ключа), известных маркеров челленджа в теле и неправдоподобно маленький ответ. 200 без вашего контента — это ошибка.
Что такое circuit breaker для прокси?
Это счётчик на пару (цель, выход), который после нескольких последовательных сбоев перестаёт использовать этот выход для этой цели на период охлаждения — чтобы вы не обнаруживали блок на каждом запросе и не продолжали долбить хост, который вас отверг.
Почему бы просто не использовать tenacity или urllib3 Retry?
Используйте их для повторных попыток при временных ошибках и rate limit; но они не отличат 407 от 403 от челленджа, не смогут ротировать ваш session ID и не сбросят cookies. Оставьте эту логику решений в своём коде.
Что означает рост частоты блокировок на многих IP?
Это значит, что проблема не в IP: цель идентифицирует вас по TLS/HTTP-отпечатку, заголовкам или поведению, либо тип IP не подходит для этого сайта. Прекратите ротацию и исправьте тот слой, который на самом деле даёт сбой.