大多数代理代码只有一条错误处理路径——捕获所有异常、轮换、重试——而正是这条路径导致代理池耗尽、目标网站升级封锁。一次失败的代理请求可能是五种不同事件之一:代理本身不可达;代理拒绝了你的凭据;目标拒绝了此IP;目标对你限流;或者目标返回了200状态码但内容是验证码页面而非实际内容。轮换只对其中一种情况有效。立即重试对任何情况都没有帮助。本指南对失败进行分类,然后构建一个紧凑的Python重试层,正确应对每种情况,包括指数退避、仅在适用时轮换,以及熔断器,以便对已表示“停止”的目标真正放手。代码片段使用requests;逻辑可直接移植到httpx和aiohttp(参数名见Python中的代理)。
五种失败类型
| # | 发生了什么 | 在Python中的表现 | 正确应对 |
|---|---|---|---|
| 1 | 代理不可达——主机/端口错误、供应商故障、网络问题 | ProxyError包装连接错误;在任何HTTP之前出现ConnectTimeout | 使用退避重试;N次失败后将代理端点标记为宕机并告警。如果网关本身宕机,在同一网关内轮换无济于事。 |
| 2 | 代理拒绝了你的请求——凭据错误、IP未白名单、套餐耗尽 | ProxyError包含407;有时是网关返回的供应商特定4xx错误 | 不要重试。修复配置;循环重试407可能导致供应商限制你的账户。 |
| 3 | 目标拒绝了此IP——声誉、ASN、地理封锁 | 403,有时是401/451;偶尔是连接重置 | 轮换到新的出口(新的会话ID)并使用全新的cookie jar;重试一两次;如果跨IP持续失败,问题在于指纹或类型,而非IP——停止并重新评估(原因)。 |
| 4 | 目标对你限流 | 429,或带Retry-After的503 | 在此出口上等待Retry-After(或退避)然后继续使用它。轮换而不是等待会扩大封锁范围。参见限流信号。 |
| 5 | 验证码页面返回200——CAPTCHA/插页 | 状态码200但内容不是预期内容 | 视为类型3失败。通过内容检测(标记文本、缺少预期元素、响应体过小),绝不能仅凭状态码判断。 |
| — | 瞬时网络/目标5xx | ReadTimeout,流中ConnectionError,500/502/504 | 在同一出口上使用退避重试;这些通常与你无关。 |
表格就是整篇文章的核心;下面所有内容都是让程序遵守它。
先分类
import requests
from enum import Enum
class Fail(Enum):
NONE = 0; PROXY_DOWN = 1; PROXY_AUTH = 2; IP_BLOCKED = 3; RATE_LIMITED = 4; CHALLENGE = 5; TRANSIENT = 6
CHALLENGE_MARKERS = (b"captcha", b"cf-chl", b"challenge-platform", b"datadome", b"px-captcha")
def classify(resp: requests.Response | None, exc: Exception | None, min_bytes: int = 2000) -> Fail:
if exc is not None:
if isinstance(exc, requests.exceptions.ProxyError):
return Fail.PROXY_AUTH if "407" in str(exc) else Fail.PROXY_DOWN
if isinstance(exc, (requests.exceptions.ConnectTimeout,)):
return Fail.PROXY_DOWN # 从未到达代理(或代理未响应CONNECT)
if isinstance(exc, (requests.exceptions.ReadTimeout, requests.exceptions.ConnectionError)):
return Fail.TRANSIENT
return Fail.TRANSIENT
s = resp.status_code
if s == 429 or (s == 503 and "Retry-After" in resp.headers):
return Fail.RATE_LIMITED
if s in (401, 403, 451):
return Fail.IP_BLOCKED
if s >= 500:
return Fail.TRANSIENT
if s == 200:
body = resp.content[:20000].lower()
if len(resp.content) < min_bytes or any(m in body for m in CHALLENGE_MARKERS):
return Fail.CHALLENGE
return Fail.NONE
return Fail.TRANSIENT
根据目标调整CHALLENGE_MARKERS和min_bytes:可靠的检查是“页面是否包含我要找的元素?”——产品标题、JSON键——其缺失即为验证码信号。
正确实现退避
带抖动的指数退避:延迟加倍分散重试;抖动避免一百个工作进程同步重试。当存在Retry-After时尊重它。
import random, time, email.utils
def backoff_delay(attempt: int, base: float = 1.0, cap: float = 60.0) -> float:
return random.uniform(0, min(cap, base * (2 ** attempt))) # "完全抖动"
def retry_after_seconds(resp: requests.Response | None) -> float | None:
if resp is None or "Retry-After" not in resp.headers:
return None
v = resp.headers["Retry-After"].strip()
if v.isdigit():
return float(v)
dt = email.utils.parsedate_to_datetime(v) # HTTP日期格式
return max(0.0, dt.timestamp() - time.time()) if dt else None
每个(目标,出口)的熔断器
当目标连续多次拒绝某个出口时,暂时停止向该目标提供该出口,而不是在每次请求时都重新发现封锁。对于宕机的代理端点同理。
import time
from collections import defaultdict
class Breaker:
def __init__(self, threshold=3, cooldown=300):
self.fail = defaultdict(int); self.open_until = {}
self.threshold, self.cooldown = threshold, cooldown
def allow(self, key) -> bool:
return time.time() >= self.open_until.get(key, 0)
def ok(self, key):
self.fail[key] = 0
def bad(self, key):
self.fail[key] += 1
if self.fail[key] >= self.threshold:
self.open_until[key] = time.time() + self.cooldown
self.fail[key] = 0
整合起来
import secrets
GATE, PORT, PASS = "gate.provider.com", 7777, "PASSWORD"
breaker = Breaker()
def proxies_for(session_id: str) -> dict:
url = f"http://customer-session-{session_id}:{PASS}@{GATE}:{PORT}"
return {"http": url, "https": url}
def fetch(url: str, host: str, max_attempts: int = 5, timeout=(10, 30)) -> requests.Response | None:
sid = secrets.token_hex(4)
sess = requests.Session()
for attempt in range(max_attempts):
key = (host, sid)
if not breaker.allow(key) or not breaker.allow(("gateway", GATE)):
sid = secrets.token_hex(4); sess = requests.Session(); continue # 选择不同的出口
resp = exc = None
try:
resp = sess.get(url, proxies=proxies_for(sid), timeout=timeout)
except requests.RequestException as e:
exc = e
kind = classify(resp, exc)
if kind is Fail.NONE:
breaker.ok(key); breaker.ok(("gateway", GATE)); return resp
if kind is Fail.PROXY_AUTH:
raise RuntimeError("代理拒绝了凭据/白名单——修复配置,而非重试")
if kind is Fail.PROXY_DOWN:
breaker.bad(("gateway", GATE)); time.sleep(backoff_delay(attempt, base=2)); continue
if kind is Fail.RATE_LIMITED:
time.sleep(retry_after_seconds(resp) or backoff_delay(attempt, base=5)); continue # 同一出口
if kind in (Fail.IP_BLOCKED, Fail.CHALLENGE):
breaker.bad(key)
sid = secrets.token_hex(4); sess = requests.Session() # 新出口 + 全新cookies
time.sleep(backoff_delay(attempt)); continue
# TRANSIENT
time.sleep(backoff_delay(attempt)); continue
return None
这段代码与朴素循环的不同之处:它从不重试407;在限流时等待而非跳转;仅在IP级拒绝和验证码时轮换,并且每次轮换都配合全新的cookie jar(新IP上使用相同cookies等于同一访客);它停止向持续失败的主机提供出口;并且所有退避都带抖动。将Fail计数接入你的指标——如果IP_BLOCKED率在不同出口间上升,意味着指纹或IP类型错误,任何重试策略都无法解决(参见TLS指纹和选择IP类型)。
改用库
tenacity提供了重试/退避/停止条件的装饰器,是个好基础——但请将分类和“轮换vs等待vs停止”的决策保留在自己的代码中;通用重试库将所有异常一视同仁,这正是错误所在。urllib3的Retry对象(可挂载到requests的HTTPAdapter上)能很好地处理连接级重试和429/503的Retry-After,适合用于TRANSIENT和RATE_LIMITED类别;但它无法轮换你的代理或检测验证码内容,因此它是对上述层的补充而非替代。
异步注意事项
在aiohttp/httpx.AsyncClient中,结构相同,只需使用await asyncio.sleep();唯一需要添加的是每主机信号量,这样在一个主机上退避不会阻塞其他主机,并且每主机的并发保持礼貌。仅使用全局信号量会让一百个协程在某个目标成为唯一未休眠目标时全部涌向它。
常见问题
我应该每次出错都轮换代理吗?
不。仅在IP级拒绝(403类)和验证码页面时轮换,并且始终配合全新的cookie jar。在429/Retry-After时等待——不要轮换。在407时修复配置。在瞬时错误和5xx时重试同一出口。
应该重试多少次?
通常三到五次尝试,配合指数退避和抖动;超过这个范围,你要么面临持续封锁(轮换次数已达上限),要么面临故障(熔断器应已打开)。限制每次请求的总墙钟时间。
如何在代码中检测CAPTCHA页面?
通过内容而非状态码:检查你期望的元素(标题、JSON键)、正文中已知的验证码标记,以及不合理的过小响应。返回200但没有你的内容就是失败。
什么是代理熔断器?
一个针对(目标,出口)的计数器,在连续多次失败后,在冷却期内停止使用该出口访问该目标——这样你不会在每次请求时重新发现封锁,也不会持续向拒绝你的主机施压。
为什么不直接用tenacity或urllib3 Retry?
它们适用于瞬时和限流重试;但它们无法区分407、403和验证码,无法轮换你的会话ID,也无法重置cookies。请将该决策逻辑保留在你的代码中。
跨多个IP的封锁率上升意味着什么?
意味着IP不是问题:目标通过TLS/HTTP指纹、请求头或行为识别你,或者IP类型不适合该网站。停止轮换,修复实际失败的层。