معظم كود البروكسي لديه مسار خطأ واحد — التقاط كل شيء، التبديل، إعادة المحاولة — وهذا المسار الوحيد هو سبب احتراق المجمعات وتصعيد الأهداف. الطلب الفاشل عبر البروكسي هو واحد من خمسة أحداث مختلفة: البروكسي نفسه غير قابل للوصول؛ البروكسي رفض بيانات اعتمادك؛ الهدف رفض عنوان IP هذا؛ الهدف قام بتقييد معدل طلباتك؛ أو الهدف أجاب بـ 200 مع صفحة تحدي بدلاً من المحتوى. التبديل يساعد مع واحد فقط من هذه. إعادة المحاولة فوراً لا تساعد مع أي منها. يوضح هذا الدليل تصنيف حالات الفشل، ثم يبني طبقة إعادة محاولة بايثون مدمجة تستجيب لكل حالة بشكل صحيح، مع تراجع أسي، وتبديل فقط حيث ينطبق، وقاطع دائرة بحيث يتم ترك الهدف الذي قال "توقف" بمفرده. تستخدم المقاطع requests؛ المنطق يُنقل مباشرة إلى httpx و aiohttp (أسماء المعاملات في البروكسيات في بايثون).
حالات الفشل الخمس
| # | ماذا حدث | كيف يظهر في بايثون | الاستجابة الصحيحة |
|---|---|---|---|
| 1 | البروكسي غير قابل للوصول — مضيف/منفذ خاطئ، انقطاع من المزود، شبكة | ProxyError يغلف خطأ اتصال؛ ConnectTimeout قبل أي HTTP | أعد المحاولة مع تراجع؛ بعد N محاولات فاشلة، ضع علامة على نقطة نهاية البروكسي بأنها معطلة ونبه. التبديل داخل نفس البوابة لن يساعد إذا كانت البوابة معطلة. |
| 2 | البروكسي رفضك — بيانات اعتماد خاطئة، IP غير مدرج في القائمة البيضاء، الخطة مستنفدة | ProxyError مع 407؛ أحياناً 4xx خاص بالمزود من البوابة | لا تعد المحاولة. أصلح الإعدادات؛ إعادة محاولة 407 في حلقة قد يؤدي إلى تقييد حسابك من قبل المزود. |
| 3 | الهدف رفض عنوان IP هذا — السمعة، ASN، حظر جغرافي | 403، أحياناً 401/451؛ أحياناً إعادة تعيين الاتصال | بدّل إلى مخرج جديد (معرف جلسة جديد) و وعاء كوكيز جديد؛ أعد المحاولة مرة أو مرتين؛ إذا استمر عبر عناوين IP، فالمشكلة هي البصمة أو النوع، وليس IP — توقف وأعد التقييم (لماذا). |
| 4 | الهدف قام بتقييد معدل طلباتك | 429، أو 503 مع Retry-After | انتظر Retry-After (أو تراجع) على هذا المخرج؛ ثم تابع عليه. التبديل بدلاً من الانتظار ينشر الحظر. انظر إشارات تقييد المعدل. |
| 5 | تحدٍ يُقدَّم كـ 200 — CAPTCHA/صفحة وسيطة | الحالة 200 لكن الجسم ليس المحتوى المتوقع | تعامل معه كنوع فشل 3. اكتشفه بالمحتوى (نص مميز، عنصر متوقع مفقود، جسم صغير جداً)، وليس بالحالة فقط. |
| — | شبكة عابرة / خطأ 5xx من الهدف | ReadTimeout، ConnectionError في منتصف التدفق، 500/502/504 | أعد المحاولة مع تراجع على نفس المخرج؛ هذه عادة ليست بسببك. |
الجدول هو المقال كله؛ كل ما يلي هو جعل البرنامج يطيعه.
صنّف أولاً
import requests
from enum import Enum
class Fail(Enum):
NONE = 0; PROXY_DOWN = 1; PROXY_AUTH = 2; IP_BLOCKED = 3; RATE_LIMITED = 4; CHALLENGE = 5; TRANSIENT = 6
CHALLENGE_MARKERS = (b"captcha", b"cf-chl", b"challenge-platform", b"datadome", b"px-captcha")
def classify(resp: requests.Response | None, exc: Exception | None, min_bytes: int = 2000) -> Fail:
if exc is not None:
if isinstance(exc, requests.exceptions.ProxyError):
return Fail.PROXY_AUTH if "407" in str(exc) else Fail.PROXY_DOWN
if isinstance(exc, (requests.exceptions.ConnectTimeout,)):
return Fail.PROXY_DOWN # never reached the proxy (or it never answered CONNECT)
if isinstance(exc, (requests.exceptions.ReadTimeout, requests.exceptions.ConnectionError)):
return Fail.TRANSIENT
return Fail.TRANSIENT
s = resp.status_code
if s == 429 or (s == 503 and "Retry-After" in resp.headers):
return Fail.RATE_LIMITED
if s in (401, 403, 451):
return Fail.IP_BLOCKED
if s >= 500:
return Fail.TRANSIENT
if s == 200:
body = resp.content[:20000].lower()
if len(resp.content) < min_bytes or any(m in body for m in CHALLENGE_MARKERS):
return Fail.CHALLENGE
return Fail.NONE
return Fail.TRANSIENT
اضبط CHALLENGE_MARKERS و min_bytes لكل هدف: الفحص الموثوق هو "هل تحتوي الصفحة على العنصر الذي جئت من أجله؟" — عنوان منتج، مفتاح JSON — وغيابه هو إشارة التحدي.
التراجع، بالشكل الصحيح
تراجع أسي مع تشويش (jitter): مضاعفة التأخيرات توزع إعادة المحاولات؛ التشويش يمنع مئة عامل من إعادة المحاولة في تزامن. احترم Retry-After عندما يكون موجوداً.
import random, time, email.utils
def backoff_delay(attempt: int, base: float = 1.0, cap: float = 60.0) -> float:
return random.uniform(0, min(cap, base * (2 ** attempt))) # "full jitter"
def retry_after_seconds(resp: requests.Response | None) -> float | None:
if resp is None or "Retry-After" not in resp.headers:
return None
v = resp.headers["Retry-After"].strip()
if v.isdigit():
return float(v)
dt = email.utils.parsedate_to_datetime(v) # HTTP-date form
return max(0.0, dt.timestamp() - time.time()) if dt else None
قاطع دائرة لكل (هدف، مخرج)
عندما يرفض هدف مخرجاً عدة مرات متتالية، توقف عن تقديم هذا المخرج لذلك الهدف لفترة بدلاً من اكتشاف الحظر في كل طلب. نفس الفكرة لنقطة نهاية بروكسي معطلة.
import time
from collections import defaultdict
class Breaker:
def __init__(self, threshold=3, cooldown=300):
self.fail = defaultdict(int); self.open_until = {}
self.threshold, self.cooldown = threshold, cooldown
def allow(self, key) -> bool:
return time.time() >= self.open_until.get(key, 0)
def ok(self, key):
self.fail[key] = 0
def bad(self, key):
self.fail[key] += 1
if self.fail[key] >= self.threshold:
self.open_until[key] = time.time() + self.cooldown
self.fail[key] = 0
تجميع كل ذلك
import secrets
GATE, PORT, PASS = "gate.provider.com", 7777, "PASSWORD"
breaker = Breaker()
def proxies_for(session_id: str) -> dict:
url = f"http://customer-session-{session_id}:{PASS}@{GATE}:{PORT}"
return {"http": url, "https": url}
def fetch(url: str, host: str, max_attempts: int = 5, timeout=(10, 30)) -> requests.Response | None:
sid = secrets.token_hex(4)
sess = requests.Session()
for attempt in range(max_attempts):
key = (host, sid)
if not breaker.allow(key) or not breaker.allow(("gateway", GATE)):
sid = secrets.token_hex(4); sess = requests.Session(); continue # pick a different exit
resp = exc = None
try:
resp = sess.get(url, proxies=proxies_for(sid), timeout=timeout)
except requests.RequestException as e:
exc = e
kind = classify(resp, exc)
if kind is Fail.NONE:
breaker.ok(key); breaker.ok(("gateway", GATE)); return resp
if kind is Fail.PROXY_AUTH:
raise RuntimeError("proxy rejected credentials/whitelist — fix config, not retry")
if kind is Fail.PROXY_DOWN:
breaker.bad(("gateway", GATE)); time.sleep(backoff_delay(attempt, base=2)); continue
if kind is Fail.RATE_LIMITED:
time.sleep(retry_after_seconds(resp) or backoff_delay(attempt, base=5)); continue # same exit
if kind in (Fail.IP_BLOCKED, Fail.CHALLENGE):
breaker.bad(key)
sid = secrets.token_hex(4); sess = requests.Session() # new exit + fresh cookies
time.sleep(backoff_delay(attempt)); continue
# TRANSIENT
time.sleep(backoff_delay(attempt)); continue
return None
ما يفعله هذا ولا يفعله الحلقة الساذجة: لا يعيد محاولة 407 أبداً؛ ينتظر على تقييد المعدل بدلاً من القفز؛ يتبدل فقط على رفض مستوى IP والتحديات، ويقترن كل تبديل بوعاء كوكيز جديد (نفس الكوكيز على IP جديد هو نفس الزائر)؛ يتوقف عن تقديم مخرج يفشل باستمرار على مضيف؛ ويتراجع مع تشويش في كل مكان. اربط عدادات Fail في مقاييسك — ارتفاع معدل IP_BLOCKED عبر مخارج مختلفة يعني أن البصمة أو نوع IP خاطئ، ولا سياسة إعادة محاولة ستصلح ذلك (انظر بصمة TLS و اختيار نوع IP).
استخدام مكتبة بدلاً من ذلك
tenacity يمنحك ديكورات لشروط إعادة المحاولة/التراجع/الإيقاف وهو أساس جيد — لكن أبقِ التصنيف وقرار "تبديل مقابل انتظار مقابل توقف" في كودك الخاص؛ مكتبات إعادة المحاولة العامة تعامل كل الاستثناءات بنفس الطريقة، وهذا هو الخطأ بالضبط. كائن Retry في urllib3 (يمكن تركيبه على HTTPAdapter في requests) يتعامل جيداً مع إعادة المحاولة على مستوى الاتصال و Retry-After لـ 429/503، ويستحق الاستخدام لفئتي TRANSIENT و RATE_LIMITED؛ لا يمكنه تبديل البروكسي أو اكتشاف جسم تحدي، لذا فهو مكمل وليس بديلاً للطبقة أعلاه.
ملاحظة حول البرمجة غير المتزامنة
في aiohttp/httpx.AsyncClient البنية متطابقة مع await asyncio.sleep()؛ الإضافة الوحيدة هي إشارة (semaphore) لكل مضيف بحيث لا يؤدي التراجع على مضيف واحد إلى توقف الآخرين، وتبقى التوافقية لكل مضيف مهذبة. الإشارة العامة وحدها تسمح لمئة كوروتين بالتكدس على هدف واحد عندما يكون هو الوحيد الذي لا ينام.
الأسئلة الشائعة
هل يجب أن أبدل البروكسي عند كل خطأ؟
لا. بدّل على رفض مستوى IP (فئة 403) وصفحات التحدي، دائماً مع وعاء كوكيز جديد. انتظر — لا تبدل — على 429/Retry-After. أصلح الإعدادات على 407. أعد المحاولة على نفس المخرج للأخطاء العابرة و 5xx.
كم مرة يجب أن أعيد المحاولة؟
ثلاث إلى خمس محاولات مع تراجع أسي وتشويش هو الإطار المعتاد؛ بعد ذلك فأنت إما تواجه حظراً مستمراً (وصلت حد التبديل) أو انقطاعاً (يجب أن يكون قاطع الدائرة مفتوحاً). حدد إجمالي الوقت الأقصى لكل طلب.
كيف أكتشف صفحة CAPTCHA في الكود؟
بالمحتوى، وليس بالحالة: تحقق من العنصر الذي تتوقعه (عنوان، مفتاح JSON)، ومن علامات التحدي المعروفة في الجسم، ومن استجابة صغيرة بشكل غير معقول. 200 بدون المحتوى الخاص بك هو فشل.
ما هو قاطع الدائرة للبروكسيات؟
عداد لكل (هدف، مخرج) بعد عدة إخفاقات متتالية، يتوقف عن استخدام هذا المخرج لذلك الهدف لفترة تبريد — بحيث لا تكتشف الحظر في كل طلب ولا تستمر في قصف مضيف رفضك.
لماذا لا أستخدم tenacity أو urllib3 Retry فقط؟
استخدمها لإعادة المحاولة للأخطاء العابرة وتقييد المعدل؛ لكنها لا تستطيع التمييز بين 407 و 403 وتحدي، ولا يمكنها تبديل معرف الجلسة، ولا إعادة تعيين الكوكيز. أبقِ منطق القرار هذا في كودك.
ماذا يعني ارتفاع معدل الحظر عبر عناوين IP متعددة؟
أن عناوين IP ليست المشكلة: الهدف يتعرف عليك من خلال بصمة TLS/HTTP أو الترويسات أو السلوك، أو أن نوع IP خاطئ لهذا الموقع. توقف عن التبديل وأصلح الطبقة التي تفشل فعلياً.