robots.txt هو ملف نصي يطلب فيه الموقع من برامج الزحف الابتعاد عن مسارات معينة؛ وحدود المعدل هي كيفية فرض الموقع لسرعة طلبات أي شخص؛ والفرق بين برنامج استخلاص يعمل لأشهر وآخر يحرق مجموعة بروكسي في فترة ما بعد الظهر هو في الغالب ما إذا كان يحترم كليهما. هذه ليست في المقام الأول نقطة أخلاقية، على الرغم من أنها كذلك أيضًا — إنها نقطة هندسية. كل عنوان IP تملكه يحمل ميزانية سمعة محدودة مع كل هدف، والاستخلاص غير المهذب ينفقها أسرع مما يمكن للتناوب تجديدها. يغطي هذا الدليل ما تعنيه الإشارات فعليًا والممارسات التي تجعل البروكسيات تدوم لفترة أطول.
robots.txt: ما هو وما ليس هو
بروتوكول استبعاد الروبوتات (الموثق رسميًا كـ RFC 9309 في 2022) يسمح للموقع بنشر، في /robots.txt، أي وكلاء مستخدمين يمكنهم جلب أي مسارات:
User-agent: *
Disallow: /admin/
Disallow: /search
Crawl-delay: 5
User-agent: Googlebot
Allow: /
Sitemap: https://example.com/sitemap.xml
ثلاث حقائق عنه تهم مستخدمي البروكسي:
- إنه استشاري. لا شيء تقني يمنع العميل من جلب مسار محظور. الامتثال طوعي — وهذا هو بالضبط سبب تعامل المواقع مع عدم الامتثال كإشارة روبوت قوية: الزائر الذي يتجاهل robots.txt أعلن أنه عميل آلي لا يتبع الاتفاقيات.
- إنه ليس أداة قانونية بحد ذاته، لكنه دليل. في النزاعات حول الاستخلاص، يُستشهد عادةً بـ robots.txt الخاص بالموقع كإشعار بأن الوصول الآلي لم يكن مسموحًا به؛ تجاهله يضعف موقف "لم يكن لدي أي سبب للاعتقاد بأن هذا غير مرغوب فيه". انظر الخريطة القانونية.
- يخبرك أين توجد الفخاخ. المسارات المدرجة تحت
Disallowلـ*غالبًا ما تكون تلك التي يجهزها الموقع بشكل كبير — نقاط نهاية البحث، والتنقل متعدد الأوجه، والتقويمات اللانهائية، ومناطق الإدارة. جلبها هو الأكثر قابلية للاكتشاف والأقل فائدة التي يمكن أن يفعلها المستخلص.
قواعد عامة: اجلب /robots.txt مرة واحدة لكل مضيف يوميًا وقم بتخزينه مؤقتًا؛ التزم بـ Disallow لوكيل المستخدم الخاص بك ولـ *؛ احترم Crawl-delay عند وجوده (إنه غير قياسي لكنه مستخدم على نطاق واسع — الرقم هو الثواني بين الطلبات من عميل واحد)؛ اقرأ أسطر Sitemap، والتي هي الموقع يسلمك قائمة URL نظيفة وكاملة حتى لا تضطر إلى الزحف للعثور عليها.
حدود المعدل: كيف يقول الموقع "أبطأ"
حدود المعدل مفروضة، وتأتي مع إشارات إذا استمعت:
| الإشارة | المعنى | الرد الصحيح |
|---|---|---|
429 Too Many Requests | لقد تجاوزت حدًا (عادةً لكل IP، وأحيانًا لكل جلسة) | توقف؛ انتظر على الأقل قيمة Retry-After إذا كانت معطاة؛ تراجع بشكل أسي إذا لم تكن |
Retry-After: 120 (ترويسة) | لا تحاول مرة أخرى لمدة 120 ثانية (أو حتى التاريخ المحدد) | احترمها تمامًا؛ إعادة المحاولة مبكرًا تطيل العقوبة على العديد من الأنظمة |
503 مع Retry-After | محمّل بشكل زائد أو يخنق عمدًا | نفس ما ورد أعلاه |
403 بعد سلسلة من 200s | حظر ناعم: استنفدت السمعة لهذا IP أو الجلسة | بدّل IP و الجلسة؛ أبطئ قبل الاستئناف |
| CAPTCHA / صفحة تحدي مع حالة 200 | طبقة مكافحة الروبوتات تريد إثباتًا (انظر كيف تسجل) | عاملها كحظر، وليس نجاحًا؛ لا تضربها مرارًا |
| أوقات الاستجابة تتزايد بثبات | يتم خفض أولويتك، أو أنت الحمل | قلل التزامن |
ترويسات X-RateLimit-Remaining / -Reset | ميزانية صريحة، شائعة في APIs | اضبط السرعة للبقاء تحت الحد؛ نم حتى إعادة التعيين عندما تصل إلى الصفر |
الخطأ المكلف هو معاملة كل غير 200 كـ "بدّل وحاول مرة أخرى فورًا." هذا يحول الحد المؤقت لعنوان IP واحد إلى IP محروق، ثم يحرق التالي، ويعلم نموذج الهدف أن بصمتك تقفز العناوين عند الرفض — وهو نمط تكتشفه أدوات مكافحة الروبوتات على وجه التحديد. التناوب هو لتوزيع الحمل العادي، وليس للتهرب من حد قمت بتجاوزه للتو؛ انظر استراتيجية التناوب.
ممارسات تُبقي عناوين IP حية
- اكتشف تحمل الموقع لكل IP والبقاء تحت نصفه. قسه مرة واحدة (الطريقة في اختيار فترة التناوب) بدلاً من التخمين.
- أضف تذبذبًا. الفترات المنتظمة هي أكثر إشارة شبيهة بالآلة. عشوائي التأخيرات حول متوسط، ونوّع ترتيب زيارة عناوين URL.
- استخدم خريطة الموقع. إذا كان الموقع ينشر واحدة، فهي جرد كامل لما يريدون فهرسته؛ الزحف إليها هو أكثر تهذيبًا وأكثر اكتمالًا من تتبع الروابط، ويتجنب مسارات الفخاخ.
- خزّن واستخدم الطلبات الشرطية. أرسل
If-Modified-Since/If-None-Matchحيث يدعم الموقع ذلك؛304يكلف جزءًا بسيطًا من صفحة كاملة — في نطاقهم الترددي، وغيغابايت بروكسي الخاص بك، وسمعة IP الخاصة بك. - لا تجلب ما لا تحتاجه. HTML بدون أصول حيثما أمكن؛ احظر الصور/الخطوط/الوسائط في أتمتة المتصفح. هذا وحده يمكن أن يقلل تكلفة البروكسي لكل غيغابايت بترتيب من حيث الحجم (لماذا) ويقلل بصمة الحمل التي يراها الموقع.
- فضل واجهات برمجة التطبيقات الرسمية والخلاصات وتصديرات البيانات عندما تكون موجودة. تقدم العديد من المواقع RSS أو نقاط نهاية JSON أو تنزيلات مجمعة بالضبط حتى يتوقف الناس عن استخلاص HTML.
- عرّف عن نفسك بصدق عندما يتحمل الهدف ذلك. وكيل مستخدم وصفي مع عنوان اتصال هو القاعدة لبرامج الزحف البحثية والمراقبة، وبعض المواقع تضع على القائمة البيضاء الروبوتات المعروفة الجيدة. حيث يجب أن تظهر كمتصفح بدلاً من ذلك، افعل ذلك بشكل متسق عبر جميع الطبقات (لماذا تفشل التدابير النصفية).
- تراجع بشكل أسي وحدد التزامن لكل مضيف، وليس فقط على مستوى العالم. عشرة مضيفين باتصالين لكل منها مهذب؛ مضيف واحد بعشرين ليس كذلك.
- توقف عندما يُطلب منك التوقف.
Retry-After، أو صفحة حظر صريحة، أو رسالة من مشغل الموقع كلها تغير ما يجب عليك فعله بعد ذلك؛ الأخيرة تغير الموقف القانوني أيضًا.
لماذا التهذيب أرخص
كل واحدة من الممارسات أعلاه تقلل واحدة من ثلاث تكاليف: إنفاق البروكسي (بايتات أقل، إعادة محاولات أقل)، حرق IP (كل عنوان يدوم لفترة أطول، لذا تحتاج عددًا أقل ويمكنك استخدام أنواع أرخص)، وخطر الاكتشاف (العميل الذي يتصرف مثل زاحف مهذب يسجل أفضل على الطبقة السلوكية من الذي يتصرف مثل فيضان). الاستخلاص العدواني هو استراتيجية تنفق المال لتبدو أكثر اشتباهًا. الاستثناء الذي يستشهد به الناس — سحب لمرة واحدة حيث لا يهم شيء بعد ذلك — حقيقي لكنه نادر أكثر مما يبدو، لأن الأهداف تشارك المعلومات الاستخباراتية والمجموعات مشتركة مع نفسك المستقبلية.
ملاحظة حول أخلاقيات الحمل
بعيدًا عن اقتصاديات IP: الموقع على الطرف الآخر هو فاتورة بنية تحتية لشخص ما. المستخلص الذي يجلب بمعدل يمكن للموقع استيعابه لا يمكن تمييزه عن حركة المرور؛ الذي يدهور الخدمة للمستخدمين الحقيقيين هو، على الأقل، وقح، وعلى نطاق واسع يقترب من المنطقة التي يسميها القانون تعديًا أو تدخلاً. Crawl-delay وحدود المعدل هي طريقة الموقع لقول ما يمكنه استيعابه. قراءتها هي كل الأدب الجيد هنا.
الأسئلة الشائعة
هل robots.txt ملزم قانونيًا؟
ليس بمفرده؛ إنه اتفاقية. لكنه بمثابة إشعار برغبات الموقع ويُستشهد به في النزاعات، وتجاهله هو إشارة أتمتة قوية لأنظمة مكافحة الروبوتات. عامله كملزم عمليًا.
ماذا يعني Crawl-delay؟
توجيه غير قياسي لكنه شائع: عدد الثواني التي يجب أن ينتظرها الزاحف الواحد بين الطلبات. احترمه لكل عميل (لكل IP/جلسة)، وليس للعملية بأكملها.
ماذا يجب أن أفعل عند 429؟
توقف عن ضرب هذا المضيف من هذا IP؛ انتظر قيمة Retry-After إذا كانت معطاة، وإلا تراجع بشكل أسي؛ ثم استأنف، بشكل أبطأ. لا تبدل فورًا وأعد المحاولة — فهذا ينشر الحظر.
هل يتيح لي تناوب البروكسيات تجاهل حدود المعدل؟
يتيح لكل IP البقاء تحت حد لكل IP بينما يكون إجمالي إنتاجيتك أعلى. لا يجعل الأنماط العدوانية غير مرئية: اكتشاف البصمة والسلوك يربط الجلسات، وعناوين IP المحروقة تظل محروقة.
هل يجب أن أعرف المستخلص الخاص بي في User-Agent؟
حيث يتحمل الموقع برامج الزحف، نعم — إنه الافتراضي الصادق وأحيانًا يجعلك على القائمة البيضاء. حيث يجب أن تظهر كمتصفح، كن متسقًا عبر TLS والترويسات والسلوك بدلاً من خلط UA صادق مع انتحال متصفح.
ما مدى السرعة التي يمكنني بها استخلاص موقع؟
بالسرعة التي يتحملها من IP واحد مضروبًا في عدد عناوين IP التي لديك — مقاسة، وليست مفترضة — ناقص هامش أمان، وأبدًا أسرع من Crawl-delay الخاص به أو السرعة التي تظل عندها أوقات الاستجابة ثابتة.