robots.txt — это текстовый файл, в котором сайт просит краулеров не заходить на определенные пути; rate limits — это то, как сайт принудительно ограничивает скорость запросов; и разница между скрапером, который работает месяцами, и тем, который сжигает пул прокси за полдня, заключается в основном в том, уважает ли он оба. Это не только вопрос этики, хотя и этики тоже — это инженерный вопрос. Каждый ваш IP-адрес несет конечный бюджет репутации для каждой цели, и невежливый скрапинг тратит его быстрее, чем ротация может восполнить. Это руководство объясняет, что на самом деле означают сигналы, и практики, которые продлевают жизнь прокси.
robots.txt: что это и чем не является
Протокол исключения роботов (формализованный как RFC 9309 в 2022 году) позволяет сайту публиковать в /robots.txt, какие пользовательские агенты могут получать какие пути:
User-agent: *
Disallow: /admin/
Disallow: /search
Crawl-delay: 5
User-agent: Googlebot
Allow: /
Sitemap: https://example.com/sitemap.xml
Три факта о нем, которые важны для пользователей прокси:
- Он рекомендательный. Ничто технически не мешает клиенту получить доступ к запрещенному пути. Соблюдение добровольно — именно поэтому сайты рассматривают несоблюдение как сильный сигнал бота: посетитель, игнорирующий robots.txt, заявил, что он автоматизированный клиент, не следующий соглашениям.
- Сам по себе он не является юридическим инструментом, но он является доказательством. В спорах о скрапинге robots.txt сайта регулярно цитируется как уведомление о том, что автоматический доступ не разрешен; его игнорирование ослабляет позицию «у меня не было причин думать, что это нежелательно». См. правовую карту.
- Он показывает, где ловушки. Пути, перечисленные в
Disallowдля*, часто являются теми, которые сайт наиболее активно инструментирует — поисковые конечные точки, фасетная навигация, бесконечные календари, административные области. Их получение — это одновременно и самое заметное, и наименее полезное действие скрапера.
Практические правила: получайте /robots.txt один раз на хост в день и кэшируйте его; соблюдайте Disallow для вашего пользовательского агента и для *; соблюдайте Crawl-delay, если он присутствует (он нестандартный, но широко используется — число означает секунды между запросами от одного клиента); читайте строки Sitemap, которые представляют собой чистый и полный список URL, который сайт предоставляет вам, чтобы вам не пришлось ползать в поисках.
Rate limits: как сайты говорят «медленнее»
Rate limits применяются принудительно, и они сопровождаются сигналами, если вы прислушиваетесь:
| Сигнал | Значение | Правильный ответ |
|---|---|---|
429 Too Many Requests | Вы превысили лимит (обычно на IP, иногда на сессию) | Остановитесь; подождите как минимум значение Retry-After, если оно указано; в противном случае отступайте экспоненциально |
Retry-After: 120 (заголовок) | Не повторяйте запрос в течение 120 секунд (или до указанной даты) | Соблюдайте точно; повторная попытка раньше продлевает наказание во многих системах |
503 с Retry-After | Перегрузка или намеренное ограничение | То же, что и выше |
403 после серии 200 | Мягкая блокировка: репутация исчерпана для этого IP или сессии | Смените IP и сессию; замедлитесь перед возобновлением |
| CAPTCHA / страница вызова со статусом 200 | Анти-бот слой требует доказательств (см. как он оценивает) | Считайте это блокировкой, а не успехом; не пробивайтесь через нее |
| Время ответа неуклонно растет | Вас понижают в приоритете, или вы сами создаете нагрузку | Уменьшите параллелизм |
Заголовки X-RateLimit-Remaining / -Reset | Явный бюджет, обычно в API | Соблюдайте темп, чтобы оставаться в пределах; спите до сброса, когда он достигнет нуля |
Дорогостоящая ошибка — рассматривать каждый не-200 как «сменить IP и немедленно повторить». Это превращает временный лимит одного IP в сожженный IP, затем сжигает следующий и учит модель цели, что ваш отпечаток прыгает по адресам при отказе — паттерн, который специально обнаруживают анти-бот вендоры. Ротация предназначена для распределения нормальной нагрузки, а не для обхода лимита, который вы только что превысили; см. стратегию ротации.
Практики, которые сохраняют IP-адреса
- Определите допустимую нагрузку на IP для сайта и оставайтесь ниже половины. Измерьте один раз (метод описан в выборе интервала ротации), а не гадайте.
- Добавьте джиттер. Равномерные интервалы — самый машиноподобный сигнал. Рандомизируйте задержки вокруг среднего значения и варьируйте порядок посещения URL.
- Используйте sitemap. Если сайт публикует его, это полный перечень того, что они хотят индексировать; сканирование его — это и более вежливо, и более полно, чем обход ссылок, и позволяет избежать ловушек.
- Кэшируйте и используйте условные запросы. Отправляйте
If-Modified-Since/If-None-Match, где сайт их поддерживает;304стоит малую долю полной страницы — в их пропускной способности, ваших гигабайтах прокси и вашей репутации IP. - Не загружайте то, что вам не нужно. По возможности HTML без ресурсов; блокируйте изображения/шрифты/медиа в браузерной автоматизации. Это одно может снизить стоимость прокси за гигабайт на порядок (почему) и уменьшает нагрузку, которую видит сайт.
- Предпочитайте официальные API, фиды и экспорт данных, когда они существуют. Многие сайты предлагают RSS, JSON-эндпоинты или массовые загрузки именно для того, чтобы люди перестали скрапить HTML.
- Честно идентифицируйте себя, когда цель это допускает. Описательный User-Agent с контактным адресом — норма для исследовательских и мониторинговых краулеров, и некоторые сайты включают в белый список известных хороших ботов. Если вы должны маскироваться под браузер, делайте это последовательно на всех уровнях (почему полумеры не работают).
- Отступайте экспоненциально и ограничивайте параллелизм на хост, а не только глобально. Десять хостов по два соединения — вежливо; один хост с двадцатью — нет.
- Останавливайтесь, когда вам сказали остановиться.
Retry-After, явная страница блокировки или сообщение от оператора сайта — каждое из них меняет ваши дальнейшие действия; последнее также меняет юридическую позицию.
Почему вежливость дешевле
Каждая из вышеперечисленных практик снижает одну из трех затрат: расходы на прокси (меньше байтов, меньше повторных попыток), сжигание IP (каждый адрес живет дольше, поэтому их нужно меньше, и можно использовать более дешевые типы) и риск обнаружения (клиент, который ведет себя как заботливый краулер, получает более высокие оценки на поведенческом уровне, чем тот, который ведет себя как наводнение). Агрессивный скрапинг — это стратегия, которая тратит деньги, чтобы выглядеть более подозрительно. Исключение, которое люди приводят — разовый сбор, когда после ничего не важно — реально, но встречается реже, чем кажется, потому что цели обмениваются разведданными, а пулы используются вашим будущим я.
Заметка об этике нагрузки
Помимо экономики IP: сайт на другой стороне — это чей-то счет за инфраструктуру. Скрапер, который загружает сайт со скоростью, которую сайт может поглотить, неотличим от обычного трафика; тот, кто ухудшает сервис для реальных пользователей, как минимум груб, а в масштабе приближается к территории, которую закон называет незаконным проникновением или вмешательством. Crawl-delay и rate limits — это способ сайта сказать, что он может поглотить. Читать их — это и есть все хорошие манеры здесь.
Часто задаваемые вопросы
Является ли robots.txt юридически обязательным?
Сам по себе нет; это соглашение. Но он служит уведомлением о пожеланиях сайта и цитируется в спорах, а его игнорирование является сильным сигналом автоматизации для анти-бот систем. Относитесь к нему как к обязательному на практике.
Что означает Crawl-delay?
Нестандартная, но распространенная директива: количество секунд, которое один краулер должен ждать между запросами. Соблюдайте его для каждого клиента (на IP/сессию), а не для всей операции.
Что делать при получении 429?
Прекратите обращаться к этому хосту с этого IP; подождите значение Retry-After, если оно указано, в противном случае отступайте экспоненциально; только затем возобновите, медленнее. Не меняйте IP и не повторяйте сразу — это распространяет блокировку.
Помогает ли ротация прокси игнорировать rate limits?
Это позволяет каждому IP оставаться ниже лимита на IP, при этом ваша общая пропускная способность выше. Это не делает агрессивные паттерны невидимыми: обнаружение на основе отпечатков и поведения связывает сессии, а сожженные IP все равно сожжены.
Следует ли идентифицировать мой скрапер в User-Agent?
Там, где сайт допускает краулеров, да — это честный вариант по умолчанию, и иногда вас включают в белый список. Если вы должны выглядеть как браузер, будьте последовательны в TLS, заголовках и поведении, а не смешивайте честный UA с имитацией браузера.
Как быстро я могу скрапить сайт?
Настолько быстро, насколько он допускает с одного IP, умноженное на количество ваших IP — измеренное, а не предполагаемое — минус запас прочности, и никогда быстрее, чем его Crawl-delay или темп, при котором время ответа остается стабильным.