robots.txt 是一个文本文件,网站通过它请求爬虫不要访问某些路径;速率限制是网站强制规定任何人访问速度的方式;而一个能运行数月与一个下午就烧毁代理池的爬虫之间的区别,主要在于是否尊重这两者。 这主要不是道德问题,尽管也是——而是工程问题。你拥有的每个 IP 在每个目标网站上都带有有限的名誉预算,不礼貌的抓取消耗它的速度比轮换补充它的速度更快。本指南介绍这些信号的实际含义以及让代理更持久的实践。

robots.txt:它是什么,不是什么

机器人排除协议(2022 年正式成为 RFC 9309)允许网站在 /robots.txt 发布哪些用户代理可以抓取哪些路径:

User-agent: *
Disallow: /admin/
Disallow: /search
Crawl-delay: 5

User-agent: Googlebot
Allow: /

Sitemap: https://example.com/sitemap.xml

关于它对代理用户重要的三个事实:

  • 它是建议性的。 技术上没有任何东西阻止客户端抓取被禁止的路径。遵守是自愿的——这正是网站将不遵守视为强烈机器人信号的原因:忽略 robots.txt 的访问者表明自己是自动化客户端,不遵循惯例。
  • 它本身不是法律文书,但它是证据。在抓取争议中,网站的 robots.txt 经常被引用为通知,表明自动访问未被允许;忽略它会削弱“我没有理由认为这是不受欢迎的”的立场。参见 法律地图。
  • 它告诉你陷阱在哪里。 在 Disallow 下列出的路径通常是网站最密集检测的路径——搜索端点、分面导航、无限日历、管理区域。抓取它们既是最容易被检测到的,也是爬虫能做的最无用的事情。

经验法则:每天每个主机获取一次 /robots.txt 并缓存;遵守针对你的用户代理和 * 的 Disallow;当存在 Crawl-delay 时遵守它(它不是标准但被广泛使用——数字是来自一个客户端的请求之间的秒数);阅读 Sitemap 行,这是网站提供给你的干净、完整的 URL 列表,这样你就不必为了一个 URL 而爬行。

速率限制:网站如何说“慢点”

速率限制是强制执行的,如果你倾听,它们会带有信号:

信号含义正确响应
429 Too Many Requests你超过了限制(通常按 IP,有时按会话)停止;至少等待 Retry-After 值(如果给出);如果没有,则指数退避
Retry-After: 120(头部)120 秒内不要重试(或直到给定日期)完全遵守;在许多系统上提前重试会延长惩罚
带 Retry-After 的 503过载或故意限流同上
一系列 200 之后的 403软封锁:此 IP 或会话的名誉已耗尽轮换 IP 和 会话;恢复前放慢速度
状态 200 的 CAPTCHA / 挑战页面反机器人层需要证明(参见 它如何评分)视为封锁而非成功;不要强行通过
响应时间稳步攀升你被降级,或者你就是负载降低并发
X-RateLimit-Remaining / -Reset 头部明确的预算,常见于 API控制节奏以保持在限制内;当达到零时休眠直到重置

代价高昂的错误是将每个非 200 都视为“立即轮换并重试”。这将一个 IP 的临时限制变成烧毁的 IP,然后烧毁下一个,并教会目标的模型你的指纹在被拒绝时会跳转地址——这是反机器人供应商专门检测的模式。轮换是为了分散正常负载,而不是为了逃避你刚刚触发的限制;参见 轮换策略。

让 IP 存活的实践

  1. 找出网站每个 IP 的容忍度,并保持在它的一半以下。 测量一次(方法在 选择轮换间隔 中),而不是猜测。
  2. 添加抖动。 均匀间隔是最像机器的信号。围绕平均值随机化延迟,并改变访问 URL 的顺序。
  3. 使用站点地图。 如果网站发布站点地图,它就是他们想要索引的完整清单;抓取它既更礼貌又比爬行链接更完整,并且避免了陷阱路径。
  4. 缓存并使用条件请求。 在网站支持的地方发送 If-Modified-Since / If-None-Match;304 的成本只是完整页面的一小部分——在他们的带宽、你的代理 GB 和你的 IP 名誉方面。
  5. 不要抓取你不需要的东西。 尽可能只获取 HTML 而不获取资源;在浏览器自动化中阻止图片/字体/媒体。仅此一项就可以将每 GB 代理成本降低一个数量级(原因),并减少网站看到的负载足迹。
  6. 当存在官方 API、订阅源和数据导出时,优先使用它们。 许多网站提供 RSS、JSON 端点或批量下载,正是为了让人们停止抓取 HTML。
  7. 在目标网站容忍的情况下诚实地表明身份。 带有联系地址的描述性 User-Agent 是研究和监控爬虫的常态,有些网站会将已知良好的机器人列入白名单。如果你必须伪装成浏览器,那么在所有层面保持一致(为什么半途而废会失败)。
  8. 指数退避并限制每个主机的并发,而不仅仅是全局。十个主机每个两个连接是礼貌的;一个主机二十个连接则不是。
  9. 当被告知停止时停止。 Retry-After、明确的封锁页面或网站运营者的消息都会改变你下一步应该做什么;最后一种还会改变法律立场。

为什么礼貌更便宜

上述每一个实践都减少了三种成本之一:代理支出(更少的字节、更少的重试)、IP 烧毁(每个地址持续更长时间,所以你需要更少的地址,并且可以使用更便宜的类型)和检测风险(一个表现得像体贴爬虫的客户端在行为层面比一个表现得像洪水的客户端得分更高)。激进抓取是一种花钱让自己看起来更可疑的策略。人们引用的例外——一次性的拉取,之后什么都不重要——是真实的,但比看起来更罕见,因为目标网站共享情报,而代理池与未来的你共享。

关于负载伦理的说明

超越 IP 经济学:另一端的网站是某人的基础设施账单。以网站可以吸收的速率抓取的爬虫与正常流量无法区分;而为真实用户降低服务质量的爬虫至少是粗鲁的,在规模上它接近法律称为侵入或干扰的领域。Crawl-delay 和速率限制是网站表达其可以吸收什么的方式。阅读它们就是这里的所有礼貌。

常见问题解答

robots.txt 具有法律约束力吗?

它本身不是;它是一种惯例。但它作为网站意愿的通知,并在争议中被引用,忽略它是反机器人系统的强烈自动化信号。在实践中将其视为具有约束力。

Crawl-delay 是什么意思?

一个非标准但常见的指令:单个爬虫在请求之间应等待的秒数。按客户端(按 IP/会话)遵守它,而不是按整个操作。

遇到 429 我该怎么办?

停止从该 IP 访问该主机;如果给出 Retry-After 值则等待,否则指数退避;然后才恢复,放慢速度。不要立即轮换并重试——那会扩散封锁。

轮换代理能让我忽略速率限制吗?

它让每个 IP 保持在每个 IP 的限制以下,而你的总吞吐量更高。它不会让激进模式不可见:基于指纹和行为的检测会关联会话,烧毁的 IP 仍然被烧毁。

我应该在 User-Agent 中表明我的爬虫身份吗?

在网站容忍爬虫的地方,是的——这是诚实的默认,有时会让你被列入白名单。在必须伪装成浏览器的地方,在 TLS、头部和行为上保持一致,而不是将诚实的 UA 与浏览器模拟混合。

我可以多快地抓取一个网站?

取决于它从一个 IP 容忍的速度乘以你拥有的 IP 数量——测量而不是假设——减去安全边际,并且永远不要超过它的 Crawl-delay 或响应时间保持平稳的速度。