robots.txt ist eine Textdatei, in der eine Website Crawler bittet, bestimmte Pfade zu meiden; Rate Limits sind die Art und Weise, wie eine Website durchsetzt, wie schnell jemand fragen darf; und der Unterschied zwischen einem Scraper, der monatelang läuft, und einem, der an einem Nachmittag einen Proxy-Pool verbrennt, ist meistens, ob er beides respektiert. Das ist in erster Linie kein ethischer Punkt, obwohl es auch einer ist — es ist ein technischer. Jede IP, die Sie haben, trägt ein begrenztes Reputationsbudget bei jedem Ziel, und unhöfliches Scraping verbraucht es schneller, als Rotation es wieder auffüllen kann. Dieser Leitfaden behandelt, was die Signale tatsächlich bedeuten und welche Praktiken Proxys länger haltbar machen.
robots.txt: Was es ist und was nicht
Das Robots Exclusion Protocol (2022 als RFC 9309 formalisiert) ermöglicht es einer Website, unter /robots.txt zu veröffentlichen, welche User Agents welche Pfade abrufen dürfen:
User-agent: *
Disallow: /admin/
Disallow: /search
Crawl-delay: 5
User-agent: Googlebot
Allow: /
Sitemap: https://example.com/sitemap.xml
Drei Tatsachen darüber, die für Proxy-Nutzer wichtig sind:
- Es ist empfehlend. Nichts Technisches hindert einen Client daran, einen nicht erlaubten Pfad abzurufen. Die Einhaltung ist freiwillig — genau deshalb behandeln Websites die Nichteinhaltung als starkes Bot-Signal: Ein Besucher, der robots.txt ignoriert, hat angekündigt, dass er ein automatisierter Client ist, der sich nicht an Konventionen hält.
- Es ist für sich genommen kein rechtliches Instrument, aber es ist ein Beweismittel. Bei Streitigkeiten über Scraping wird die robots.txt einer Website routinemäßig als Hinweis darauf angeführt, dass automatisierter Zugriff nicht erlaubt war; das Ignorieren schwächt die Position „Ich hatte keinen Grund anzunehmen, dass dies unerwünscht ist“. Siehe die rechtliche Übersicht.
- Es zeigt Ihnen, wo die Fallen sind. Pfade, die unter
Disallowfür*aufgeführt sind, sind häufig diejenigen, die eine Website am stärksten instrumentiert — Such-Endpunkte, Facettennavigation, unendliche Kalender, Admin-Bereiche. Sie abzurufen ist sowohl am erkennbarsten als auch am wenigsten nützlich, was ein Scraper tun kann.
Faustregeln: Rufen Sie /robots.txt einmal pro Host und Tag ab und speichern Sie es zwischen; befolgen Sie Disallow für Ihren User Agent und für *; respektieren Sie Crawl-delay, falls vorhanden (es ist nicht standardisiert, aber weit verbreitet — die Zahl sind Sekunden zwischen Anfragen von einem Client); lesen Sie die Sitemap-Zeilen, die die Website Ihnen als saubere, vollständige URL-Liste übergibt, damit Sie nicht danach crawlen müssen.
Rate Limits: Wie Websites „langsamer“ sagen
Rate Limits werden durchgesetzt, und sie kommen mit Signalen, wenn Sie zuhören:
| Signal | Bedeutung | Richtige Reaktion |
|---|---|---|
429 Too Many Requests | Sie haben ein Limit überschritten (normalerweise pro IP, manchmal pro Sitzung) | Stoppen; warten Sie mindestens den Retry-After-Wert, falls angegeben; andernfalls exponentiell zurückweichen |
Retry-After: 120 (Header) | Nicht für 120 Sekunden erneut versuchen (oder bis zum angegebenen Datum) | Respektieren Sie es genau; früheres Wiederholen verlängert die Sperre bei vielen Systemen |
503 mit Retry-After | Überlastet oder absichtlich gedrosselt | Gleich wie oben |
403 nach einer Reihe von 200ern | Weiche Sperre: Reputation für diese IP oder Sitzung erschöpft | IP und Sitzung rotieren; vor der Wiederaufnahme verlangsamen |
| CAPTCHA / Challenge-Seite mit Status 200 | Die Anti-Bot-Schicht möchte einen Beweis (siehe wie sie bewertet) | Als Sperre behandeln, nicht als Erfolg; nicht durchhämmern |
| Antwortzeiten steigen stetig | Sie werden herabgestuft, oder Sie sind die Last | Parallelität reduzieren |
X-RateLimit-Remaining / -Reset Header | Explizites Budget, üblich bei APIs | So takten, dass Sie darunter bleiben; bis zum Reset schlafen, wenn es Null erreicht |
Der kostspielige Fehler ist, jeden Nicht-200 als „rotieren und sofort erneut versuchen“ zu behandeln. Das verwandelt das temporäre Limit einer IP in eine verbrannte IP, verbrennt dann die nächste und lehrt das Modell des Ziels, dass Ihr Fingerprint bei Ablehnung die Adresse wechselt — ein Muster, das Anti-Bot-Anbieter gezielt erkennen. Rotation dient dazu, normale Last zu verteilen, nicht um ein Limit zu umgehen, das Sie gerade ausgelöst haben; siehe Rotationsstrategie.
Praktiken, die IPs am Leben halten
- Finden Sie die Pro-IP-Toleranz der Website und bleiben Sie unter der Hälfte davon. Messen Sie es einmal (die Methode finden Sie in Rotationsintervall wählen), anstatt zu raten.
- Fügen Sie Jitter hinzu. Gleichmäßige Intervalle sind das maschinenähnlichste Signal, das es gibt. Randomisieren Sie Verzögerungen um einen Mittelwert und variieren Sie die Reihenfolge, in der Sie URLs besuchen.
- Nutzen Sie die Sitemap. Wenn die Website eine veröffentlicht, ist sie ein vollständiges Inventar dessen, was sie indexiert haben möchte; das Crawlen ist sowohl höflicher als auch vollständiger als das Verfolgen von Links und vermeidet die Fallenpfade.
- Cachen und bedingte Anfragen verwenden. Senden Sie
If-Modified-Since/If-None-Match, wo die Website sie unterstützt; ein304kostet einen Bruchteil einer vollständigen Seite — in ihrer Bandbreite, Ihren Proxy-GB und Ihrer IP-Reputation. - Rufen Sie nicht ab, was Sie nicht brauchen. HTML ohne Assets, wo möglich; Bilder/Schriften/Medien in der Browser-Automatisierung blockieren. Das allein kann die Proxy-Kosten pro GB um eine Größenordnung senken (warum) und reduziert den Last-Fußabdruck, den die Website sieht.
- Bevorzugen Sie offizielle APIs, Feeds und Datenexporte, wenn sie existieren. Viele Websites bieten RSS, JSON-Endpunkte oder Bulk-Downloads an, genau damit Leute aufhören, HTML zu scrapen.
- Identifizieren Sie sich ehrlich, wenn das Ziel es toleriert. Ein beschreibender User-Agent mit einer Kontaktadresse ist die Norm für Forschungs- und Überwachungs-Crawler, und einige Websites whitelisten bekannte gute Bots. Wo Sie stattdessen als Browser auftreten müssen, tun Sie das konsistent über alle Ebenen (warum halbe Sachen scheitern).
- Weichen Sie exponentiell zurück und begrenzen Sie die Parallelität pro Host, nicht nur global. Zehn Hosts mit je zwei Verbindungen ist höflich; ein Host mit zwanzig ist es nicht.
- Stoppen Sie, wenn man Ihnen sagt, zu stoppen. Ein
Retry-After, eine explizite Sperrseite oder eine Nachricht vom Website-Betreiber ändern jeweils, was Sie als Nächstes tun sollten; die letzte ändert auch die rechtliche Haltung.
Warum Höflichkeit billiger ist
Jede der oben genannten Praktiken reduziert eine von drei Kosten: Proxy-Ausgaben (weniger Bytes, weniger Wiederholungen), IP-Verbrennung (jede Adresse hält länger, also brauchen Sie weniger und können günstigere Typen verwenden) und Erkennungsrisiko (ein Client, der sich wie ein rücksichtsvoller Crawler verhält, schneidet auf der Verhaltensebene besser ab als einer, der sich wie eine Flut verhält). Aggressives Scraping ist eine Strategie, die Geld ausgibt, um verdächtiger zu wirken. Die Ausnahme, die Leute anführen — ein einmaliger Abruf, bei dem danach nichts mehr zählt — ist real, aber seltener als es scheint, weil Ziele Informationen teilen und Pools mit Ihrem zukünftigen Selbst geteilt werden.
Eine Anmerkung zur Ethik der Last
Über die IP-Ökonomie hinaus: Die Website auf der anderen Seite ist die Infrastrukturrechnung von jemandem. Ein Scraper, der mit einer Rate abruft, die die Website absorbieren kann, ist von Verkehr nicht zu unterscheiden; einer, der den Dienst für echte Nutzer verschlechtert, ist zumindest unhöflich, und in großem Maßstab grenzt es an das, was das Gesetz als Hausfriedensbruch oder Störung bezeichnet. Crawl-delay und Rate Limits sind die Art der Website zu sagen, was sie absorbieren kann. Sie zu lesen ist die gesamte gute Manier hier.
Häufig gestellte Fragen
Ist robots.txt rechtlich bindend?
Nicht für sich allein; es ist eine Konvention. Aber es dient als Hinweis auf die Wünsche der Website und wird in Streitigkeiten angeführt, und das Ignorieren ist ein starkes Automatisierungssignal für Anti-Bot-Systeme. Behandeln Sie es in der Praxis als bindend.
Was bedeutet Crawl-delay?
Eine nicht standardisierte, aber übliche Anweisung: die Anzahl der Sekunden, die ein einzelner Crawler zwischen Anfragen warten sollte. Respektieren Sie es pro Client (pro IP/Sitzung), nicht für die gesamte Operation.
Was sollte ich bei einer 429 tun?
Hören Sie auf, diesen Host von dieser IP aus zu treffen; warten Sie den Retry-After-Wert, falls angegeben, andernfalls weichen Sie exponentiell zurück; erst dann langsamer fortfahren. Nicht sofort rotieren und erneut versuchen — das verbreitet die Sperre.
Kann ich durch Proxy-Rotation Rate Limits ignorieren?
Es ermöglicht, dass jede IP unter einem Pro-IP-Limit bleibt, während Ihr Gesamtdurchsatz höher ist. Es macht aggressive Muster nicht unsichtbar: Fingerprint- und verhaltensbasierte Erkennung verbindet die Sitzungen, und verbrannte IPs sind immer noch verbrannt.
Sollte ich meinen Scraper im User-Agent identifizieren?
Wo die Website Crawler toleriert, ja — es ist die ehrliche Standardeinstellung und führt manchmal dazu, dass Sie auf die Whitelist gesetzt werden. Wo Sie als Browser erscheinen müssen, seien Sie konsistent über TLS, Header und Verhalten, anstatt einen ehrlichen UA mit Browser-Imitation zu mischen.
Wie schnell kann ich eine Website scrapen?
So schnell, wie sie von einer IP toleriert, multipliziert mit der Anzahl der IPs, die Sie haben — gemessen, nicht angenommen — minus einer Sicherheitsmarge, und niemals schneller als ihr Crawl-delay oder das Tempo, bei dem die Antwortzeiten stabil bleiben.