robots.txt est un fichier texte dans lequel un site demande aux robots d'exploration de rester hors de certains chemins ; les limites de débit sont la manière dont un site impose la vitesse à laquelle quiconque peut demander ; et la différence entre un scraper qui fonctionne pendant des mois et un autre qui brûle un pool de proxys en un après-midi réside principalement dans le respect de ces deux éléments. Ce n'est pas principalement une question d'éthique, même si cela l'est aussi — c'est une question d'ingénierie. Chaque IP que vous possédez porte un budget de réputation fini auprès de chaque cible, et le scraping impoli le dépense plus vite que la rotation ne peut le reconstituer. Ce guide couvre ce que signifient réellement les signaux et les pratiques qui font durer les proxys.
robots.txt : ce que c'est et ce que ce n'est pas
Le Robots Exclusion Protocol (normalisé sous le nom de RFC 9309 en 2022) permet à un site de publier, à /robots.txt, quels agents utilisateurs peuvent récupérer quels chemins :
User-agent: *
Disallow: /admin/
Disallow: /search
Crawl-delay: 5
User-agent: Googlebot
Allow: /
Sitemap: https://example.com/sitemap.xml
Trois faits à son sujet qui comptent pour les utilisateurs de proxys :
- Il est consultatif. Rien de technique n'empêche un client de récupérer un chemin interdit. La conformité est volontaire — c'est précisément pourquoi les sites traitent la non-conformité comme un signal fort de bot : un visiteur qui ignore robots.txt a annoncé qu'il est un client automatisé qui ne suit pas les conventions.
- Ce n'est pas un instrument juridique en soi, mais c'est une preuve. Dans les litiges concernant le scraping, le robots.txt d'un site est régulièrement cité comme une notification que l'accès automatisé n'était pas autorisé ; l'ignorer affaiblit la position « je n'avais aucune raison de penser que ce n'était pas le bienvenu ». Voir la carte juridique.
- Il vous indique où sont les pièges. Les chemins listés sous
Disallowpour*sont fréquemment ceux qu'un site instrumente le plus lourdement — les points de terminaison de recherche, la navigation à facettes, les calendriers infinis, les zones d'administration. Les récupérer est à la fois la chose la plus détectable et la moins utile qu'un scraper puisse faire.
Règles empiriques : récupérez /robots.txt une fois par hôte et par jour et mettez-le en cache ; respectez Disallow pour votre agent utilisateur et pour * ; honorez Crawl-delay lorsqu'il est présent (il n'est pas standard mais largement utilisé — le nombre est en secondes entre les requêtes d'un seul client) ; lisez les lignes Sitemap, qui sont le site vous remettant une liste d'URL propre et complète pour que vous n'ayez pas à explorer pour en trouver une.
Limites de débit : comment les sites disent « plus lentement »
Les limites de débit sont imposées, et elles sont accompagnées de signaux si vous écoutez :
| Signal | Signification | Réponse correcte |
|---|---|---|
429 Too Many Requests | Vous avez dépassé une limite (généralement par IP, parfois par session) | Arrêtez ; attendez au moins la valeur Retry-After si elle est donnée ; reculez de manière exponentielle sinon |
Retry-After: 120 (en-tête) | Ne réessayez pas pendant 120 secondes (ou jusqu'à la date donnée) | Respectez-le exactement ; réessayer plus tôt prolonge la pénalité sur de nombreux systèmes |
503 avec Retry-After | Surchargé ou volontairement limité | Comme ci-dessus |
403 après une série de 200 | Blocage doux : réputation épuisée pour cette IP ou session | Changez d'IP et de session ; ralentissez avant de reprendre |
| CAPTCHA / page de défi avec statut 200 | La couche anti-bot veut une preuve (voir comment elle score) | Traitez-le comme un blocage, pas comme un succès ; ne martelez pas à travers |
| Les temps de réponse augmentent régulièrement | Vous êtes déprioritisé, ou vous êtes la charge | Réduisez la concurrence |
En-têtes X-RateLimit-Remaining / -Reset | Budget explicite, courant sur les API | Rythmez pour rester en dessous ; dormez jusqu'à la réinitialisation quand il atteint zéro |
L'erreur coûteuse est de traiter chaque non-200 comme « changez d'IP et réessayez immédiatement ». Cela transforme la limite temporaire d'une IP en IP brûlée, puis brûle la suivante, et apprend au modèle de la cible que votre empreinte saute d'adresse lorsqu'elle est refusée — un schéma que les fournisseurs anti-bot détectent spécifiquement. La rotation est pour répartir la charge normale, pas pour contourner une limite que vous venez de déclencher ; voir la stratégie de rotation.
Pratiques qui maintiennent les IP en vie
- Trouvez la tolérance par IP du site et restez en dessous de la moitié. Mesurez-la une fois (la méthode est dans choisir un intervalle de rotation) plutôt que de deviner.
- Ajoutez de la gigue. Les intervalles uniformes sont le signal le plus mécanique qui soit. Randomisez les délais autour d'une moyenne et variez l'ordre dans lequel vous visitez les URL.
- Utilisez le sitemap. Si le site en publie un, c'est un inventaire complet de ce qu'il veut indexer ; l'explorer est à la fois plus poli et plus complet que de suivre les liens, et cela évite les chemins pièges.
- Mettez en cache et utilisez des requêtes conditionnelles. Envoyez
If-Modified-Since/If-None-Matchlorsque le site les prend en charge ; un304coûte une fraction d'une page complète — en bande passante pour eux, en Go de proxy pour vous et en réputation IP. - Ne récupérez pas ce dont vous n'avez pas besoin. HTML sans ressources si possible ; bloquez les images/polices/médias dans l'automatisation du navigateur. Cela seul peut réduire d'un ordre de grandeur le coût du proxy par Go (pourquoi) et réduit l'empreinte de charge que le site voit.
- Privilégiez les API officielles, les flux et les exports de données lorsqu'ils existent. De nombreux sites proposent des flux RSS, des points de terminaison JSON ou des téléchargements en masse précisément pour que les gens arrêtent de scraper le HTML.
- Identifiez-vous honnêtement lorsque la cible le tolère. Un User-Agent descriptif avec une adresse de contact est la norme pour les robots de recherche et de surveillance, et certains sites mettent sur liste blanche les bots connus et fiables. Lorsque vous devez vous présenter comme un navigateur à la place, faites-le de manière cohérente à tous les niveaux (pourquoi les demi-mesures échouent).
- Reculez de manière exponentielle et plafonnez la concurrence par hôte, pas seulement globalement. Dix hôtes à deux connexions chacun est poli ; un hôte à vingt ne l'est pas.
- Arrêtez quand on vous dit d'arrêter. Un
Retry-After, une page de blocage explicite ou un message de l'opérateur du site changent chacun ce que vous devriez faire ensuite ; le dernier change également la posture juridique.
Pourquoi la politesse coûte moins cher
Chacune des pratiques ci-dessus réduit l'un des trois coûts : les dépenses de proxy (moins d'octets, moins de nouvelles tentatives), la brûlure d'IP (chaque adresse dure plus longtemps, donc vous en avez besoin de moins et pouvez utiliser des types moins chers), et le risque de détection (un client qui se comporte comme un robot d'exploration attentionné obtient un meilleur score sur la couche comportementale qu'un client qui se comporte comme une inondation). Le scraping agressif est une stratégie qui dépense de l'argent pour paraître plus suspect. L'exception que les gens citent — un tirage unique où rien d'autre n'a d'importance ensuite — est réelle mais plus rare qu'il n'y paraît, car les cibles partagent des renseignements et les pools sont partagés avec votre futur vous.
Une note sur l'éthique de la charge
Au-delà de l'économie des IP : le site en face est la facture d'infrastructure de quelqu'un. Un scraper qui récupère à un rythme que le site peut absorber est indiscernable du trafic ; un qui dégrade le service pour les vrais utilisateurs est, au minimum, impoli, et à grande échelle, il frôle le territoire que la loi appelle intrusion ou interférence. Crawl-delay et les limites de débit sont la manière dont le site dit ce qu'il peut absorber. Les lire est l'essentiel des bonnes manières ici.
Questions fréquemment posées
robots.txt est-il juridiquement contraignant ?
Pas en soi ; c'est une convention. Mais il sert de notification des souhaits du site et est cité dans les litiges, et l'ignorer est un signal d'automatisation fort pour les systèmes anti-bot. Traitez-le comme contraignant en pratique.
Que signifie Crawl-delay ?
Une directive non standard mais courante : le nombre de secondes qu'un seul robot d'exploration doit attendre entre les requêtes. Honorez-le par client (par IP/session), pas pour toute l'opération.
Que dois-je faire sur un 429 ?
Arrêtez de frapper cet hôte depuis cette IP ; attendez la valeur Retry-After si elle est donnée, sinon reculez de manière exponentielle ; puis reprenez, plus lentement. Ne changez pas immédiatement d'IP et ne réessayez pas — cela propage le blocage.
La rotation des proxys me permet-elle d'ignorer les limites de débit ?
Elle permet à chaque IP de rester sous une limite par IP pendant que votre débit total est plus élevé. Elle ne rend pas les schémas agressifs invisibles : la détection basée sur l'empreinte et le comportement relie les sessions, et les IP brûlées sont toujours brûlées.
Dois-je identifier mon scraper dans le User-Agent ?
Là où le site tolère les robots d'exploration, oui — c'est le défaut honnête et cela vous permet parfois d'être mis sur liste blanche. Là où vous devez apparaître comme un navigateur, soyez cohérent entre TLS, en-têtes et comportement plutôt que de mélanger un UA honnête avec une usurpation de navigateur.
À quelle vitesse puis-je scraper un site ?
Aussi vite qu'il le tolère depuis une IP multiplié par le nombre d'IP que vous avez — mesuré, pas supposé — moins une marge de sécurité, et jamais plus vite que son Crawl-delay ou le rythme auquel les temps de réponse restent stables.