robots.txt é um arquivo de texto no qual um site pede que rastreadores fiquem fora de certos caminhos; limites de taxa são como um site aplica a velocidade com que qualquer um pode perguntar; e a diferença entre um scraper que roda por meses e um que queima um pool de proxies em uma tarde é principalmente se ele respeita ambos. Este não é principalmente um ponto ético, embora também seja — é um ponto de engenharia. Cada IP que você tem carrega um orçamento de reputação finito com cada alvo, e raspagem indelicada gasta isso mais rápido do que a rotação pode reabastecer. Este guia cobre o que os sinais realmente significam e as práticas que fazem os proxies durarem mais.
robots.txt: o que é e o que não é
O Robots Exclusion Protocol (formalizado como RFC 9309 em 2022) permite que um site publique, em /robots.txt, quais user agents podem buscar quais caminhos:
User-agent: *
Disallow: /admin/
Disallow: /search
Crawl-delay: 5
User-agent: Googlebot
Allow: /
Sitemap: https://example.com/sitemap.xml
Três fatos sobre isso que importam para usuários de proxy:
- É consultivo. Nada técnico impede um cliente de buscar um caminho não permitido. A conformidade é voluntária — que é exatamente por isso que os sites tratam a não conformidade como um forte sinal de bot: um visitante que ignora robots.txt anunciou que é um cliente automatizado que não segue convenções.
- Não é um instrumento legal por si só, mas é evidência. Em disputas sobre raspagem, o robots.txt de um site é rotineiramente citado como aviso de que o acesso automatizado não era permitido; ignorá-lo enfraquece a posição de “não tinha razão para pensar que isso era indesejado”. Veja o mapa legal.
- Diz onde estão as armadilhas. Caminhos listados sob
Disallowpara*são frequentemente os que um site mais instrumenta — endpoints de busca, navegação facetada, calendários infinitos, áreas de administração. Buscá-los é tanto o mais detectável quanto o menos útil que um scraper pode fazer.
Regras práticas: busque /robots.txt uma vez por host por dia e armazene em cache; obedeça Disallow para seu user agent e para *; honre Crawl-delay quando presente (não é padrão, mas amplamente usado — o número é segundos entre requisições de um cliente); leia as linhas Sitemap, que são o site entregando a você uma lista de URLs limpa e completa para que você não precise rastrear para encontrar uma.
Limites de taxa: como os sites dizem “mais devagar”
Limites de taxa são aplicados, e eles vêm com sinais se você escutar:
| Sinal | Significado | Resposta correta |
|---|---|---|
429 Too Many Requests | Você excedeu um limite (geralmente por IP, às vezes por sessão) | Pare; espere pelo menos o valor de Retry-After se fornecido; recue exponencialmente se não |
Retry-After: 120 (cabeçalho) | Não tente novamente por 120 segundos (ou até a data fornecida) | Respeite exatamente; tentar antes estende a penalidade em muitos sistemas |
503 com Retry-After | Sobrecarregado ou deliberadamente limitando | Igual ao acima |
403 após uma sequência de 200s | Bloqueio suave: reputação esgotada para este IP ou sessão | Rotacione IP e sessão; diminua a velocidade antes de retomar |
| CAPTCHA / página de desafio com status 200 | A camada anti-bot quer prova (veja como ela pontua) | Trate como um bloqueio, não como sucesso; não insista |
| Tempos de resposta subindo constantemente | Você está sendo despriorizado, ou você é a carga | Reduza a concorrência |
X-RateLimit-Remaining / -Reset cabeçalhos | Orçamento explícito, comum em APIs | Pace para ficar abaixo; durma até o reset quando chegar a zero |
O erro caro é tratar todo não-200 como “rotacione e tente novamente imediatamente.” Isso converte o limite temporário de um IP em um IP queimado, depois queima o próximo, e ensina o modelo do alvo que sua impressão digital salta endereços quando recusada — um padrão que os fornecedores de anti-bot detectam especificamente. A rotação é para espalhar carga normal, não para evadir um limite que você acabou de acionar; veja estratégia de rotação.
Práticas que mantêm IPs vivos
- Encontre a tolerância por IP do site e fique abaixo da metade dela. Meça uma vez (o método está em escolhendo um intervalo de rotação) em vez de adivinhar.
- Adicione jitter. Intervalos uniformes são o sinal mais parecido com máquina que existe. Randomize atrasos em torno de uma média e varie a ordem em que você visita URLs.
- Use o sitemap. Se o site publicar um, é um inventário completo do que eles querem indexado; rastreá-lo é mais educado e mais completo do que seguir links, e evita os caminhos de armadilha.
- Cache e use requisições condicionais. Envie
If-Modified-Since/If-None-Matchonde o site suportar; um304custa uma fração de uma página completa — em sua largura de banda, seus GB de proxy e sua reputação de IP. - Não busque o que você não precisa. HTML sem ativos quando possível; bloqueie imagens/fontes/mídia em automação de navegador. Isso sozinho pode reduzir o custo de proxy por GB em uma ordem de magnitude (porquê) e reduz a pegada de carga que o site vê.
- Prefira APIs oficiais, feeds e exportações de dados quando existirem. Muitos sites oferecem RSS, endpoints JSON ou downloads em massa precisamente para que as pessoas parem de raspar HTML.
- Identifique-se honestamente quando o alvo tolerar. Um User-Agent descritivo com um endereço de contato é a norma para rastreadores de pesquisa e monitoramento, e alguns sites colocam bots conhecidos na lista de permissões. Onde você deve se apresentar como navegador, faça isso consistentemente em todas as camadas (por que meias medidas falham).
- Recue exponencialmente e limite a concorrência por host, não apenas globalmente. Dez hosts com duas conexões cada é educado; um host com vinte não é.
- Pare quando for dito para parar. Um
Retry-After, uma página de bloqueio explícita ou uma mensagem do operador do site mudam o que você deve fazer a seguir; o último também muda a postura legal.
Por que a educação é mais barata
Cada uma das práticas acima reduz um de três custos: gasto com proxy (menos bytes, menos tentativas), queima de IP (cada endereço dura mais, então você precisa de menos e pode usar tipos mais baratos), e risco de detecção (um cliente que se comporta como um rastreador considerado pontua melhor na camada comportamental do que um que se comporta como uma inundação). Raspagem agressiva é uma estratégia que gasta dinheiro para parecer mais suspeita. A exceção que as pessoas citam — uma extração única onde nada importa depois — é real, mas mais rara do que parece, porque os alvos compartilham inteligência e os pools são compartilhados com seu eu futuro.
Uma nota sobre a ética da carga
Além da economia de IP: o site do outro lado é a conta de infraestrutura de alguém. Um scraper que busca a uma taxa que o site pode absorver é indistinguível de tráfego; um que degrada o serviço para usuários reais é, no mínimo, rude, e em escala beira o território que a lei chama de invasão ou interferência. Crawl-delay e limites de taxa são a maneira do site dizer o que pode absorver. Lê-los é toda a boa educação aqui.
Perguntas frequentes
robots.txt é legalmente vinculativo?
Não por si só; é uma convenção. Mas serve como aviso dos desejos do site e é citado em disputas, e ignorá-lo é um forte sinal de automação para sistemas anti-bot. Trate-o como vinculativo na prática.
O que Crawl-delay significa?
Uma diretiva não padrão, mas comum: o número de segundos que um único rastreador deve esperar entre requisições. Honre-o por cliente (por IP/sessão), não por operação inteira.
O que devo fazer em um 429?
Pare de atingir aquele host daquele IP; espere o valor de Retry-After se fornecido, caso contrário recue exponencialmente; só então retome, mais devagar. Não rotacione e tente imediatamente — isso espalha o bloqueio.
Rotacionar proxies me permite ignorar limites de taxa?
Permite que cada IP fique abaixo de um limite por IP enquanto sua taxa de transferência total é maior. Não torna padrões agressivos invisíveis: detecção baseada em impressão digital e comportamento vincula as sessões, e IPs queimados ainda estão queimados.
Devo identificar meu scraper no User-Agent?
Onde o site tolera rastreadores, sim — é o padrão honesto e às vezes você é colocado na lista de permissões. Onde você deve aparecer como navegador, seja consistente em TLS, cabeçalhos e comportamento em vez de misturar um UA honesto com personificação de navegador.
Quão rápido posso raspar um site?
Tão rápido quanto ele tolera de um IP vezes o número de IPs que você tem — medido, não assumido — menos uma margem de segurança, e nunca mais rápido do que seu Crawl-delay ou o ritmo em que os tempos de resposta permanecem estáveis.