robots.txt é um arquivo de texto no qual um site pede que rastreadores fiquem fora de certos caminhos; limites de taxa são como um site aplica a velocidade com que qualquer um pode perguntar; e a diferença entre um scraper que roda por meses e um que queima um pool de proxies em uma tarde é principalmente se ele respeita ambos. Este não é principalmente um ponto ético, embora também seja — é um ponto de engenharia. Cada IP que você tem carrega um orçamento de reputação finito com cada alvo, e raspagem indelicada gasta isso mais rápido do que a rotação pode reabastecer. Este guia cobre o que os sinais realmente significam e as práticas que fazem os proxies durarem mais.

robots.txt: o que é e o que não é

O Robots Exclusion Protocol (formalizado como RFC 9309 em 2022) permite que um site publique, em /robots.txt, quais user agents podem buscar quais caminhos:

User-agent: *
Disallow: /admin/
Disallow: /search
Crawl-delay: 5

User-agent: Googlebot
Allow: /

Sitemap: https://example.com/sitemap.xml

Três fatos sobre isso que importam para usuários de proxy:

  • É consultivo. Nada técnico impede um cliente de buscar um caminho não permitido. A conformidade é voluntária — que é exatamente por isso que os sites tratam a não conformidade como um forte sinal de bot: um visitante que ignora robots.txt anunciou que é um cliente automatizado que não segue convenções.
  • Não é um instrumento legal por si só, mas é evidência. Em disputas sobre raspagem, o robots.txt de um site é rotineiramente citado como aviso de que o acesso automatizado não era permitido; ignorá-lo enfraquece a posição de “não tinha razão para pensar que isso era indesejado”. Veja o mapa legal.
  • Diz onde estão as armadilhas. Caminhos listados sob Disallow para * são frequentemente os que um site mais instrumenta — endpoints de busca, navegação facetada, calendários infinitos, áreas de administração. Buscá-los é tanto o mais detectável quanto o menos útil que um scraper pode fazer.

Regras práticas: busque /robots.txt uma vez por host por dia e armazene em cache; obedeça Disallow para seu user agent e para *; honre Crawl-delay quando presente (não é padrão, mas amplamente usado — o número é segundos entre requisições de um cliente); leia as linhas Sitemap, que são o site entregando a você uma lista de URLs limpa e completa para que você não precise rastrear para encontrar uma.

Limites de taxa: como os sites dizem “mais devagar”

Limites de taxa são aplicados, e eles vêm com sinais se você escutar:

SinalSignificadoResposta correta
429 Too Many RequestsVocê excedeu um limite (geralmente por IP, às vezes por sessão)Pare; espere pelo menos o valor de Retry-After se fornecido; recue exponencialmente se não
Retry-After: 120 (cabeçalho)Não tente novamente por 120 segundos (ou até a data fornecida)Respeite exatamente; tentar antes estende a penalidade em muitos sistemas
503 com Retry-AfterSobrecarregado ou deliberadamente limitandoIgual ao acima
403 após uma sequência de 200sBloqueio suave: reputação esgotada para este IP ou sessãoRotacione IP e sessão; diminua a velocidade antes de retomar
CAPTCHA / página de desafio com status 200A camada anti-bot quer prova (veja como ela pontua)Trate como um bloqueio, não como sucesso; não insista
Tempos de resposta subindo constantementeVocê está sendo despriorizado, ou você é a cargaReduza a concorrência
X-RateLimit-Remaining / -Reset cabeçalhosOrçamento explícito, comum em APIsPace para ficar abaixo; durma até o reset quando chegar a zero

O erro caro é tratar todo não-200 como “rotacione e tente novamente imediatamente.” Isso converte o limite temporário de um IP em um IP queimado, depois queima o próximo, e ensina o modelo do alvo que sua impressão digital salta endereços quando recusada — um padrão que os fornecedores de anti-bot detectam especificamente. A rotação é para espalhar carga normal, não para evadir um limite que você acabou de acionar; veja estratégia de rotação.

Práticas que mantêm IPs vivos

  1. Encontre a tolerância por IP do site e fique abaixo da metade dela. Meça uma vez (o método está em escolhendo um intervalo de rotação) em vez de adivinhar.
  2. Adicione jitter. Intervalos uniformes são o sinal mais parecido com máquina que existe. Randomize atrasos em torno de uma média e varie a ordem em que você visita URLs.
  3. Use o sitemap. Se o site publicar um, é um inventário completo do que eles querem indexado; rastreá-lo é mais educado e mais completo do que seguir links, e evita os caminhos de armadilha.
  4. Cache e use requisições condicionais. Envie If-Modified-Since / If-None-Match onde o site suportar; um 304 custa uma fração de uma página completa — em sua largura de banda, seus GB de proxy e sua reputação de IP.
  5. Não busque o que você não precisa. HTML sem ativos quando possível; bloqueie imagens/fontes/mídia em automação de navegador. Isso sozinho pode reduzir o custo de proxy por GB em uma ordem de magnitude (porquê) e reduz a pegada de carga que o site vê.
  6. Prefira APIs oficiais, feeds e exportações de dados quando existirem. Muitos sites oferecem RSS, endpoints JSON ou downloads em massa precisamente para que as pessoas parem de raspar HTML.
  7. Identifique-se honestamente quando o alvo tolerar. Um User-Agent descritivo com um endereço de contato é a norma para rastreadores de pesquisa e monitoramento, e alguns sites colocam bots conhecidos na lista de permissões. Onde você deve se apresentar como navegador, faça isso consistentemente em todas as camadas (por que meias medidas falham).
  8. Recue exponencialmente e limite a concorrência por host, não apenas globalmente. Dez hosts com duas conexões cada é educado; um host com vinte não é.
  9. Pare quando for dito para parar. Um Retry-After, uma página de bloqueio explícita ou uma mensagem do operador do site mudam o que você deve fazer a seguir; o último também muda a postura legal.

Por que a educação é mais barata

Cada uma das práticas acima reduz um de três custos: gasto com proxy (menos bytes, menos tentativas), queima de IP (cada endereço dura mais, então você precisa de menos e pode usar tipos mais baratos), e risco de detecção (um cliente que se comporta como um rastreador considerado pontua melhor na camada comportamental do que um que se comporta como uma inundação). Raspagem agressiva é uma estratégia que gasta dinheiro para parecer mais suspeita. A exceção que as pessoas citam — uma extração única onde nada importa depois — é real, mas mais rara do que parece, porque os alvos compartilham inteligência e os pools são compartilhados com seu eu futuro.

Uma nota sobre a ética da carga

Além da economia de IP: o site do outro lado é a conta de infraestrutura de alguém. Um scraper que busca a uma taxa que o site pode absorver é indistinguível de tráfego; um que degrada o serviço para usuários reais é, no mínimo, rude, e em escala beira o território que a lei chama de invasão ou interferência. Crawl-delay e limites de taxa são a maneira do site dizer o que pode absorver. Lê-los é toda a boa educação aqui.

Perguntas frequentes

robots.txt é legalmente vinculativo?

Não por si só; é uma convenção. Mas serve como aviso dos desejos do site e é citado em disputas, e ignorá-lo é um forte sinal de automação para sistemas anti-bot. Trate-o como vinculativo na prática.

O que Crawl-delay significa?

Uma diretiva não padrão, mas comum: o número de segundos que um único rastreador deve esperar entre requisições. Honre-o por cliente (por IP/sessão), não por operação inteira.

O que devo fazer em um 429?

Pare de atingir aquele host daquele IP; espere o valor de Retry-After se fornecido, caso contrário recue exponencialmente; só então retome, mais devagar. Não rotacione e tente imediatamente — isso espalha o bloqueio.

Rotacionar proxies me permite ignorar limites de taxa?

Permite que cada IP fique abaixo de um limite por IP enquanto sua taxa de transferência total é maior. Não torna padrões agressivos invisíveis: detecção baseada em impressão digital e comportamento vincula as sessões, e IPs queimados ainda estão queimados.

Devo identificar meu scraper no User-Agent?

Onde o site tolera rastreadores, sim — é o padrão honesto e às vezes você é colocado na lista de permissões. Onde você deve aparecer como navegador, seja consistente em TLS, cabeçalhos e comportamento em vez de misturar um UA honesto com personificação de navegador.

Quão rápido posso raspar um site?

Tão rápido quanto ele tolera de um IP vezes o número de IPs que você tem — medido, não assumido — menos uma margem de segurança, e nunca mais rápido do que seu Crawl-delay ou o ritmo em que os tempos de resposta permanecem estáveis.