robots.txt es un archivo de texto en el que un sitio pide a los rastreadores que se mantengan fuera de ciertas rutas; los límites de frecuencia son cómo un sitio hace cumplir la velocidad a la que cualquiera puede preguntar; y la diferencia entre un scraper que funciona durante meses y uno que quema un pool de proxies en una tarde es, sobre todo, si respeta ambos. Esto no es principalmente un punto ético, aunque también lo es — es uno de ingeniería. Cada IP que tienes lleva un presupuesto de reputación finito con cada objetivo, y el scraping descortés lo gasta más rápido de lo que la rotación puede reponerlo. Esta guía cubre qué significan realmente las señales y las prácticas que hacen que los proxies duren más.
robots.txt: qué es y qué no es
El Protocolo de Exclusión de Robots (formalizado como RFC 9309 en 2022) permite a un sitio publicar, en /robots.txt, qué agentes de usuario pueden obtener qué rutas:
User-agent: *
Disallow: /admin/
Disallow: /search
Crawl-delay: 5
User-agent: Googlebot
Allow: /
Sitemap: https://example.com/sitemap.xml
Tres datos sobre él que importan para los usuarios de proxies:
- Es consultivo. Nada técnico impide que un cliente obtenga una ruta no permitida. El cumplimiento es voluntario — que es exactamente por lo que los sitios tratan el incumplimiento como una fuerte señal de bot: un visitante que ignora robots.txt ha anunciado que es un cliente automatizado que no sigue las convenciones.
- No es un instrumento legal por sí mismo, pero es evidencia. En disputas sobre scraping, el robots.txt de un sitio se cita habitualmente como aviso de que el acceso automatizado no estaba permitido; ignorarlo debilita la posición de "no tenía razón para pensar que esto no era bienvenido". Ver el mapa legal.
- Te dice dónde están las trampas. Las rutas listadas bajo
Disallowpara*son frecuentemente las que un sitio instrumenta más pesadamente — endpoints de búsqueda, navegación facetada, calendarios infinitos, áreas de administración. Obtenerlas es tanto lo más detectable como lo menos útil que un scraper puede hacer.
Reglas generales: obtén /robots.txt una vez por host al día y guárdalo en caché; obedece Disallow para tu agente de usuario y para *; honra Crawl-delay cuando esté presente (no es estándar pero es ampliamente usado — el número son segundos entre peticiones de un cliente); lee las líneas Sitemap, que son el sitio entregándote una lista de URLs limpia y completa para que no tengas que rastrear para obtener una.
Límites de frecuencia: cómo dicen los sitios "más lento"
Los límites de frecuencia se hacen cumplir, y vienen con señales si escuchas:
| Señal | Significado | Respuesta correcta |
|---|---|---|
429 Too Many Requests | Excediste un límite (generalmente por IP, a veces por sesión) | Detente; espera al menos el valor de Retry-After si se da; retrocede exponencialmente si no |
Retry-After: 120 (cabecera) | No reintentes durante 120 segundos (o hasta la fecha dada) | Respétalo exactamente; reintentar antes extiende la penalización en muchos sistemas |
503 con Retry-After | Sobrecargado o limitando deliberadamente | Igual que arriba |
403 después de una serie de 200s | Bloqueo suave: reputación agotada para esta IP o sesión | Rota IP y sesión; reduce la velocidad antes de reanudar |
| CAPTCHA / página de desafío con estado 200 | La capa anti-bot quiere prueba (ver cómo puntúa) | Trátalo como un bloqueo, no como un éxito; no insistas a través de él |
| Los tiempos de respuesta subiendo constantemente | Te están despriorizando, o tú eres la carga | Reduce la concurrencia |
X-RateLimit-Remaining / -Reset cabeceras | Presupuesto explícito, común en APIs | Mantén el ritmo para estar por debajo; duerme hasta el reinicio cuando llegue a cero |
El error costoso es tratar cada no-200 como "rota y reintenta inmediatamente". Eso convierte el límite temporal de una IP en una IP quemada, luego quema la siguiente, y enseña al modelo del objetivo que tu huella salta de direcciones cuando se le niega — un patrón que los proveedores anti-bot detectan específicamente. La rotación es para distribuir la carga normal, no para evadir un límite que acabas de superar; ver estrategia de rotación.
Prácticas que mantienen las IPs vivas
- Encuentra la tolerancia por IP del sitio y mantente por debajo de la mitad. Mídela una vez (el método está en elegir un intervalo de rotación) en lugar de adivinar.
- Añade jitter. Los intervalos uniformes son la señal más parecida a una máquina que hay. Aleatoriza los retrasos alrededor de una media, y varía el orden en que visitas las URLs.
- Usa el sitemap. Si el sitio publica uno, es un inventario completo de lo que quieren indexar; rastrearlo es tanto más educado como más completo que seguir enlaces, y evita las rutas trampa.
- Cachea y usa peticiones condicionales. Envía
If-Modified-Since/If-None-Matchdonde el sitio los soporte; un304cuesta una fracción de una página completa — en su ancho de banda, tus GB de proxy y tu reputación de IP. - No obtengas lo que no necesitas. HTML sin activos cuando sea posible; bloquea imágenes/fuentes/media en la automatización del navegador. Solo esto puede reducir el coste por GB de proxy en un orden de magnitud (por qué) y reduce la huella de carga que el sitio ve.
- Prefiere APIs oficiales, feeds y exportaciones de datos cuando existan. Muchos sitios ofrecen RSS, endpoints JSON o descargas masivas precisamente para que la gente deje de hacer scraping del HTML.
- Identifícate honestamente cuando el objetivo lo tolere. Un User-Agent descriptivo con una dirección de contacto es la norma para los rastreadores de investigación y monitoreo, y algunos sitios ponen en lista blanca a los bots conocidos. Donde debas presentarte como navegador, hazlo de manera consistente en todas las capas (por qué las medias tintas fallan).
- Retrocede exponencialmente y limita la concurrencia por host, no solo globalmente. Diez hosts con dos conexiones cada uno es educado; un host con veinte no lo es.
- Detente cuando te digan que te detengas. Un
Retry-After, una página de bloqueo explícita, o un mensaje del operador del sitio cambian cada uno lo que deberías hacer a continuación; el último también cambia la postura legal.
Por qué la cortesía es más barata
Cada una de las prácticas anteriores reduce uno de tres costes: gasto en proxies (menos bytes, menos reintentos), quema de IPs (cada dirección dura más, así que necesitas menos y puedes usar tipos más baratos), y riesgo de detección (un cliente que se comporta como un rastreador considerado puntúa mejor en la capa de comportamiento que uno que se comporta como una inundación). El scraping agresivo es una estrategia que gasta dinero para parecer más sospechoso. La excepción que la gente cita — una extracción única donde nada importa después — es real pero más rara de lo que parece, porque los objetivos comparten inteligencia y los pools se comparten con tu futuro yo.
Una nota sobre la ética de la carga
Más allá de la economía de IP: el sitio al otro lado es la factura de infraestructura de alguien. Un scraper que obtiene a un ritmo que el sitio puede absorber es indistinguible del tráfico; uno que degrada el servicio para usuarios reales es, como mínimo, grosero, y a escala se acerca al territorio que la ley llama allanamiento o interferencia. Crawl-delay y los límites de frecuencia son la forma del sitio de decir lo que puede absorber. Leerlos es todo el buen comportamiento aquí.
Preguntas frecuentes
¿Es robots.txt legalmente vinculante?
No por sí mismo; es una convención. Pero sirve como aviso de los deseos del sitio y se cita en disputas, e ignorarlo es una fuerte señal de automatización para los sistemas anti-bot. Trátalo como vinculante en la práctica.
¿Qué significa Crawl-delay?
Una directiva no estándar pero común: el número de segundos que un solo rastreador debe esperar entre peticiones. Respétalo por cliente (por IP/sesión), no por toda la operación.
¿Qué debo hacer ante un 429?
Deja de golpear ese host desde esa IP; espera el valor de Retry-After si se da, si no retrocede exponencialmente; solo entonces reanuda, más lento. No rote inmediatamente y reintente — eso extiende el bloqueo.
¿Rotar proxies me permite ignorar los límites de frecuencia?
Permite que cada IP se mantenga por debajo de un límite por IP mientras tu rendimiento total es mayor. No hace invisibles los patrones agresivos: la detección basada en huellas y comportamiento vincula las sesiones, y las IPs quemadas siguen quemadas.
¿Debo identificar mi scraper en el User-Agent?
Donde el sitio tolere rastreadores, sí — es el valor predeterminado honesto y a veces te ponen en lista blanca. Donde debas aparecer como navegador, sé consistente en TLS, cabeceras y comportamiento en lugar de mezclar un UA honesto con suplantación de navegador.
¿A qué velocidad puedo hacer scraping de un sitio?
Tan rápido como tolere desde una IP multiplicado por el número de IPs que tengas — medido, no asumido — menos un margen de seguridad, y nunca más rápido que su Crawl-delay o el ritmo al que los tiempos de respuesta se mantienen planos.