Mi herramienta de análisis SEO detecta errores HTTP 429 (Too Many Requests)

Los servicios de análisis y posicionamiento SEO escanean periódicamente los sitios web para analizarlos, simulando lo que haría un buscador de Internet.

Sin embargo, estas herramientas técnicamente no siempre tienen el mismo comportamiento que un buscador (quien tiene prioridad de rastreo) y en pos de acelerar sus procesos de análisis, muchas de ellas generan una gran cantidad de peticiones simultáneas al sitio analizado, lo cual podría generar un uso abusivo o que afectara al rendimiento del sitio a analizar.

Para proteger los sitios analizados, los proveedores de hosting automáticamente aplican un limitador de velocidad a este tipo de herramientas, en pos de que no generen sobrecargas que afecten a los sitios.

Este "freno", técnicamente es el error HTTP 429, que es un estándar en la web para dicha acción.

¿Qué es el error HTTP 429?

Este error se devuelve cuando un usuario (o herramienta automática) que accede a un sitio ha enviado demasiadas peticiones en un corto periodo de tiempo.

En caso de obtener este error, es posible que se reciba un mensaje como los siguientes:

• 429 Too many requests
• 429 Error
• HTTP 429
• Error 429 (Too many requests)

Si la herramienta de análisis que estás utilizando respeta este estándar del protocolo HTTP, inmediatamente bajará la cantidad de peticiones simultáneas a tu sitio y no notarás diferencia en su uso ni sus informes.

Sin embargo, algunas herramientas no interpretan este estándar y te indicarán en sus informes que tu sitio presenta problemas, cuando en realidad fueron "frenadas" adrede por detectar esta actividad.

¿Cómo puedo solucionarlo en mi herramienta de auditoría SEO?

En estos casos, para poder utilizar correctamente tu herramienta de auditoría, deberás ajustar la cantidad de peticiones por segundo dentro de su configuración a un valor que no reciba este error.

Generalmente en servicios pagos, esta cantidad tiene un valor extremadamente alto, que deberás bajar para evitar que sobrecargue el sitio y genere errores.

Te dejamos aquí algunos links de ejemplo:

• Semrush: Cómo optimizar la velocidad de rastreo de la Auditoría de tu sitio
• Ahrefs: What is the optimal crawl speed I should set in Site Audit?

Otra opción que sugieren algunas herramientas como Semrush es agregar un "Crawl-delay" al archivo "robots.txt", por ejemplo: "Crawl-delay: 5", cumpliendo la misma directiva del "freno" pero desde otro método.