Cómo bloquear y administrar crawlers y bots con Cloudflare

La mayoría de los sitios web recibe una porción de tráfico tráfico que no proviene de personas reales, sino de bots y crwalers.

Algunos de estos bots o visitas automáticas son útiles, como los de motores de búsqueda que ayudan a posicionar tu página, mientras que otros pueden ser maliciosos o simplemente indeseados y que pueden estar en búsqueda de una vulnerabilidad en tu web para luego atacarla.

Lo que tienen en común es que consumen recursos críticos como CPU, memoria y tráfico de tu plan, lo que puede impactar en la velocidad y la disponibilidad del sitio.

Para mantener este tráfico bajo control, Cloudflare ofrece herramientas avanzadas que permiten identificar, filtrar y mitigar bots no deseados en tiempo real. De esta manera, no solo se protegen los recursos de tu plan de alojamiento, sino que también se garantiza una mejor experiencia para los visitantes legítimos, ya que tus recursos no se desperdician en visitas que no deberían llegar.

Activar el Modo Bot Fight

El “Modo Bot Fight” de Cloudflare identifica automáticamente tráfico generado por bots maliciosos o no deseados mediante análisis de comportamiento, patrones de solicitud y reputación de IP.

Una vez detectados, los bloquea o desafía con un challenge web antes de que lleguen al servidor, protegiendo CPU, memoria y ancho de banda, mientras permite el acceso al tráfico legítimo.

Para activarlo haz lo siguiente:

1. Accede a tu cuenta Cloudflare. Si está integrado con tu cuenta WNPower, puedes ingresar desde allí a las opciones.
    
2. Ve a Seguridad → Configuración → Activa el Modo bot fight.
   
   
   
    
3. Luego de esperar alguna horas, podrás ver un detalle del tráfico bloqueado desde Seguridad → Información General → Ver eventos de bots.
   
   
   
   
   
   
   
    

Activar AI Crawl Control

Esta herramienta permite activar o desactivar bots conocidos, como motores de búsqueda, IA's y crawlers web.

Además, muestra la cantidad de tráfico generado por cada uno, lo que facilita la toma de decisiones. Si bien no es recomendable bloquear crawlers que pertenezcan a los buscadores más conocidos como Google, puedes revisar si alguno de menor relevancia pueda estar generando impactos en tu web.

Esto se configura mismo desde el panel Seguridad dentro de tu cuenta Cloudflare.