Cómo bloquear un Bot o User Agent con .htaccess

Si te está ocurriendo que un bot de un buscador (crawler) o un bot de IA está recorriendo tu web y consumiendo todo el tráfico o causándole sobrecarga o lentitud, te mostraremos cómo detectarlo y bloquearlo en tu sitio web.

Ten en cuenta que no todos los bots son malos, sino que algunos, tal como el bot de Google son los encargados de revisar tu sitio web para posicionarlo en sus resultados.

Diagnóstico

Primero, ve a la app de estadísticas AWStats y revisa el recuadro Visitas de bots y spiders. Luego, determina cuál es el bot que más tráfico está consumiendo.

En este caso, el problema lo está generando el bot de Semrush (SemrushBot), que es una app de análisis SEO y SEM (posicionamiento web), la cual, salvo que estés usándola para monitorear o analizar tu site, no aporta nada especial que esté accediendo continuamente a tu sitio.

Cómo bloquear un Bot o User Agent con la herramienta HTTP Performance de WNPower 🥇

Preparamos una herramienta fácil de usar para que puedas bloquear los Bots o User Agents sin manipular código. La puedes encontrar en tu cPanel y se usa muy simple como te presentamos en esta guía.

Cómo bloquear un Bot o User Agent con .htaccess

1. Abre el archivo .htaccess.
    

2. Agrega estas líneas:

   <IfModule mod_rewrite.c>
       RewriteEngine On
       RewriteCond %{HTTP_USER_AGENT} SemrushBot [NC]
       RewriteRule ^.* - [F,L]
   </IfModule>

   
   En este ejemplo estamos bloqueando el bot de Semrush (el User Agent es "Semrushbot"), pero si se trata de otro bot el que quieras bloquear, cambia el nombre en el código por el que desees.
   
   Si son varios User Agent que quieres bloquear, puedes agregarlos de la siguiente manera:

   <IfModule mod_rewrite.c>
       RewriteEngine On
       RewriteCond %{HTTP_USER_AGENT} (SemrushBot|bingbot) [NC]
       RewriteRule ^.* - [F,L]
   </IfModule>

3. Guarda los cambios.

User Agents de Bots más comunes

Si bien te recomendamos bloquear aquellos User Agents específicos que necesites, aquí tienes una lista de los bots más comunes para que tengas en cuenta:

Bots de AI:

• GPTBot
• OpenAI
• Claude-User
• Anthropic
• ClaudeBot
• Perplexity-User
• Perplexity
• bingbot
• BingPreview
• BingAI
• Googlebot
• Google-Read-Aloud

Bots de herramientas SEO:

• SemrushBot
• AhrefsBot
• MJ12bot
• DotBot
• BLEXBot
• SEOkicks
• Screaming Frog

También te dejamos este post de nuestra comunidad de usuarios que menciona cómo bloquear el Bot de Meta (Facebook, Instagram, Whatsapp, etc):
Ayuda para bloquear facebookexternalhit que consume recursos de mi sitio