Páginas bloqueadas para las IAs

En este informe puedes consultar páginas de tu sitio web con enlaces internos que están siendo bloqueadas para las IAs a través de tu archivo robots.txt. Como resultado, estas páginas no son accesibles para ChatGPT, Gemini, Perplexity o Claude.

¿Por qué es importante que las IAs puedan acceder a tu contenido?

La forma en que las personas buscan en internet está cambiando y cada vez son más las que usan chats con IA como ChatGPT, Gemini, Perplexity o Claude para encontrar información.

Si tus páginas bloquean estos bots, tu contenido no podrá ser citado como fuente en sus respuestas, lo que se traduce en una pérdida de tráfico y visibilidad de tu marca.

Asegurarte de que tus páginas clave sean accesibles para los bots de IA es fundamental para el AEO (Optimización para IAs) y ayuda a que tu sitio web aparezca en las respuestas generadas por IA.

¿Qué bots se comprueban en este informe?

El informe se centra en los bots que se ocupan del indexado y la recuperación de contenido para la búsqueda con IA:

• Bots de búsqueda con IA: OAI-SearchBot (ChatGPT Search), PerplexityBot (Perplexity AI), Claude-SearchBot (Anthropic Search), DeepSeek-AI (DeepSeek Search), Luminous-Bot (Aleph Alpha), Mistral-Search (Mistral AI), BraveBot (Brave Search Leo) y YouBot (You.com). Estos bots rastrean e indexan páginas para los buscadores con IA.
• Bots de recuperación bajo demanda: ChatGPT-User, Claude-User y Perplexity-User. Estos bots recuperan una URL concreta cuando alguien pega un enlace en el chat y pide a la IA que lea o resuma la página.
• Bots de búsqueda tradicional: Googlebot y bingbot. Estos también dan vida a funciones de IA como Vistas Creadas con IA de Google y Microsoft Copilot.

Los bots de entrenamiento de IA (como GPTBot) no se incluyen en este informe. El foco está en los bots que generan visibilidad, citas y tráfico desde la búsqueda, no en aquellos que extraen contenido para entrenar modelos.

¿Cómo interpretar las columnas de este informe?

En la columna URL verás todas las páginas que están bloqueadas para al menos uno de los bots mencionados, mientras que en la columna "Bot / Agente bloqueado" puedes consultar qué bot en concreto está siendo bloqueado por tu archivo robots.txt.

¿Cómo arreglar las páginas bloqueadas?

1. Usa la columna "Bot / Agente bloqueado" (y el filtro, si lo necesitas) para identificar de qué bots se trata en cada caso.
2. Abre tu archivo robots.txt (que normalmente se encuentra en tu dominio raíz tudominio.com/robots.txt) y revisa las reglas para los user agents afectados.
3. Ajusta las reglas para que los bots de IAs puedan acceder a las páginas correspondientes.
4. Vuelve a rastrear tu proyecto para verificar los cambios.

¿Y si el bloqueo es intencionado?

No toda página bloqueada es necesariamente un problema. Puede que quieras bloquear ciertos bots a propósito, por ejemplo, si prefieres que un servicio de IA concreto no acceda a tu contenido (como a tu política de privacidad).

Sin embargo, este informe está pensado más bien para detectar los bloqueos no intencionados y decidir, página por página, qué bots deberían tener acceso.

Para más información sobre cómo configurar tu archivo robots.txt, consulta la wiki de Seobility.