¿Pueden ChatGPT, Claude y Perplexity leer tu sitio?
Introduce un sitio web. Leemos su robots.txt para 13 rastreadores de IA, pedimos su portada como navegador y como los rastreadores de búsqueda de los asistentes, y mostramos lo que encuentra un rastreador que no ejecuta JavaScript. No se guarda nada.
Los rastreadores de IA que lee esta comprobación
Cada operador publica los nombres de sus rastreadores. Hacen trabajos distintos, y cerrar cada uno tiene un efecto distinto.
| Rastreador | Operador | Función | Qué hace |
|---|---|---|---|
OAI-SearchBot | OpenAI | Índice de búsqueda | Mantiene el índice desde el que responde la búsqueda de ChatGPT. |
ChatGPT-User | OpenAI | Obtiene para un usuario | Abre una página cuando alguien pregunta a ChatGPT por ella. |
GPTBot | OpenAI | Entrenamiento de modelos | Recoge páginas para entrenar los modelos de OpenAI. |
Claude-SearchBot | Anthropic | Índice de búsqueda | Mantiene el índice desde el que responde la búsqueda web de Claude. |
Claude-User | Anthropic | Obtiene para un usuario | Abre una página cuando alguien pregunta a Claude por ella. |
ClaudeBot | Anthropic | Entrenamiento de modelos | Recoge páginas para entrenar los modelos de Anthropic. |
PerplexityBot | Perplexity | Índice de búsqueda | Mantiene el índice desde el que responde Perplexity. |
Perplexity-User | Perplexity | Obtiene para un usuario | Abre una página cuando alguien pregunta a Perplexity por ella. |
Googlebot | Índice de búsqueda | El rastreador de la Búsqueda de Google; Gemini y AI Overviews responden desde su índice. | |
Google-Extended | Entrenamiento de modelos | Decide si Google puede usar las páginas para entrenar Gemini. | |
Applebot-Extended | Apple | Entrenamiento de modelos | Decide si Apple puede usar las páginas para entrenar sus modelos. |
Meta-ExternalAgent | Meta | Entrenamiento de modelos | Recoge páginas para entrenar los modelos de Meta. |
CCBot | Common Crawl | Entrenamiento de modelos | Construye el archivo abierto de la web con el que se entrenan muchos modelos. |
Preguntas
¿Cuál es la diferencia entre OAI-SearchBot y GPTBot?
OAI-SearchBot mantiene el índice desde el que responde la búsqueda de ChatGPT; GPTBot recoge páginas para entrenar los modelos de OpenAI. Bloquear GPTBot deja tus páginas fuera del entrenamiento y no te quita de la búsqueda de ChatGPT; bloquear OAI-SearchBot sí.
¿Bloquear Google-Extended quita un sitio de los AI Overviews?
No. Google-Extended solo decide si Google puede usar las páginas para entrenar Gemini. AI Overviews y AI Mode responden desde el índice de la Búsqueda de Google, que mantiene Googlebot.
Mi robots.txt permite los rastreadores, pero la comprobación muestra un rechazo. ¿Por qué?
Un cortafuegos o un servicio de protección contra bots puede rechazar las peticiones que se identifican como rastreador de IA, diga lo que diga robots.txt. Los rastreadores reales vienen de las direcciones publicadas por sus operadores, que esta comprobación no puede usar; un rechazo aquí es una señal para revisar los ajustes del cortafuegos, no una prueba.
¿Por qué importa el texto sin JavaScript?
Muchos rastreadores de IA leen el HTML tal como lo envía el servidor y no ejecutan JavaScript. Una página que solo se rellena tras ejecutar scripts puede parecerles casi vacía.
¿El llms.txt hace que los asistentes recomienden un sitio?
No hay pruebas publicadas de que los asistentes usen llms.txt para elegir qué recomiendan. La comprobación muestra si tienes uno; es como mucho una señal pequeña.
Teddit ejecuta esta comprobación cada día para los sitios que sigue; ver rastreadores de IA en la documentación. Para ver lo que los asistentes dicen de ti, prueba la comprobación de visibilidad gratuita o mira cuánto cuesta el seguimiento.