Acceso de rastreadores de IA
Un asistente solo puede responder a partir de páginas que su rastreador puede leer. Teddit lee tu robots.txt cada noche y muestra, para cada rastreador de IA, si puede leer tu sitio y qué línea del archivo lo decide.
Dónde encontrarlo
Al final de Páginas, en Acceso de rastreadores de IA: una fila por rastreador de IA, con su acceso y la línea de robots.txt que lo decide.
Un sitio nuevo se comprueba en cuanto se añade, y después cada noche a las 04:30 UTC. Comprobar ahora vuelve a leer los archivos al momento (rol Member o superior). Por MCP: get_crawler_access.
Cualquier sitio puede comprobarse una vez, sin cuenta, con la Comprobación de rastreadores de IA gratuita.
Los rastreadores
Cada operador tiene varios rastreadores, y hacen cosas distintas. Bloquear uno no bloquea los demás.
| Rastreador | Operador | Tipo | Qué hace |
|---|---|---|---|
OAI-SearchBot | OpenAI | Índice de búsqueda | Mantiene el índice desde el que responde la búsqueda de ChatGPT. |
ChatGPT-User | OpenAI | Obtiene para un usuario | Abre una página cuando alguien pregunta a ChatGPT por ella. |
GPTBot | OpenAI | Entrenamiento de modelos | Recoge páginas para entrenar los modelos de OpenAI. |
Claude-SearchBot | Anthropic | Índice de búsqueda | Mantiene el índice desde el que responde la búsqueda web de Claude. |
Claude-User | Anthropic | Obtiene para un usuario | Abre una página cuando alguien pregunta a Claude por ella. |
ClaudeBot | Anthropic | Entrenamiento de modelos | Recoge páginas para entrenar los modelos de Anthropic. |
PerplexityBot | Perplexity | Índice de búsqueda | Mantiene el índice desde el que responde Perplexity. |
Perplexity-User | Perplexity | Obtiene para un usuario | Abre una página cuando alguien pregunta a Perplexity por ella. |
Googlebot | Índice de búsqueda | El rastreador de la Búsqueda de Google; Gemini y AI Overviews responden desde su índice. | |
Google-Extended | Entrenamiento de modelos | Decide si Google puede usar las páginas para entrenar Gemini. | |
Applebot-Extended | Apple | Entrenamiento de modelos | Decide si Apple puede usar las páginas para entrenar sus modelos. |
Meta-ExternalAgent | Meta | Entrenamiento de modelos | Recoge páginas para entrenar los modelos de Meta. |
CCBot | Common Crawl | Entrenamiento de modelos | Construye el archivo abierto de la web con el que se entrenan muchos modelos. |
- Los rastreadores de índice de búsqueda mantienen el índice en el que busca un asistente cuando responde. Bloquearlos saca tus páginas de esas respuestas.
- Los que obtienen para un usuario abren una página porque una persona preguntó al asistente por ella.
- El entrenamiento de modelos decide si tus páginas pueden usarse para entrenar modelos futuros. No cambia lo que un asistente encuentra cuando busca hoy.
Cómo se decide el acceso
Teddit lee el archivo tal como el estándar de robots.txt (RFC 9309) dice que deben hacerlo los rastreadores:
- Las reglas escritas para un rastreador por su nombre se le aplican; el grupo
User-agent: *se aplica solo a un rastreador al que ningún grupo nombra. - Que no haya robots.txt (el sitio responde 404) significa que todos los rastreadores pueden leerlo todo.
- Un robots.txt que no se puede leer (sin respuesta, o un error del servidor) significa que el acceso es Desconocido.
| Acceso | Significado |
|---|---|
| Permitido | Ninguna regla cierra nada a este rastreador. |
| Algunas rutas cerradas | La portada está abierta, pero al menos una regla cierra algunas direcciones (a menudo /wp-admin/). La línea mostrada es la primera regla de ese tipo. |
| Bloqueado | La portada está cerrada para este rastreador. La línea mostrada es la regla que la cierra. |
| Desconocido | No se pudo leer robots.txt en la última comprobación. |
User-agent: GPTBot Disallow: / # GPTBot: Blocked, line 2 User-agent: * Disallow: /wp-admin/ # every other crawler: Some paths closed, line 5
Cuando el acceso de un rastreador cambió desde la comprobación anterior, la tabla dice cuál era (“estaba permitido”). Cada comprobación se conserva, así que el historial de tu archivo está ahí para leerlo.
llms.txt
Teddit también busca /llms.txt, un resumen de un sitio en texto plano que leen algunas herramientas de IA. Se indica como encontrado cuando la dirección responde con texto; un sitio que responde a todas las direcciones con su página HTML no cuenta como que lo tiene.
TedditBot cuando lee estos dos archivos. No lee nada más de tu sitio para esta comprobación.