Accès des robots IA
Un assistant ne peut répondre qu’à partir des pages que son robot peut lire. Teddit lit votre robots.txt chaque nuit et montre, pour chaque robot IA, s’il peut lire votre site et quelle ligne du fichier en décide.
Où le trouver
En bas de Pages, sous Accès des robots IA : une ligne par robot IA, avec son accès et la ligne du robots.txt qui en décide.
Un nouveau site est vérifié dès qu’il est ajouté, puis chaque nuit à 04:30 UTC. Vérifier maintenant relit les fichiers tout de suite (rôle Member et au-dessus). Via MCP : get_crawler_access.
N’importe quel site peut être vérifié une fois, sans compte, avec le test des robots IA gratuit.
Les robots
Chaque opérateur fait tourner plusieurs robots, et ils font des choses différentes. En bloquer un ne bloque pas les autres.
| Robot | Opérateur | Type | Ce qu’il fait |
|---|---|---|---|
OAI-SearchBot | OpenAI | Search index | Keeps the index ChatGPT search answers from. |
ChatGPT-User | OpenAI | Fetches for a user | Opens a page when someone asks ChatGPT about it. |
GPTBot | OpenAI | Model training | Collects pages to train OpenAI’s models. |
Claude-SearchBot | Anthropic | Search index | Keeps the index Claude’s web search answers from. |
Claude-User | Anthropic | Fetches for a user | Opens a page when someone asks Claude about it. |
ClaudeBot | Anthropic | Model training | Collects pages to train Anthropic’s models. |
PerplexityBot | Perplexity | Search index | Keeps the index Perplexity answers from. |
Perplexity-User | Perplexity | Fetches for a user | Opens a page when someone asks Perplexity about it. |
Googlebot | Search index | Google Search’s crawler; Gemini and AI Overviews answer from its index. | |
Google-Extended | Model training | Decides whether Google may use the pages to train Gemini. | |
Applebot-Extended | Apple | Model training | Decides whether Apple may use the pages to train its models. |
Meta-ExternalAgent | Meta | Model training | Collects pages to train Meta’s models. |
CCBot | Common Crawl | Model training | Builds the open web archive many models are trained on. |
- Les robots d’index de recherche entretiennent l’index dans lequel un assistant cherche quand il répond. Les bloquer retire vos pages de ces réponses.
- Récupère pour un utilisateur : ouvre une page parce qu’une personne a interrogé l’assistant à son sujet.
- Entraînement des modèles décide si vos pages peuvent servir à entraîner les futurs modèles. Cela ne change pas ce qu’un assistant trouve quand il cherche aujourd’hui.
Comment l’accès est décidé
Teddit lit le fichier comme la norme robots.txt (RFC 9309) dit que les robots doivent le faire :
- Les règles écrites pour un robot par son nom s’appliquent à lui ; le groupe
User-agent: *ne s’applique qu’à un robot qu’aucun groupe ne nomme. - Aucun robots.txt du tout (le site répond 404) signifie que chaque robot peut tout lire.
- Un robots.txt illisible (pas de réponse, ou une erreur du serveur) signifie que l’accès est Inconnu.
| Accès | Signification |
|---|---|
| Autorisé | Aucune règle ne ferme quoi que ce soit à ce robot. |
| Certains chemins fermés | La page d’accueil est ouverte, mais au moins une règle ferme certaines adresses (souvent /wp-admin/). La ligne affichée est la première règle de ce type. |
| Bloqué | La page d’accueil est fermée à ce robot. La ligne affichée est la règle qui la ferme. |
| Inconnu | Le robots.txt n’a pas pu être lu lors de la dernière vérification. |
User-agent: GPTBot Disallow: / # GPTBot: Blocked, line 2 User-agent: * Disallow: /wp-admin/ # every other crawler: Some paths closed, line 5
Quand l’accès d’un robot a changé depuis la vérification précédente, le tableau dit ce qu’il était (« était autorisé »). Chaque vérification est conservée, l’historique de votre fichier est donc là pour être lu.
llms.txt
Teddit cherche aussi /llms.txt, un résumé en texte brut d’un site que certains outils IA lisent. Il est signalé comme trouvé quand l’adresse répond avec du texte ; un site qui répond à chaque adresse avec sa page HTML n’est pas compté comme en ayant un.
TedditBot quand il lit ces deux fichiers. Il ne lit rien d’autre sur votre site pour cette vérification.