ChatGPT, Claude et Perplexity peuvent-ils lire votre site ?
Saisissez un site. Nous lisons son robots.txt pour 13 robots IA, demandons sa page d’accueil comme un navigateur et comme les robots de recherche des assistants, et montrons ce qu’un robot sans JavaScript y trouve. Rien n’est conservé.
Les robots IA lus par ce test
Chaque opérateur publie les noms de ses robots. Ils ont des rôles différents, et en fermer un a chaque fois un effet différent.
| Robot | Opérateur | Rôle | Ce qu’il fait |
|---|---|---|---|
OAI-SearchBot | OpenAI | Index de recherche | Entretient l’index dans lequel la recherche ChatGPT répond. |
ChatGPT-User | OpenAI | Récupère pour un utilisateur | Ouvre une page quand quelqu’un interroge ChatGPT dessus. |
GPTBot | OpenAI | Entraînement des modèles | Collecte des pages pour entraîner les modèles d’OpenAI. |
Claude-SearchBot | Anthropic | Index de recherche | Entretient l’index dans lequel la recherche web de Claude répond. |
Claude-User | Anthropic | Récupère pour un utilisateur | Ouvre une page quand quelqu’un interroge Claude dessus. |
ClaudeBot | Anthropic | Entraînement des modèles | Collecte des pages pour entraîner les modèles d’Anthropic. |
PerplexityBot | Perplexity | Index de recherche | Entretient l’index dans lequel Perplexity répond. |
Perplexity-User | Perplexity | Récupère pour un utilisateur | Ouvre une page quand quelqu’un interroge Perplexity dessus. |
Googlebot | Index de recherche | Le robot de la recherche Google ; Gemini et AI Overviews répondent depuis son index. | |
Google-Extended | Entraînement des modèles | Décide si Google peut utiliser les pages pour entraîner Gemini. | |
Applebot-Extended | Apple | Entraînement des modèles | Décide si Apple peut utiliser les pages pour entraîner ses modèles. |
Meta-ExternalAgent | Meta | Entraînement des modèles | Collecte des pages pour entraîner les modèles de Meta. |
CCBot | Common Crawl | Entraînement des modèles | Construit l’archive ouverte du web sur laquelle de nombreux modèles sont entraînés. |
Questions
Quelle est la différence entre OAI-SearchBot et GPTBot ?
OAI-SearchBot entretient l’index dans lequel la recherche ChatGPT répond ; GPTBot collecte des pages pour entraîner les modèles d’OpenAI. Bloquer GPTBot exclut vos pages de l’entraînement sans vous retirer de la recherche ChatGPT ; bloquer OAI-SearchBot, si.
Bloquer Google-Extended retire-t-il un site des AI Overviews ?
Non. Google-Extended décide seulement si Google peut utiliser les pages pour entraîner Gemini. AI Overviews et AI Mode répondent depuis l’index de la recherche Google, entretenu par Googlebot.
Mon robots.txt autorise les robots, mais le test montre un refus. Pourquoi ?
Un pare-feu ou un service anti-bots peut refouler les requêtes qui se présentent comme un robot IA, quoi qu’en dise le robots.txt. Les vrais robots viennent des adresses publiées par leurs opérateurs, que ce test ne peut pas utiliser ; un refus ici invite à examiner les réglages du pare-feu, ce n’est pas une preuve.
Pourquoi le texte sans JavaScript compte-t-il ?
Beaucoup de robots IA lisent le HTML tel que le serveur l’envoie et n’exécutent pas de JavaScript. Une page qui ne se remplit qu’après l’exécution des scripts peut leur paraître presque vide.
Le llms.txt pousse-t-il les assistants à recommander un site ?
Rien de publié ne montre que les assistants utilisent le llms.txt pour choisir ce qu’ils recommandent. Le test indique si vous en avez un ; c’est au mieux un petit signal.
Teddit effectue ce test chaque jour pour les sites qu’il suit ; voir les robots IA dans la documentation. Pour voir ce que les assistants disent de vous, essayez le test de visibilité gratuit ou voyez ce que coûte le suivi.