La version courte
- L’accès n’est pas le problème. 97,5 % des sites ont répondu à une requête du robot de recherche de ChatGPT et ne l’ont pas exclu dans leur robots.txt. Seuls 2,1 % nomment un robot IA quelconque dans leur robots.txt, et la plupart d’entre eux excluent les robots qui collectent des données d’entraînement, pas ceux qui récupèrent des pages pour répondre à une question.
- Les sites fermés ne l’ont pour la plupart pas choisi. 1,7 % des sites ont refusé une requête qui s’identifiait comme le robot de recherche de ChatGPT tout en servant la même page à un navigateur. Pour 396 de ces 407, le robots.txt ne disait rien contre ce robot. Un pare-feu, un hébergeur ou une extension de sécurité l’a fait.
- Le llms.txt est courant, et surtout automatique. 25,9 % des sites en ont un. 89,6 % des sites Wix et 94,0 % des sites Shopify en ont un, contre 9,3 % sur Squarespace. Dans un échantillon de 397 fichiers, au moins 46 % étaient étiquetés comme générés par une extension SEO ou venaient de l’une de ces deux plateformes.
- Là où les sites diffèrent : dire qui ils sont. 24,8 % n’ont aucune donnée structurée sur la page d’accueil et 15,1 % aucune meta description. Par secteur, la part avec un balisage Organization ou d’entreprise va de 71,3 % pour les agences marketing à 47,9 % pour les cabinets d’architecture.
- Les agences qui vendent la recherche IA font le travail de balisage sur leurs propres sites. Elles ne sont pas plus ouvertes aux robots IA que les autres agences, parce que presque tout le monde l’est déjà.
Ce que nous avons vérifié
Les sites sont ceux d’entreprises référencées sur Google Maps dans 33 grandes villes : 23 dans 18 pays européens et 10 aux États-Unis. 4 100 sont des agences marketing et SEO ; 19 311 sont des entreprises de 21 autres secteurs, des cabinets d’avocats et cliniques dentaires aux lieux de mariage et à la logistique. Nous avons gardé chaque site dont la page d’accueil répondait normalement, 23 411 en tout. 16 272 sont en Europe et 7 139 aux États-Unis. Les vérifications ont eu lieu en octobre 2026. Nous ne nommons aucun site ici.
Pour chaque site, nous avons lu ce que lirait le robot d’un assistant IA, sans exécuter de JavaScript. Quand Vercel a mesuré les robots IA fin 2024, aucun des principaux ne l’exécutait.
- la page d’accueil telle que servie : son texte, son titre, sa meta description et les types schema.org de son JSON-LD ;
- le robots.txt, le fichier du Robots Exclusion Protocol, et quels robots IA il exclut de l’ensemble du site ;
/llms.txt(la proposition), compté seulement quand il répond par du texte plutôt que par une page HTML ;- un sitemap, depuis le robots.txt ou à
/sitemap.xml; - la page d’accueil une fois de plus, demandée avec le user agent d’OAI-SearchBot, le robot qu’OpenAI utilise pour la recherche de ChatGPT.
L’échantillon n’est pas tout le web. Ce sont des entreprises avec une fiche Maps et un site web dans de grandes villes, et la page d’accueil n’est qu’une page. Les chiffres agrégés par secteur, pays et plateforme de site sont dans un fichier CSV pour qui veut les exploiter.
Accès : presque tout le monde laisse entrer l’IA
| Ce que fait le site | Sites | Part |
|---|---|---|
| Nomme au moins un robot IA, ou tous les robots, comme exclus dans le robots.txt | 491 | 2,1 % |
| …dont seulement des robots d’entraînement, robots de réponse autorisés | 298 | 1,3 % |
| Exclut tous les robots dans le robots.txt | 112 | 0,5 % |
| Refuse une requête comme robot de recherche de ChatGPT, sert un navigateur | 407 | 1,7 % |
| Fermé à la recherche de ChatGPT par l’un ou l’autre | 589 | 2,5 % |
Les entreprises d’IA exploitent deux types de robots, et chacune documente les siens : OpenAI, Anthropic, Google, Perplexity, Apple et Common Crawl. Les robots d’entraînement, comme GPTBot, ClaudeBot, Google-Extended, Applebot-Extended et CCBot, collectent des pages pour construire des modèles. Les robots de recherche et d’utilisateur, comme OAI-SearchBot, ChatGPT-User, Claude-SearchBot et PerplexityBot, récupèrent des pages pour répondre à une question que quelqu’un pose maintenant, et ce sont ces pages qu’une réponse peut citer. Exclure le premier type garde un site hors des données d’entraînement. Exclure le second le garde hors des réponses : OpenAI dit clairement que les sites qui refusent OAI-SearchBot ne seront pas montrés dans les réponses de la recherche de ChatGPT.
Les sites qui nomment des robots dans leur robots.txt ont pour la plupart fait cette distinction. Voici la fréquence à laquelle chaque robot est exclu par son nom :
| Robot | Type | Exclu par son nom |
|---|---|---|
| CCBot (Common Crawl) | Entraînement | 1,20 % |
| GPTBot (OpenAI) | Entraînement | 1,17 % |
| Google-Extended | Entraînement | 0,85 % |
| ClaudeBot (Anthropic) | Entraînement | 0,79 % |
| Applebot-Extended | Entraînement | 0,56 % |
| PerplexityBot | Recherche | 0,24 % |
| ChatGPT-User | Recherche | 0,23 % |
| OAI-SearchBot | Recherche | 0,11 % |
| Claude-SearchBot, Claude-User | Recherche | 0,05 % chacun |
Les refus par pare-feu sont une autre histoire. 407 sites ont servi leur page d’accueil à un navigateur et ont refusé la même page à une requête qui se présentait comme OAI-SearchBot, avec un 403 ou un statut similaire. Pour 396 d’entre eux, le robots.txt n’excluait pas ce robot. Les propres règles du site disent oui et son serveur dit non, ce qui est rarement la décision de quelqu’un. C’est le genre de chose qu’un réglage anti-bots chez un CDN, un pare-feu d’hébergeur ou une extension de sécurité WordPress peut faire sans que personne ne l’ait choisi. Les réglages par défaut ont évolué dans ce sens : en juillet 2025, Cloudflare a annoncé qu’il changeait son réglage par défaut pour bloquer les robots IA.
Pour nous assurer qu’il ne s’agissait pas d’erreurs ponctuelles, nous en avons réinterrogé 150, une fois comme navigateur et une fois comme robot, à quelques secondes d’intervalle. 147 ont de nouveau refusé le robot tout en servant le navigateur. Ils se trouvaient derrière un mélange de serveurs et de réseaux : nginx et Apache nus, Cloudflare, Akamai, Sucuri, CloudFront et LiteSpeed, entre autres.
Quelle que soit la façon de compter, presque chaque site de l’échantillon peut être lu par les robots qui mettent des pages dans les réponses. Si une entreprise manque dans ce que disent ChatGPT ou Perplexity, une porte fermée en est rarement la raison.
llms.txt : un site sur quatre, surtout par défaut
llms.txt est un fichier texte qui dit aux outils d’IA de quoi parle un site et où se trouvent ses pages clés, proposé par Jeremy Howard en septembre 2024. 6 068 des 23 411 sites en ont un : 25,9 %, et 30,6 % aux États-Unis contre 23,9 % en Europe. Pour un format proposé en 2024, cela ressemble à une adoption rapide. Les plateformes racontent une autre histoire.
| Plateforme du site | Sites | Ont un llms.txt |
|---|---|---|
| Shopify | 436 | 94,0 % |
| Wix | 550 | 89,6 % |
| Next.js | 1 000 | 36,2 % |
| Webflow | 1 063 | 30,8 % |
| WordPress | 12 644 | 25,1 % |
| Framer | 78 | 19,2 % |
| Squarespace | 1 270 | 9,3 % |
Neuf sites Wix ou Shopify sur dix qui ont le fichier, ce ne sont pas neuf propriétaires sur dix qui ont décidé de l’écrire. Des taux aussi élevés indiquent que c’est la plateforme qui le produit.
Pour voir ce que contiennent les fichiers, nous en avons récupéré 397 au hasard. 18,1 % commencent par dire qu’ils ont été générés par Yoast SEO, 8,6 % par Rank Math et 5,8 % par All in One SEO, les trois grandes extensions SEO de WordPress, qui proposent chacune désormais de générer le fichier ( Yoast, Rank Math). 13,8 % de plus sont sur Shopify ou Wix. Cela fait au moins 46 % produits par une extension ou une plateforme. Le reste, nous ne pouvons pas l’attribuer : beaucoup sont clairement écrits pour le site, certains se lisent comme un résumé généré sans le dire.
Un fichier généré n’est pas sans valeur. Il liste généralement les pages principales du site, ce qui est le but du format. Mais cela signifie que « a un llms.txt » dit peu de chose sur le fait que quelqu’un dans l’entreprise ait réfléchi à ce qu’un outil d’IA lit, et ce n’est pas un signe d’avance. Savoir si un assistant lit le fichier quand il répond est une question distincte, et pas une que cette étude mesure.
Là où les sites diffèrent : dire qui ils sont
Quand un assistant lit le site d’une entreprise, l’aide la plus simple est une page qui énonce ce qu’est l’entreprise, ce qu’elle fait et où. Deux signaux peu coûteux de cela sont une meta description et un balisage schema.org qui nomme l’entreprise comme Organization ou l’un des types d’entreprise (LocalBusiness, Dentist, LegalService et autres), que Google documente pour son propre usage. Sur l’ensemble des sites :
- 61,7 % ont un balisage Organization ou d’entreprise sur la page d’accueil ;
- 24,8 % n’ont aucune donnée structurée sur la page d’accueil ;
- 15,1 % n’ont pas de meta description ;
- 7,2 % ont un balisage FAQ ;
- 3,0 % affichent moins de 300 caractères de texte sans JavaScript, si bien qu’un robot qui n’exécute pas de scripts voit une page presque vide ;
- 91,8 % ont un sitemap.
Par secteur, les différences sont bien plus grandes que pour l’accès des robots, qui reste entre 1,6 % et 3,9 % de sites fermés partout :
| Secteur | Sites | Balisage Organization ou d’entreprise | Balisage FAQ | llms.txt | Sans meta description | Fermés à la recherche de ChatGPT |
|---|---|---|---|---|---|---|
| Agences marketing et SEO | 4 100 | 71,3 % | 15,1 % | 33,1 % | 9,8 % | 2,3 % |
| Développement logiciel | 902 | 70,4 % | 13,1 % | 43,7 % | 7,2 % | 2,3 % |
| Cliniques esthétiques | 1 363 | 70,2 % | 5,3 % | 31,9 % | 13,1 % | 2,1 % |
| Conseil informatique | 495 | 69,3 % | 9,9 % | 31,9 % | 10,1 % | 1,8 % |
| Cabinets d’avocats | 1 168 | 69,3 % | 6,5 % | 27,1 % | 11,7 % | 2,7 % |
| Cabinets comptables | 567 | 68,1 % | 5,8 % | 27,5 % | 8,6 % | 3,4 % |
| Installateurs solaires | 480 | 67,1 % | 10,2 % | 30,4 % | 11,0 % | 2,7 % |
| Agences de traduction | 519 | 65,9 % | 9,1 % | 26,2 % | 9,4 % | 2,7 % |
| Cliniques dentaires | 1 492 | 64,3 % | 7,3 % | 24,1 % | 16,0 % | 1,7 % |
| Entreprises événementielles | 763 | 62,6 % | 7,3 % | 22,8 % | 12,3 % | 2,0 % |
| Espaces de coworking | 744 | 58,7 % | 4,0 % | 21,0 % | 15,6 % | 2,0 % |
| Architecture d’intérieur | 419 | 57,8 % | 2,1 % | 19,1 % | 18,4 % | 1,9 % |
| Cuisinistes | 162 | 57,4 % | 0,6 % | 26,5 % | 17,3 % | 2,5 % |
| Cliniques privées | 1 250 | 56,6 % | 5,3 % | 20,9 % | 20,1 % | 2,0 % |
| Mobilier | 1 657 | 56,0 % | 2,8 % | 30,8 % | 15,1 % | 2,7 % |
| Cabinets de recrutement | 1 175 | 55,6 % | 4,3 % | 19,7 % | 13,2 % | 3,4 % |
| Construction | 643 | 55,1 % | 4,2 % | 20,4 % | 20,4 % | 2,2 % |
| Logistique | 626 | 54,3 % | 7,5 % | 20,9 % | 20,6 % | 3,8 % |
| Agences immobilières | 1 137 | 54,2 % | 4,0 % | 22,3 % | 19,1 % | 3,9 % |
| Écoles de langues | 1 110 | 53,0 % | 5,4 % | 20,4 % | 19,2 % | 3,6 % |
| Lieux de mariage | 1 608 | 51,2 % | 3,3 % | 18,0 % | 22,5 % | 1,6 % |
| Cabinets d’architecture | 1 031 | 47,9 % | 1,3 % | 11,8 % | 27,9 % | 3,1 % |
Le schéma est clair. Les entreprises dont les sites sont construits par des gens qui travaillent sur le web, agences, éditeurs de logiciels, sociétés de conseil informatique, font le plus souvent les bases. Les entreprises qui vendent quelque chose de physique ou de local, lieux, architectes, constructeurs, écoles de langues, les font le moins. Plus d’un quart des pages d’accueil des cabinets d’architecture n’ont pas de meta description.
Entre pays, les différences sont faibles. La part avec un balisage d’entreprise va de 46,8 % en Tchéquie à 68,6 % en Espagne, et chaque pays se situe entre 1,1 % et 4,8 % de sites fermés à la recherche de ChatGPT.
Les agences qui vendent la recherche IA, sur leurs propres sites
898 des 4 100 agences mentionnent la recherche IA sur leur page d’accueil : GEO, visibilité IA, moteurs de réponse, AI Overviews ou similaire. Nous avons comparé leurs propres sites avec ceux des 3 202 autres agences.
| Site d’agence | Mentionne la recherche IA | Ne la mentionne pas |
|---|---|---|
| A un llms.txt | 55,1 % | 26,9 % |
| Balisage Organization ou d’entreprise | 86,4 % | 67,1 % |
| Balisage FAQ | 31,2 % | 10,6 % |
| Sans meta description | 3,5 % | 11,5 % |
| Moins de 300 caractères sans JavaScript | 0,3 % | 5,0 % |
| Fermé à la recherche de ChatGPT | 2,1 % | 2,4 % |
Les agences qui vendent ce travail le font sur leurs propres sites : deux fois plus de llms.txt, trois fois plus de balisage FAQ, bien moins de pages sans description. Sur l’accès, elles sont comme tout le monde, parce que presque tout le monde est déjà ouvert : il n’y avait rien sur quoi prendre de l’avance.
Que vérifier sur votre propre site
Si les chiffres ci-dessus valent pour votre secteur, l’ordre des vérifications est à peu près celui-ci.
- Interrogez votre serveur comme le robot. Demandez votre page d’accueil comme OAI-SearchBot, ChatGPT-User et PerplexityBot, et comparez avec un navigateur. Notre test des robots IA gratuit le fait avec le robots.txt et le llms.txt, et ne conserve rien. Si quelque chose est refusé que le robots.txt autorise, regardez les réglages anti-bots de votre CDN et votre extension de sécurité avant toute autre chose.
- Décidez séparément pour l’entraînement et la recherche. Garder vos pages hors de l’entraînement des modèles n’oblige pas à les garder hors des réponses. Si vous excluez des robots dans le robots.txt, vérifiez que vous excluez ceux que vous vouliez. Nos notes sur les robots IA listent lequel est lequel.
- Lisez votre llms.txt, si une extension en a fait un. C’est la description de votre site pour un outil d’IA. S’il liste votre politique de cookies et aucun de vos services, il ne fait pas son travail.
- Dites qui vous êtes, dans la page. Une meta description, un balisage Organization ou d’entreprise avec votre nom, votre adresse et ce que vous faites, et une page d’accueil dont le texte est là sans JavaScript. Rien de tout cela n’est nouveau ; un quart des sites s’en passent encore.
Aucune de ces vérifications ne vous dit si un assistant vous cite réellement quand un acheteur demande. Un site peut être ouvert, balisé et bien décrit, et rester sans mention, parce que les réponses sont construites à partir de bien plus qu’un seul site. La seule façon de savoir est de poser aux assistants les questions que posent vos acheteurs, plus d’une fois, et de compter. C’est ce que Teddit mesure.
Ce que les données ne montrent pas
- L’échantillon est composé d’entreprises avec une fiche Google Maps et un site web dans 33 grandes villes. Les entreprises des petites villes, les grands groupes et les sites sans présence sur Maps sont sous-représentés ou absents.
- Nous n’avons lu que la page d’accueil. Les données structurées, le texte et les descriptions des autres pages ne sont pas comptés, et le JSON-LD est le seul balisage que nous lisons ; pas les microdonnées ni le RDFa.
- La vérification du pare-feu a utilisé le nom du robot depuis notre adresse, pas le robot lui-même ; voir la note ci-dessus.
- L’attribution des llms.txt vient d’un échantillon aléatoire de 397 fichiers, et ne compte que ce qu’un fichier ou sa plateforme rend évident. La vraie part produite par des outils est supérieure à 46 %, pas inférieure.
- C’est un instant, octobre 2026. Les réglages par défaut des CDN et des extensions pour les robots changent, et ces chiffres changeront avec.
Si vous voulez citer les chiffres, le CSV contient chaque agrégat de cet article. Questions ou corrections : hello@teddit.io.
Sources
- Overview of OpenAI crawlers, OpenAI : OAI-SearchBot, ChatGPT-User et GPTBot.
- Does Anthropic crawl data from the web, Anthropic : ClaudeBot, Claude-User et Claude-SearchBot.
- Google’s common crawlers, Google : Google-Extended.
- Perplexity crawlers, Perplexity : PerplexityBot et Perplexity-User.
- About Applebot, Apple : Applebot-Extended.
- CCBot, Common Crawl.
- RFC 9309: Robots Exclusion Protocol, IETF.
- The /llms.txt file, Jeremy Howard.
- The rise of the AI crawler, Vercel.
- Content Independence Day: no AI crawl without compensation, Cloudflare.
- Organization structured data et control your snippets in search results, Google Search Central.