La versione breve
- L’accesso non è il problema. Il 97.5% dei siti ha risposto a una richiesta del bot di ricerca di ChatGPT e non l’ha escluso nel robots.txt. Solo il 2.1% nomina un qualsiasi bot IA nel robots.txt, e la maggior parte di questi esclude i bot che raccolgono dati di addestramento, non quelli che recuperano pagine per rispondere a una domanda.
- I siti chiusi per lo più non hanno scelto di esserlo. L’1.7% dei siti ha rifiutato una richiesta che si identificava come il bot di ricerca di ChatGPT pur servendo la stessa pagina a un browser. Per 396 di quei 407, il robots.txt non diceva nulla contro il bot. L’ha fatto un firewall, un hosting o un plugin di sicurezza.
- llms.txt è comune, e per lo più automatico. Il 25.9% dei siti ne ha uno. L’89.6% dei siti Wix e il 94.0% dei siti Shopify, contro il 9.3% su Squarespace. In un campione di 397 file, almeno il 46% era etichettato come generato da un plugin SEO o veniva da una di quelle due piattaforme.
- Dove i siti differiscono: dire chi sono. Il 24.8% non ha alcun dato strutturato nella home page e il 15.1% nessuna meta description. Per settore, la quota con markup Organization o di tipo business va dal 71.3% per le agenzie di marketing al 47.9% per gli studi di architettura.
- Le agenzie che vendono la ricerca IA fanno il lavoro di markup sui propri siti. Non sono più aperte ai bot IA delle altre agenzie, perché quasi tutti lo sono già.
Cosa abbiamo verificato
I siti sono quelli di aziende presenti su Google Maps in 33 grandi città: 23 in 18 paesi europei e 10 negli Stati Uniti. 4,100 sono agenzie di marketing e SEO; 19,311 sono aziende in altri 21 settori, dagli studi legali e le cliniche dentistiche alle location per matrimoni e la logistica. Abbiamo tenuto ogni sito la cui home page rispondeva normalmente, 23,411 in tutto. 16,272 sono in Europa e 7,139 negli Stati Uniti. Le verifiche sono state eseguite nell’ottobre 2026. Qui non nominiamo alcun sito.
Per ogni sito abbiamo letto ciò che leggerebbe il crawler di un assistente IA, senza eseguire JavaScript. Quando Vercel ha misurato i crawler IA alla fine del 2024, nessuno dei principali lo renderizzava.
- la home page così come servita: il suo testo, il titolo, la meta description e i tipi schema.org nel suo JSON-LD;
- il robots.txt, il file del Robots Exclusion Protocol, e quali bot IA esclude dall’intero sito;
/llms.txt(la proposta), contato solo quando risponde con testo e non con una pagina HTML;- una sitemap, dal robots.txt o in
/sitemap.xml; - la home page ancora una volta, richiesta con lo user agent di OAI-SearchBot, il bot che OpenAI usa per la ricerca di ChatGPT.
Il campione non è tutto il web. Sono aziende con una scheda su Maps e un sito in grandi città, e la home page è solo una pagina. I dati aggregati per settore, paese e piattaforma del sito sono in un file CSV per chi vuole lavorarci.
Accesso: quasi tutti lasciano entrare l’IA
| Cosa fa il sito | Siti | Quota |
|---|---|---|
| Nomina almeno un bot IA, o ogni bot, come escluso nel robots.txt | 491 | 2.1% |
| …di cui solo bot di addestramento, bot di risposta ammessi | 298 | 1.3% |
| Esclude ogni bot nel robots.txt | 112 | 0.5% |
| Rifiuta una richiesta come bot di ricerca di ChatGPT, serve un browser | 407 | 1.7% |
| Chiuso alla ricerca di ChatGPT per uno dei due motivi | 589 | 2.5% |
Le aziende di IA gestiscono due tipi di bot, e ciascuna documenta i propri: OpenAI, Anthropic, Google, Perplexity, Apple e Common Crawl. I bot di addestramento, come GPTBot, ClaudeBot, Google-Extended, Applebot-Extended e CCBot, raccolgono pagine per costruire i modelli. I bot di ricerca e per gli utenti, come OAI-SearchBot, ChatGPT-User, Claude-SearchBot e PerplexityBot, recuperano pagine per rispondere a una domanda che qualcuno sta facendo ora, e quelle sono le pagine che una risposta può citare. Escludere il primo tipo tiene un sito fuori dai dati di addestramento. Escludere il secondo lo tiene fuori dalle risposte: OpenAI dice chiaramente che i siti che si sono esclusi da OAI-SearchBot non saranno mostrati nelle risposte della ricerca di ChatGPT.
I siti che nominano bot nel robots.txt per lo più hanno fatto quella distinzione. Ecco quanto spesso ogni bot viene escluso per nome:
| Bot | Tipo | Escluso per nome |
|---|---|---|
| CCBot (Common Crawl) | Addestramento | 1.20% |
| GPTBot (OpenAI) | Addestramento | 1.17% |
| Google-Extended | Addestramento | 0.85% |
| ClaudeBot (Anthropic) | Addestramento | 0.79% |
| Applebot-Extended | Addestramento | 0.56% |
| PerplexityBot | Ricerca | 0.24% |
| ChatGPT-User | Ricerca | 0.23% |
| OAI-SearchBot | Ricerca | 0.11% |
| Claude-SearchBot, Claude-User | Ricerca | 0.05% ciascuno |
I rifiuti del firewall sono un’altra storia. 407 siti hanno servito la home page a un browser e hanno rifiutato la stessa pagina a una richiesta che si presentava come OAI-SearchBot, con un 403 o uno stato simile. Per 396 di essi, il robots.txt non escludeva quel bot. Le regole del sito dicono sì e il suo server dice no, il che raramente è una decisione di qualcuno. È il genere di cosa che un’impostazione anti-bot su una CDN, un firewall dell’hosting o un plugin di sicurezza WordPress può fare senza che nessuno l’abbia scelto. Le impostazioni predefinite si sono mosse in quella direzione: nel luglio 2025 Cloudflare ha annunciato che stava cambiando la propria impostazione predefinita per bloccare i crawler IA.
Per assicurarci che non fossero errori occasionali, ne abbiamo interrogati di nuovo 150, una volta come browser e una volta come bot, a pochi secondi di distanza. 147 hanno rifiutato di nuovo il bot pur servendo il browser. Stavano dietro un mix di server e reti: nginx e Apache puri, Cloudflare, Akamai, Sucuri, CloudFront e LiteSpeed tra gli altri.
Contato in un modo o nell’altro, quasi ogni sito del campione può essere letto dai bot che mettono le pagine nelle risposte. Se un’azienda manca da ciò che dicono ChatGPT o Perplexity, una porta chiusa è raramente il motivo.
llms.txt: un sito su quattro, per lo più di default
llms.txt è un file di testo semplice che dice agli strumenti IA di cosa tratta un sito e dove sono le sue pagine chiave, proposto da Jeremy Howard nel settembre 2024. 6,068 dei 23,411 siti ne hanno uno: il 25.9%, e il 30.6% negli Stati Uniti contro il 23.9% in Europa. Per un formato proposto nel 2024, sembra un’adozione rapida. Le piattaforme raccontano un’altra storia.
| Piattaforma del sito | Siti | Hanno llms.txt |
|---|---|---|
| Shopify | 436 | 94.0% |
| Wix | 550 | 89.6% |
| Next.js | 1,000 | 36.2% |
| Webflow | 1,063 | 30.8% |
| WordPress | 12,644 | 25.1% |
| Framer | 78 | 19.2% |
| Squarespace | 1,270 | 9.3% |
Nove siti Wix o Shopify su dieci che hanno il file non sono nove proprietari su dieci che hanno deciso di scriverlo. Tassi così alti indicano che è la piattaforma a produrlo.
Per vedere cosa c’è nei file, ne abbiamo recuperati 397 a caso. Il 18.1% inizia dicendo di essere stato generato da Yoast SEO, l’8.6% da Rank Math e il 5.8% da All in One SEO, i tre grandi plugin SEO di WordPress, ciascuno dei quali ora offre di generare il file ( Yoast, Rank Math). Un altro 13.8% è su Shopify o Wix. Questo fa almeno il 46% prodotto da un plugin o da una piattaforma. Il resto non possiamo attribuirlo: molti sono chiaramente scritti per il sito, alcuni sembrano un riassunto generato senza dirlo.
Un file generato non è inutile. Di solito elenca le pagine principali del sito, che è il senso del formato. Ma significa che «ha un llms.txt» dice poco su se qualcuno nell’azienda abbia pensato a cosa legge uno strumento IA, e non è un segno di essere avanti. Se un assistente legga davvero il file quando risponde è una domanda separata, e non una che questo studio misura.
Dove i siti differiscono: dire chi sono
Quando un assistente legge il sito di un’azienda, l’aiuto più semplice è una pagina che dica cos’è l’azienda, cosa fa e dove. Due segnali economici di questo sono una meta description e un markup schema.org che identifica l’azienda come Organization o come uno dei tipi business (LocalBusiness, Dentist, LegalService e simili), che Google documenta per il proprio uso. Su tutti i siti:
- il 61.7% ha un markup Organization o di tipo business nella home page;
- il 24.8% non ha alcun dato strutturato nella home page;
- il 15.1% non ha una meta description;
- il 7.2% ha un markup FAQ;
- il 3.0% mostra meno di 300 caratteri di testo senza JavaScript, quindi un crawler che non esegue script vede una pagina quasi vuota;
- il 91.8% ha una sitemap.
Per settore, le differenze sono molto più grandi che nell’accesso dei bot, che resta tra l’1.6% e il 3.9% di chiusi ovunque:
| Settore | Siti | Markup Organization o business | Markup FAQ | llms.txt | Nessuna meta description | Chiuso alla ricerca di ChatGPT |
|---|---|---|---|---|---|---|
| Agenzie di marketing e SEO | 4,100 | 71.3% | 15.1% | 33.1% | 9.8% | 2.3% |
| Sviluppo software | 902 | 70.4% | 13.1% | 43.7% | 7.2% | 2.3% |
| Cliniche estetiche | 1,363 | 70.2% | 5.3% | 31.9% | 13.1% | 2.1% |
| Consulenza IT | 495 | 69.3% | 9.9% | 31.9% | 10.1% | 1.8% |
| Studi legali | 1,168 | 69.3% | 6.5% | 27.1% | 11.7% | 2.7% |
| Studi contabili | 567 | 68.1% | 5.8% | 27.5% | 8.6% | 3.4% |
| Installatori di impianti solari | 480 | 67.1% | 10.2% | 30.4% | 11.0% | 2.7% |
| Agenzie di traduzione | 519 | 65.9% | 9.1% | 26.2% | 9.4% | 2.7% |
| Cliniche dentistiche | 1,492 | 64.3% | 7.3% | 24.1% | 16.0% | 1.7% |
| Società di eventi | 763 | 62.6% | 7.3% | 22.8% | 12.3% | 2.0% |
| Spazi di coworking | 744 | 58.7% | 4.0% | 21.0% | 15.6% | 2.0% |
| Interior design | 419 | 57.8% | 2.1% | 19.1% | 18.4% | 1.9% |
| Produttori di cucine | 162 | 57.4% | 0.6% | 26.5% | 17.3% | 2.5% |
| Cliniche private | 1,250 | 56.6% | 5.3% | 20.9% | 20.1% | 2.0% |
| Arredamento | 1,657 | 56.0% | 2.8% | 30.8% | 15.1% | 2.7% |
| Agenzie di recruiting | 1,175 | 55.6% | 4.3% | 19.7% | 13.2% | 3.4% |
| Edilizia | 643 | 55.1% | 4.2% | 20.4% | 20.4% | 2.2% |
| Logistica | 626 | 54.3% | 7.5% | 20.9% | 20.6% | 3.8% |
| Agenzie immobiliari | 1,137 | 54.2% | 4.0% | 22.3% | 19.1% | 3.9% |
| Scuole di lingue | 1,110 | 53.0% | 5.4% | 20.4% | 19.2% | 3.6% |
| Location per matrimoni | 1,608 | 51.2% | 3.3% | 18.0% | 22.5% | 1.6% |
| Studi di architettura | 1,031 | 47.9% | 1.3% | 11.8% | 27.9% | 3.1% |
Lo schema è chiaro. Le aziende i cui siti sono costruiti da chi lavora sul web, agenzie, software house, consulenze IT, fanno le basi più spesso. Le aziende che vendono qualcosa di fisico o locale, location, architetti, costruttori, scuole di lingue, le fanno meno. Più di un quarto delle home page degli studi di architettura non ha una meta description.
Tra i paesi le differenze sono piccole. La quota con markup business va dal 46.8% in Cechia al 68.6% in Spagna, e ogni paese è tra l’1.1% e il 4.8% di chiusi alla ricerca di ChatGPT.
Le agenzie che vendono la ricerca IA, sui propri siti
898 delle 4,100 agenzie menzionano la ricerca IA nella home page: GEO, visibilità IA, answer engine, AI Overviews o simili. Abbiamo confrontato i loro siti con quelli delle altre 3,202 agenzie.
| Sito dell’agenzia | Menziona la ricerca IA | Non la menziona |
|---|---|---|
| Ha llms.txt | 55.1% | 26.9% |
| Markup Organization o business | 86.4% | 67.1% |
| Markup FAQ | 31.2% | 10.6% |
| Nessuna meta description | 3.5% | 11.5% |
| Meno di 300 caratteri senza JavaScript | 0.3% | 5.0% |
| Chiuso alla ricerca di ChatGPT | 2.1% | 2.4% |
Le agenzie che vendono il lavoro lo fanno sui propri siti: il doppio di llms.txt, il triplo di markup FAQ, molte meno pagine senza descrizione. Sull’accesso sono uguali a tutti gli altri, perché quasi tutti sono già aperti: non c’era nulla su cui essere avanti.
Cosa controllare sul tuo sito
Se i numeri qui sopra valgono per il tuo settore, l’ordine dei controlli è più o meno questo.
- Interroga il tuo server come il bot. Richiedi la tua home page come OAI-SearchBot, ChatGPT-User e PerplexityBot, e confronta con un browser. La nostra verifica gratuita dei crawler IA lo fa insieme a robots.txt e llms.txt, e non salva nulla. Se viene rifiutato qualcosa che il robots.txt ammette, guarda le impostazioni anti-bot della tua CDN e il tuo plugin di sicurezza prima di ogni altra cosa.
- Decidi addestramento e ricerca separatamente. Tenere le tue pagine fuori dall’addestramento dei modelli non richiede di tenerle fuori dalle risposte. Se escludi bot nel robots.txt, controlla di escludere quelli che intendevi. Le nostre note sui crawler IA elencano quale è quale.
- Leggi il tuo llms.txt, se l’ha fatto un plugin. È la descrizione del tuo sito per uno strumento IA. Se elenca la tua cookie policy e nessuno dei tuoi servizi, non sta facendo il suo lavoro.
- Di’ chi sei, nella pagina. Una meta description, un markup Organization o business con il tuo nome, l’indirizzo e cosa fai, e una home page il cui testo è presente senza JavaScript. Nulla di tutto questo è nuovo; un quarto dei siti ancora lo salta.
Nessuno di questi controlli ti dice se un assistente ti cita davvero quando un acquirente chiede. Un sito può essere aperto, con markup e ben descritto e restare comunque non menzionato, perché le risposte sono costruite da molto più di un sito. L’unico modo per saperlo è porre agli assistenti le domande che fanno i tuoi acquirenti, più di una volta, e contare. È ciò che Teddit misura.
Cosa i dati non mostrano
- Il campione è fatto di aziende con una scheda su Google Maps e un sito in 33 grandi città. Le aziende delle piccole città, le grandi imprese e i siti senza presenza su Maps sono sottorappresentati o assenti.
- Abbiamo letto solo la home page. Dati strutturati, testo e descrizioni delle altre pagine non sono contati, e JSON-LD è l’unico markup che leggiamo; microdata e RDFa no.
- La verifica del firewall ha usato il nome del bot dal nostro indirizzo, non il bot stesso; vedi la nota qui sopra.
- L’attribuzione degli llms.txt viene da un campione casuale di 397 file, e conta solo ciò che un file o la sua piattaforma rende evidente. La vera quota fatta da strumenti è più alta del 46%, non più bassa.
- È un momento, ottobre 2026. Le impostazioni predefinite per i bot di CDN e plugin cambiano, e così faranno questi numeri.
Se vuoi citare i numeri, il CSV contiene ogni aggregato di questo articolo. Domande o correzioni: hello@teddit.io.
Fonti
- Overview of OpenAI crawlers, OpenAI: OAI-SearchBot, ChatGPT-User e GPTBot.
- Does Anthropic crawl data from the web, Anthropic: ClaudeBot, Claude-User e Claude-SearchBot.
- Google’s common crawlers, Google: Google-Extended.
- Perplexity crawlers, Perplexity: PerplexityBot e Perplexity-User.
- About Applebot, Apple: Applebot-Extended.
- CCBot, Common Crawl.
- RFC 9309: Robots Exclusion Protocol, IETF.
- The /llms.txt file, Jeremy Howard.
- The rise of the AI crawler, Vercel.
- Content Independence Day: no AI crawl without compensation, Cloudflare.
- Organization structured data e control your snippets in search results, Google Search Central.