ChatGPT, Claude e Perplexity possono leggere il tuo sito?
Inserisci un sito. Leggiamo il suo robots.txt per 13 crawler IA, richiediamo la home page come browser e come crawler di ricerca degli assistenti, e mostriamo cosa trova un crawler che non esegue JavaScript. Nulla viene salvato.
I crawler IA letti da questa verifica
Ogni operatore pubblica i nomi dei suoi crawler. Hanno compiti diversi, e chiuderne uno ha ogni volta un effetto diverso.
| Crawler | Operatore | Compito | Cosa fa |
|---|---|---|---|
OAI-SearchBot | OpenAI | Indice di ricerca | Mantiene l’indice da cui risponde la ricerca di ChatGPT. |
ChatGPT-User | OpenAI | Recupera per un utente | Apre una pagina quando qualcuno ne chiede a ChatGPT. |
GPTBot | OpenAI | Addestramento dei modelli | Raccoglie pagine per addestrare i modelli di OpenAI. |
Claude-SearchBot | Anthropic | Indice di ricerca | Mantiene l’indice da cui risponde la ricerca web di Claude. |
Claude-User | Anthropic | Recupera per un utente | Apre una pagina quando qualcuno ne chiede a Claude. |
ClaudeBot | Anthropic | Addestramento dei modelli | Raccoglie pagine per addestrare i modelli di Anthropic. |
PerplexityBot | Perplexity | Indice di ricerca | Mantiene l’indice da cui risponde Perplexity. |
Perplexity-User | Perplexity | Recupera per un utente | Apre una pagina quando qualcuno ne chiede a Perplexity. |
Googlebot | Indice di ricerca | Il crawler di Ricerca Google; Gemini e AI Overviews rispondono dal suo indice. | |
Google-Extended | Addestramento dei modelli | Decide se Google può usare le pagine per addestrare Gemini. | |
Applebot-Extended | Apple | Addestramento dei modelli | Decide se Apple può usare le pagine per addestrare i suoi modelli. |
Meta-ExternalAgent | Meta | Addestramento dei modelli | Raccoglie pagine per addestrare i modelli di Meta. |
CCBot | Common Crawl | Addestramento dei modelli | Costruisce l’archivio aperto del web su cui sono addestrati molti modelli. |
Domande
Qual è la differenza tra OAI-SearchBot e GPTBot?
OAI-SearchBot mantiene l’indice da cui risponde la ricerca di ChatGPT; GPTBot raccoglie pagine per addestrare i modelli di OpenAI. Bloccare GPTBot tiene le tue pagine fuori dall’addestramento senza toglierti dalla ricerca di ChatGPT; bloccare OAI-SearchBot sì.
Bloccare Google-Extended toglie un sito dalle AI Overviews?
No. Google-Extended decide solo se Google può usare le pagine per addestrare Gemini. AI Overviews e AI Mode rispondono dall’indice di Ricerca Google, mantenuto da Googlebot.
Il mio robots.txt ammette i crawler, ma la verifica mostra un rifiuto. Perché?
Un firewall o un servizio anti-bot può respingere le richieste che si presentano come crawler IA, qualunque cosa dica il robots.txt. I veri crawler arrivano dagli indirizzi pubblicati dai loro operatori, che questa verifica non può usare; un rifiuto qui è un segnale per guardare le impostazioni del firewall, non una prova.
Perché conta il testo senza JavaScript?
Molti crawler IA leggono l’HTML come lo invia il server e non eseguono JavaScript. Una pagina che si riempie solo dopo l’esecuzione degli script può sembrare loro quasi vuota.
Il llms.txt fa raccomandare un sito agli assistenti?
Non ci sono prove pubblicate che gli assistenti usino il llms.txt per scegliere cosa raccomandare. La verifica mostra se ne hai uno; è al massimo un piccolo segnale.
Teddit esegue questa verifica ogni giorno per i siti che traccia; vedi i crawler IA nella documentazione. Per vedere cosa dicono di te gli assistenti, prova la verifica gratuita della visibilità o vedi quanto costa il monitoraggio.