Accesso dei crawler IA
Un assistente può rispondere solo dalle pagine che il suo crawler può leggere. Teddit legge il tuo robots.txt ogni notte e mostra, per ogni crawler IA, se può leggere il tuo sito e quale riga del file lo decide.
Dove trovarlo
In fondo a Pagine, sotto Accesso dei crawler IA: una riga per crawler IA, con il suo accesso e la riga del robots.txt che lo decide.
Un nuovo sito viene verificato non appena viene aggiunto, poi ogni notte alle 04:30 UTC. Verifica ora rilegge subito i file (ruolo Member e superiori). Tramite MCP: get_crawler_access.
Qualsiasi sito può essere verificato una volta, senza account, con la Verifica dei crawler IA gratuita.
I crawler
Ogni operatore gestisce più crawler, e fanno cose diverse. Bloccarne uno non blocca gli altri.
| Crawler | Operatore | Tipo | Cosa fa |
|---|---|---|---|
OAI-SearchBot | OpenAI | Search index | Keeps the index ChatGPT search answers from. |
ChatGPT-User | OpenAI | Fetches for a user | Opens a page when someone asks ChatGPT about it. |
GPTBot | OpenAI | Model training | Collects pages to train OpenAI’s models. |
Claude-SearchBot | Anthropic | Search index | Keeps the index Claude’s web search answers from. |
Claude-User | Anthropic | Fetches for a user | Opens a page when someone asks Claude about it. |
ClaudeBot | Anthropic | Model training | Collects pages to train Anthropic’s models. |
PerplexityBot | Perplexity | Search index | Keeps the index Perplexity answers from. |
Perplexity-User | Perplexity | Fetches for a user | Opens a page when someone asks Perplexity about it. |
Googlebot | Search index | Google Search’s crawler; Gemini and AI Overviews answer from its index. | |
Google-Extended | Model training | Decides whether Google may use the pages to train Gemini. | |
Applebot-Extended | Apple | Model training | Decides whether Apple may use the pages to train its models. |
Meta-ExternalAgent | Meta | Model training | Collects pages to train Meta’s models. |
CCBot | Common Crawl | Model training | Builds the open web archive many models are trained on. |
- I crawler di tipo Indice di ricerca mantengono l’indice in cui un assistente cerca quando risponde. Bloccarli toglie le tue pagine da quelle risposte.
- Recupera per un utente apre una pagina perché una persona ha chiesto all’assistente di essa.
- Addestramento dei modelli decide se le tue pagine possono essere usate per addestrare i modelli futuri. Non cambia ciò che un assistente trova quando cerca oggi.
Come viene deciso l’accesso
Teddit legge il file come lo standard robots.txt (RFC 9309) dice che i crawler devono fare:
- Le regole scritte per un crawler per nome valgono per lui; il gruppo
User-agent: *vale solo per un crawler che nessun gruppo nomina. - Nessun robots.txt (il sito risponde 404) significa che ogni crawler può leggere tutto.
- Un robots.txt che non si può leggere (nessuna risposta, o un errore del server) significa che l’accesso è Sconosciuto.
| Accesso | Significato |
|---|---|
| Ammesso | Nessuna regola chiude qualcosa a questo crawler. |
| Alcuni percorsi chiusi | La home page è aperta, ma almeno una regola chiude alcuni indirizzi (spesso /wp-admin/). La riga mostrata è la prima regola di questo tipo. |
| Bloccato | La home page è chiusa a questo crawler. La riga mostrata è la regola che la chiude. |
| Sconosciuto | Il robots.txt non si è potuto leggere all’ultima verifica. |
User-agent: GPTBot Disallow: / # GPTBot: Blocked, line 2 User-agent: * Disallow: /wp-admin/ # every other crawler: Some paths closed, line 5
Quando l’accesso di un crawler è cambiato rispetto alla verifica precedente, la tabella dice com’era (“era ammesso”). Ogni verifica viene conservata, quindi lo storico del tuo file è lì da leggere.
llms.txt
Teddit cerca anche /llms.txt, un riepilogo in testo semplice di un sito che alcuni strumenti IA leggono. Viene riportato come trovato quando l’indirizzo risponde con testo; un sito che risponde a ogni indirizzo con la sua pagina HTML non conta come se ne avesse uno.
TedditBot quando legge questi due file. Per questa verifica non legge nient’altro sul tuo sito.