Können ChatGPT, Claude und Perplexity Ihre Website lesen?
Geben Sie eine Website ein. Wir lesen ihre robots.txt für 13 KI-Crawler, rufen die Startseite als Browser und als Such-Crawler der Assistenten ab und zeigen, was ein Crawler ohne JavaScript dort findet. Nichts wird gespeichert.
Die KI-Crawler, die dieser Check liest
Jeder Betreiber veröffentlicht die Namen seiner Crawler. Sie haben verschiedene Aufgaben, und jeden zu sperren hat eine andere Wirkung.
| Crawler | Betreiber | Aufgabe | Was er tut |
|---|---|---|---|
OAI-SearchBot | OpenAI | Suchindex | Pflegt den Index, aus dem die ChatGPT-Suche antwortet. |
ChatGPT-User | OpenAI | Ruft für einen Nutzer ab | Öffnet eine Seite, wenn jemand ChatGPT danach fragt. |
GPTBot | OpenAI | Modelltraining | Sammelt Seiten zum Training der OpenAI-Modelle. |
Claude-SearchBot | Anthropic | Suchindex | Pflegt den Index, aus dem Claudes Websuche antwortet. |
Claude-User | Anthropic | Ruft für einen Nutzer ab | Öffnet eine Seite, wenn jemand Claude danach fragt. |
ClaudeBot | Anthropic | Modelltraining | Sammelt Seiten zum Training der Anthropic-Modelle. |
PerplexityBot | Perplexity | Suchindex | Pflegt den Index, aus dem Perplexity antwortet. |
Perplexity-User | Perplexity | Ruft für einen Nutzer ab | Öffnet eine Seite, wenn jemand Perplexity danach fragt. |
Googlebot | Suchindex | Der Crawler der Google-Suche; Gemini und AI Overviews antworten aus seinem Index. | |
Google-Extended | Modelltraining | Entscheidet, ob Google die Seiten zum Training von Gemini nutzen darf. | |
Applebot-Extended | Apple | Modelltraining | Entscheidet, ob Apple die Seiten zum Training seiner Modelle nutzen darf. |
Meta-ExternalAgent | Meta | Modelltraining | Sammelt Seiten zum Training der Meta-Modelle. |
CCBot | Common Crawl | Modelltraining | Baut das offene Webarchiv, auf dem viele Modelle trainiert werden. |
Fragen
Was ist der Unterschied zwischen OAI-SearchBot und GPTBot?
OAI-SearchBot pflegt den Index, aus dem die ChatGPT-Suche antwortet; GPTBot sammelt Seiten zum Training der OpenAI-Modelle. GPTBot zu sperren hält Ihre Seiten aus dem Training heraus und entfernt Sie nicht aus der ChatGPT-Suche; OAI-SearchBot zu sperren schon.
Entfernt das Sperren von Google-Extended eine Website aus AI Overviews?
Nein. Google-Extended entscheidet nur, ob Google die Seiten zum Training von Gemini nutzen darf. AI Overviews und AI Mode antworten aus dem Index der Google-Suche, den Googlebot pflegt.
Meine robots.txt erlaubt die Crawler, aber der Check zeigt eine Abweisung. Warum?
Eine Firewall oder ein Bot-Schutz kann Anfragen abweisen, die einen KI-Crawler nennen, egal was robots.txt sagt. Echte Crawler kommen von den veröffentlichten Adressen ihrer Betreiber, die dieser Check nicht nutzen kann; eine Abweisung hier ist ein Hinweis, die Firewall-Einstellungen anzusehen, kein Beweis.
Warum ist Text ohne JavaScript wichtig?
Viele KI-Crawler lesen das HTML, wie der Server es sendet, und führen kein JavaScript aus. Eine Seite, die sich erst nach Skripten füllt, kann für sie fast leer aussehen.
Bringt llms.txt Assistenten dazu, eine Website zu empfehlen?
Es gibt keinen veröffentlichten Beleg, dass die Assistenten llms.txt für ihre Empfehlungen nutzen. Der Check zeigt, ob Sie eine haben; es ist höchstens ein kleines Signal.
Teddit führt diesen Check täglich für die verfolgten Sites aus; siehe KI-Crawler in der Doku. Um zu sehen, was die Assistenten über Sie sagen, probieren Sie den kostenlosen Sichtbarkeits-Check oder sehen Sie, was das Tracking kostet.