GPTBot oder OAI-SearchBot: welche KI-Crawler Sie in der robots.txt sperren sollten

Zwei Entscheidungen, nicht eine

Die robots.txt beantwortet für ein KI-Unternehmen zwei getrennte Fragen, und jedes Unternehmen stellt sie mit verschiedenen Crawlern:

• Dürfen meine Seiten zum Training Ihrer Modelle verwendet werden? Das sind GPTBot, ClaudeBot, Google-Extended, Applebot-Extended und, indirekt, CCBot. Ein Nein hält künftige Inhalte aus Trainingsdaten heraus. Es ändert nichts daran, was ein Assistent findet, wenn er heute sucht.
• Darf Ihr Assistent meine Seiten finden und zitieren, wenn jemand fragt? Das sind OAI-SearchBot, Claude-SearchBot und PerplexityBot, dazu die Abrufer, die eine Seite für eine Person öffnen (ChatGPT-User, Claude-User, Perplexity-User). Ein Nein an die Such-Crawler nimmt die Website aus den Antworten.

Die meisten Unternehmen wollen in den Antworten vorkommen, denn dort fragen Käufer heute nach Empfehlungen. Ob Seiten fürs Training freigegeben werden, entscheidet jede Website selbst. Beides lässt sich unabhängig einstellen, und OpenAI sagt es ausdrücklich: Jede Einstellung ist unabhängig von den anderen.

OpenAI: GPTBot, OAI-SearchBot und ChatGPT-User

GPTBot ist der Trainings-Crawler von OpenAI. Ihn auszuschließen bedeutet laut OpenAI, dass die Inhalte einer Website nicht zum Training generativer KI-Basismodelle verwendet werden sollen (OpenAI).

OAI-SearchBot ist der, auf den es für die Antworten von ChatGPT ankommt. OpenAI schreibt, dass Websites, die OAI-SearchBot ausschließen, nicht in den Suchantworten von ChatGPT gezeigt werden, auch wenn sie weiterhin als Navigationslinks erscheinen können, und empfiehlt, den Bot zuzulassen. Eine Änderung der robots.txt braucht etwa 24 Stunden, bis sie bei OpenAI ankommt.

ChatGPT-User ist kein Crawler im üblichen Sinn. Er ruft Seiten für Aktionen ab, die ein Nutzer in ChatGPT oder einem eigenen GPT startet, durchsucht das Web nicht automatisch, und weil eine Person gefragt hat, gelten robots.txt-Regeln für ihn möglicherweise nicht. OpenAI sagt außerdem, dass ChatGPT-User nicht darüber entscheidet, ob Inhalte in der Suche erscheinen dürfen: Das regelt OAI-SearchBot.

Anthropic: ClaudeBot, Claude-SearchBot und Claude-User

Anthropic beschreibt drei Agenten auf einer Seite (Anthropic):

• ClaudeBot sammelt Webinhalte, die zum Training verwendet werden können. Ihn einzuschränken signalisiert, dass künftige Inhalte der Website aus Trainingsdaten ausgeschlossen werden sollen.
• Claude-SearchBot durchsucht das Web, um die Qualität der Suchergebnisse für Claude-Nutzer zu verbessern. Ihn zu sperren verhindert, dass Ihre Inhalte für die Suche indexiert werden, was laut Anthropic die Sichtbarkeit Ihrer Website in den Suchergebnissen verringern kann.
• Claude-User öffnet Seiten, wenn eine Person Claude eine Frage stellt. Ihn zu sperren verhindert, dass Claude Ihre Inhalte als Antwort auf eine Nutzeranfrage abruft.

Laut Anthropic halten sich seine Bots an die robots.txt und die nicht standardisierte Erweiterung Crawl-delay; eine Sperre seiner IP-Adressen funktioniere möglicherweise nicht zuverlässig, daher ist die robots.txt der richtige Weg. Der Ausschluss muss auch auf jeder Subdomain gesetzt werden.

Perplexity: PerplexityBot und Perplexity-User

PerplexityBot zeigt und verlinkt Websites in den Suchergebnissen von Perplexity, und Perplexity erklärt, dass er nicht zum Sammeln von Inhalten für KI-Basismodelle dient (Perplexity). Einen Trainingsgrund, ihn zu sperren, gibt es also nicht: Eine Sperre nimmt die Website nur aus dem Ort, an dem Perplexity nach Antworten sucht. Perplexity empfiehlt, ihn in der robots.txt zuzulassen und Anfragen aus seinen veröffentlichten IP-Bereichen zu erlauben.

Perplexity-User ruft eine Seite ab, wenn ein Nutzer eine Frage stellt, und kann sie in der Antwort verlinken. Da ein Nutzer den Abruf angefordert hat, ignoriert er robots.txt-Regeln laut Perplexity in der Regel. Zum Training wird auch er nicht verwendet.

Google und Apple: die „-Extended“-Tokens

Google-Extended ist gar kein Crawler. Er hat keinen eigenen User-Agent: Google crawlt mit seinen üblichen Agenten, und das Token in der robots.txt steuert nur die Nutzung. Es entscheidet, ob Inhalte zum Training der Gemini-Modelle und für das Grounding in Gemini Apps und auf Vertex AI verwendet werden dürfen. Google erklärt, dass es die Aufnahme in die Google-Suche nicht beeinflusst und kein Ranking-Signal ist (Google).

Was Google-Extended nicht steuert, sind AI Overviews und AI Mode. Sie gehören zur Suche, und laut Google gilt für sie die übliche Steuerung: robots.txt-Regeln für Googlebot sowie nosnippet, data-nosnippet, max-snippet oder noindex, um zu begrenzen, was gezeigt wird. Weitere technische Voraussetzungen, um dort zu erscheinen, gibt es nicht (Google Search Central). Mit der robots.txt allein kann man also nicht in der Google-Suche bleiben und zugleich aus den AI Overviews herausfallen, und wer Googlebot sperrt, um AI Overviews zu vermeiden, verschwindet aus der Google-Suche.

Applebot-Extended funktioniert genauso. Er crawlt keine Seiten; er entscheidet, ob das, was Applebot gesammelt hat, zum Training der Basismodelle von Apple verwendet werden darf. Seiten, die ihn ausschließen, können weiterhin in Suchergebnissen in Spotlight, Siri und Safari erscheinen, und die Regel wird nicht fürs Ranking verwendet (Apple).

CCBot baut das offene Webarchiv von Common Crawl auf (Common Crawl). Common Crawl beschreibt ihn nicht als KI-Crawler, aber das Archiv steht allen offen, und in unserer Studie war CCBot der Bot, den Websites am häufigsten namentlich ausschlossen.

robots.txt zum Kopieren

In den Antworten, raus aus dem Training. Die Einstellung, die die meisten Unternehmen wollen, denen das Training wichtig ist. Such- und Nutzer-Crawler werden nicht genannt, also lässt die Gruppe * sie herein; die Trainings-Tokens sind gesperrt:

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: CCBot
Disallow: /

User-agent: *
Disallow: /admin/

Mehrere User-agent-Zeilen können sich eine Regelgruppe teilen, das erlaubt der robots.txt-Standard (RFC 9309).

Offen für alles. Wenn Ihre Seiten auch fürs Training verwendet werden dürfen, brauchen Sie keine KI-spezifischen Zeilen. Eine schlichte Datei genügt:

User-agent: *
Disallow: /admin/

Sitemap: https://www.example.com/sitemap.xml

Raus aus KI-Assistenten, drin in der Google-Suche. Möglich, aber mit Preis: Die Website verschwindet aus den Antworten von ChatGPT, Claude und Perplexity. AI Overviews und AI Mode von Google lassen sich so nicht schließen, da sie Googlebot folgen.

User-agent: GPTBot
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: ClaudeBot
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: CCBot
Disallow: /

User-agent: *
Disallow: /admin/

Die Nutzer-Abrufer (ChatGPT-User, Perplexity-User) folgen der Datei laut ihren Betreibern möglicherweise nicht; auch das garantiert also nicht, dass eine Seite nie für einen Nutzer geöffnet wird.

Fehler, die die Tür versehentlich schließen

• Eine benannte Gruppe ersetzt die allgemeine. Laut Standard befolgt ein Crawler, der eine Gruppe mit seinem eigenen Namen findet, nur diese und überspringt die Gruppe *. Fügen Sie eine Gruppe User-agent: OAI-SearchBot mit einer einzigen Regel hinzu, gelten Ihre übrigen Regeln für diesen Bot nicht mehr. Wiederholen Sie in der benannten Gruppe alles, was weiter gelten soll.
• Eine robots.txt, die einen Fehler liefert. Antwortet die Datei mit einem 5xx-Serverfehler, sollen Crawler laut Standard annehmen, dass alles gesperrt ist. Ein 404 bedeutet das Gegenteil: Alles ist erlaubt (RFC 9309).
• Die Firewall sagt Nein, wo die robots.txt Ja sagt. Ein Bot-Schutz im CDN oder beim Hoster kann Agenten abweisen, die er nicht kennt. In unserer Prüfung von 23.411 Unternehmenswebsites waren 2,5 % für die Suche von ChatGPT geschlossen, und 407 Websites wiesen eine Anfrage ab, die sich als OAI-SearchBot ausgab, während sie dieselbe Seite einem Browser auslieferten. Bei 396 davon erlaubte die robots.txt den Bot.
• Den Such-Bot sperren, um das Training zu stoppen. In derselben Studie nannten Websites die Trainings-Bots weit häufiger als die Such-Bots: GPTBot war auf 1,17 % der Websites namentlich ausgeschlossen, OAI-SearchBot auf 0,11 %. Die meisten Websites, die überhaupt Bots nennen, machen den Unterschied; prüfen Sie, ob Ihre es tut.
• Subdomains vergessen. Die robots.txt gilt für einen Host. Ein Blog auf blog.example.com oder Dokumentation auf docs.example.com braucht eine eigene Datei.

Prüfen, was Ihre Website wirklich sagt

Unser kostenloser KI-Crawler-Check liest Ihre robots.txt so, wie der Standard es von Crawlern verlangt, zeigt das Ergebnis für jeden der oben genannten Crawler samt der entscheidenden Zeile und ruft Ihre Startseite als OAI-SearchBot, Claude-SearchBot und PerplexityBot ab, um eine Firewall zu erkennen, die sie abweist. Er braucht kein Konto und speichert nichts.

In Teddit wird die robots.txt jeder verfolgten Website jede Nacht gelesen, und wenn sich der Zugang eines Crawlers ändert, zeigt die Tabelle, wie er vorher war (KI-Crawler-Zugang). Der Zugang ist allerdings nur die Tür: Ob ein Assistent Sie dann nennt, ist eine andere Frage; ihr geht der Artikel Wie ein KI-Assistent entscheidet, welche Marken er nennt nach.

Quellen

• Overview of OpenAI crawlers, OpenAI: GPTBot, OAI-SearchBot und ChatGPT-User.
• Does Anthropic crawl data from the web, and how can site owners block the crawler?, Anthropic: ClaudeBot, Claude-SearchBot und Claude-User.
• Perplexity crawlers, Perplexity: PerplexityBot und Perplexity-User.
• Google’s common crawlers, Google: Google-Extended.
• AI features and your website, Google Search Central: AI Overviews und AI Mode.
• About Applebot, Apple: Applebot und Applebot-Extended.
• CCBot, Common Crawl.
• RFC 9309: Robots Exclusion Protocol, IETF.