KI-Crawler-Zugang
Ein Assistent kann nur aus Seiten antworten, die sein Crawler lesen darf. Teddit liest Ihre robots.txt jede Nacht und zeigt für jeden KI-Crawler, ob er Ihre Website lesen darf und welche Zeile der Datei das entscheidet.
Wo Sie es finden
Unten auf Seiten, unter KI-Crawler-Zugang: eine Zeile pro KI-Crawler, mit seinem Zugang und der Zeile der robots.txt, die ihn entscheidet.
Eine neue Site wird geprüft, sobald sie angelegt ist, danach jede Nacht um 04:30 UTC. Jetzt prüfen liest die Dateien sofort erneut (Rolle Member und höher). Über MCP: get_crawler_access.
Jede Website lässt sich einmal, ohne Konto, mit dem kostenlosen KI-Crawler-Check prüfen.
Die Crawler
Jeder Betreiber führt mehrere Crawler, und sie tun verschiedene Dinge. Einen zu sperren sperrt die anderen nicht.
| Crawler | Betreiber | Art | Was er tut |
|---|---|---|---|
OAI-SearchBot | OpenAI | Search index | Keeps the index ChatGPT search answers from. |
ChatGPT-User | OpenAI | Fetches for a user | Opens a page when someone asks ChatGPT about it. |
GPTBot | OpenAI | Model training | Collects pages to train OpenAI’s models. |
Claude-SearchBot | Anthropic | Search index | Keeps the index Claude’s web search answers from. |
Claude-User | Anthropic | Fetches for a user | Opens a page when someone asks Claude about it. |
ClaudeBot | Anthropic | Model training | Collects pages to train Anthropic’s models. |
PerplexityBot | Perplexity | Search index | Keeps the index Perplexity answers from. |
Perplexity-User | Perplexity | Fetches for a user | Opens a page when someone asks Perplexity about it. |
Googlebot | Search index | Google Search’s crawler; Gemini and AI Overviews answer from its index. | |
Google-Extended | Model training | Decides whether Google may use the pages to train Gemini. | |
Applebot-Extended | Apple | Model training | Decides whether Apple may use the pages to train its models. |
Meta-ExternalAgent | Meta | Model training | Collects pages to train Meta’s models. |
CCBot | Common Crawl | Model training | Builds the open web archive many models are trained on. |
- Suchindex-Crawler pflegen den Index, den ein Assistent beim Antworten durchsucht. Sie zu sperren nimmt Ihre Seiten aus diesen Antworten heraus.
- Ruft für einen Nutzer ab: öffnet eine Seite, weil eine Person den Assistenten danach gefragt hat.
- Modelltraining entscheidet, ob Ihre Seiten zum Training künftiger Modelle verwendet werden dürfen. Es ändert nicht, was ein Assistent heute beim Suchen findet.
Wie der Zugang entschieden wird
Teddit liest die Datei so, wie es der robots.txt-Standard (RFC 9309) von Crawlern verlangt:
- Die Regeln, die für einen Crawler namentlich geschrieben sind, gelten für ihn; die Gruppe
User-agent: *gilt nur für einen Crawler, den keine Gruppe nennt. - Gar keine robots.txt (die Website antwortet 404) bedeutet, dass jeder Crawler alles lesen darf.
- Eine robots.txt, die nicht gelesen werden kann (keine Antwort oder ein Serverfehler), bedeutet, dass der Zugang Unbekannt ist.
| Zugang | Bedeutung |
|---|---|
| Erlaubt | Keine Regel sperrt diesem Crawler etwas. |
| Einige Pfade gesperrt | Die Startseite ist offen, aber mindestens eine Regel sperrt einige Adressen (oft /wp-admin/). Die gezeigte Zeile ist die erste solche Regel. |
| Gesperrt | Die Startseite ist für diesen Crawler gesperrt. Die gezeigte Zeile ist die Regel, die sie sperrt. |
| Unbekannt | robots.txt konnte bei der letzten Prüfung nicht gelesen werden. |
User-agent: GPTBot Disallow: / # GPTBot: Blocked, line 2 User-agent: * Disallow: /wp-admin/ # every other crawler: Some paths closed, line 5
Wenn sich der Zugang eines Crawlers seit der Prüfung davor geändert hat, sagt die Tabelle, was er war („war erlaubt“). Jede Prüfung wird aufbewahrt, sodass die Historie Ihrer Datei zum Nachlesen da ist.
llms.txt
Teddit sucht auch nach /llms.txt, einer Zusammenfassung einer Website im Klartext, die manche KI-Tools lesen. Sie gilt als gefunden, wenn die Adresse mit Text antwortet; eine Website, die auf jede Adresse mit ihrer HTML-Seite antwortet, zählt nicht als eine, die eine hat.
TedditBot zu erkennen, wenn es diese beiden Dateien liest. Für diese Prüfung liest es sonst nichts auf Ihrer Website.