Die Kurzfassung
- Der Zugang ist nicht das Problem. 97,5 % der Websites beantworteten eine Anfrage des Such-Bots von ChatGPT und sperrten ihn in der robots.txt nicht aus. Nur 2,1 % nennen überhaupt einen KI-Bot in der robots.txt, und die meisten davon sperren die Bots aus, die Trainingsdaten sammeln, nicht die, die Seiten abrufen, um eine Frage zu beantworten.
- Die gesperrten Websites haben das meist nicht gewählt. 1,7 % der Websites wiesen eine Anfrage ab, die sich als Such-Bot von ChatGPT ausgab, während sie dieselbe Seite einem Browser auslieferten. Bei 396 dieser 407 sagte die robots.txt nichts gegen den Bot. Eine Firewall, ein Hoster oder ein Sicherheits-Plugin hat es getan.
- llms.txt ist verbreitet, und meist automatisch. 25,9 % der Websites haben eine. 89,6 % der Wix-Sites und 94,0 % der Shopify-Sites, gegen 9,3 % auf Squarespace. In einer Stichprobe von 397 Dateien waren mindestens 46 % als von einem SEO-Plugin erzeugt gekennzeichnet oder stammten von einer dieser beiden Plattformen.
- Wo sich Websites unterscheiden: sagen, wer sie sind. 24,8 % haben überhaupt keine strukturierten Daten auf der Startseite und 15,1 % keine Meta-Description. Nach Branche reicht der Anteil mit Organization- oder Business-Markup von 71,3 % bei Marketingagenturen bis 47,9 % bei Architekturbüros.
- Agenturen, die KI-Suche verkaufen, machen die Markup-Arbeit auf ihren eigenen Websites. Für KI-Bots sind sie nicht offener als andere Agenturen, weil fast alle es schon sind.
Was wir geprüft haben
Die Websites gehören Unternehmen, die auf Google Maps in 33 großen Städten gelistet sind: 23 in 18 europäischen Ländern und 10 in den USA. 4.100 sind Marketing- und SEO-Agenturen; 19.311 sind Unternehmen in 21 anderen Branchen, von Anwaltskanzleien und Zahnarztpraxen bis zu Hochzeitslocations und Logistik. Wir haben jede Website behalten, deren Startseite normal antwortete, 23.411 insgesamt. 16.272 sind in Europa und 7.139 in den USA. Die Prüfungen liefen im Oktober 2026. Wir nennen hier keine Website.
Für jede Website haben wir gelesen, was der Crawler eines KI-Assistenten lesen würde, ohne JavaScript auszuführen. Als Vercel Ende 2024 KI-Crawler gemessen hat, führte keiner der großen es aus.
- die Startseite, wie sie ausgeliefert wird: ihren Text, Titel, die Meta-Description und die schema.org-Typen in ihrem JSON-LD;
- die robots.txt, die Datei des Robots Exclusion Protocol, und welche KI-Bots sie von der ganzen Website aussperrt;
/llms.txt(der Vorschlag), nur gezählt, wenn sie mit Text antwortet statt mit einer HTML-Seite;- eine Sitemap, aus der robots.txt oder unter
/sitemap.xml; - die Startseite noch einmal, angefragt mit dem User-Agent von OAI-SearchBot, dem Bot, den OpenAI für die Suche von ChatGPT nutzt.
Die Stichprobe ist nicht das ganze Web. Es sind Unternehmen mit einem Maps-Eintrag und einer Website in großen Städten, und die Startseite ist nur eine Seite. Die zusammengefassten Zahlen nach Branche, Land und Site-Plattform stehen in einer CSV-Datei für alle, die damit arbeiten wollen.
Zugang: fast alle lassen KI herein
| Was die Website tut | Websites | Anteil |
|---|---|---|
| Nennt mindestens einen KI-Bot, oder jeden Bot, als in der robots.txt ausgesperrt | 491 | 2,1 % |
| …davon nur Trainings-Bots, antwortende Bots erlaubt | 298 | 1,3 % |
| Sperrt jeden Bot in der robots.txt aus | 112 | 0,5 % |
| Weist eine Anfrage als Such-Bot von ChatGPT ab, beliefert einen Browser | 407 | 1,7 % |
| Für die Suche von ChatGPT gesperrt, auf einem der beiden Wege | 589 | 2,5 % |
KI-Unternehmen betreiben zwei Arten von Bots, und jedes dokumentiert seine eigenen: OpenAI, Anthropic, Google, Perplexity, Apple und Common Crawl. Trainings-Bots wie GPTBot, ClaudeBot, Google-Extended, Applebot-Extended und CCBot sammeln Seiten, um Modelle zu bauen. Such- und Nutzer-Bots wie OAI-SearchBot, ChatGPT-User, Claude-SearchBot und PerplexityBot rufen Seiten ab, um eine Frage zu beantworten, die gerade jemand stellt, und das sind die Seiten, die eine Antwort zitieren kann. Die erste Art auszusperren hält eine Website aus den Trainingsdaten heraus. Die zweite auszusperren hält sie aus den Antworten heraus: OpenAI sagt klar, dass Websites, die OAI-SearchBot ausgeschlossen haben, in den Suchantworten von ChatGPT nicht gezeigt werden.
Die Websites, die Bots in der robots.txt nennen, haben diese Unterscheidung meist getroffen. So oft wird jeder Bot namentlich ausgesperrt:
| Bot | Art | Namentlich ausgesperrt |
|---|---|---|
| CCBot (Common Crawl) | Training | 1,20 % |
| GPTBot (OpenAI) | Training | 1,17 % |
| Google-Extended | Training | 0,85 % |
| ClaudeBot (Anthropic) | Training | 0,79 % |
| Applebot-Extended | Training | 0,56 % |
| PerplexityBot | Suche | 0,24 % |
| ChatGPT-User | Suche | 0,23 % |
| OAI-SearchBot | Suche | 0,11 % |
| Claude-SearchBot, Claude-User | Suche | je 0,05 % |
Die Abweisungen durch Firewalls sind eine andere Geschichte. 407 Websites lieferten ihre Startseite an einen Browser aus und verweigerten dieselbe Seite einer Anfrage, die sich OAI-SearchBot nannte, mit einem 403 oder einem ähnlichen Status. Bei 396 davon sperrte die robots.txt diesen Bot nicht aus. Die eigenen Regeln der Website sagen ja und ihr Server sagt nein, was selten jemandes Entscheidung ist. Es ist die Art von Dingen, die eine Bot-Schutz-Einstellung bei einem CDN, eine Hosting-Firewall oder ein WordPress-Sicherheits-Plugin tun kann, ohne dass es jemand gewählt hat. Die Voreinstellungen haben sich in diese Richtung bewegt: Im Juli 2025 kündigte Cloudflare an, seine Voreinstellung auf das Blockieren von KI-Crawlern umzustellen.
Um sicherzugehen, dass es keine einmaligen Fehler waren, haben wir 150 davon noch einmal gefragt, einmal als Browser und einmal als Bot, wenige Sekunden auseinander. 147 wiesen den Bot erneut ab, während sie den Browser belieferten. Sie standen hinter einer Mischung aus Servern und Netzen: schlichtes nginx und Apache, Cloudflare, Akamai, Sucuri, CloudFront und LiteSpeed darunter.
So oder so gezählt, kann fast jede Website der Stichprobe von den Bots gelesen werden, die Seiten in Antworten bringen. Wenn ein Unternehmen in dem fehlt, was ChatGPT oder Perplexity sagen, ist eine verschlossene Tür selten der Grund.
llms.txt: jede vierte Website, meist per Voreinstellung
llms.txt ist eine Textdatei, die KI-Tools sagt, worum es auf einer Website geht und wo ihre wichtigsten Seiten sind, vorgeschlagen von Jeremy Howard im September 2024. 6.068 der 23.411 Websites haben eine: 25,9 %, und 30,6 % in den USA gegen 23,9 % in Europa. Für ein 2024 vorgeschlagenes Format sieht das nach schneller Verbreitung aus. Die Plattformen erzählen eine andere Geschichte.
| Site-Plattform | Websites | Haben llms.txt |
|---|---|---|
| Shopify | 436 | 94,0 % |
| Wix | 550 | 89,6 % |
| Next.js | 1.000 | 36,2 % |
| Webflow | 1.063 | 30,8 % |
| WordPress | 12.644 | 25,1 % |
| Framer | 78 | 19,2 % |
| Squarespace | 1.270 | 9,3 % |
Dass neun von zehn Wix- oder Shopify-Sites die Datei haben, heißt nicht, dass neun von zehn Betreibern sich entschieden haben, sie zu schreiben. So hohe Quoten deuten darauf hin, dass die Plattform sie erzeugt.
Um zu sehen, was in den Dateien steht, haben wir 397 davon zufällig abgerufen. 18,1 % beginnen mit dem Hinweis, dass sie von Yoast SEO erzeugt wurden, 8,6 % von Rank Math und 5,8 % von All in One SEO, den drei großen WordPress-SEO-Plugins, die alle inzwischen anbieten, die Datei zu erzeugen ( Yoast, Rank Math). Weitere 13,8 % liegen auf Shopify oder Wix. Das macht mindestens 46 % von einem Plugin oder einer Plattform erzeugt. Den Rest können wir nicht zuordnen: Viele sind erkennbar für die Website geschrieben, manche lesen sich wie eine erzeugte Zusammenfassung, ohne es zu sagen.
Eine erzeugte Datei ist nicht wertlos. Sie listet meist die Hauptseiten der Website, und das ist der Sinn des Formats. Aber es bedeutet, dass „hat eine llms.txt“ wenig darüber sagt, ob sich jemand im Unternehmen Gedanken gemacht hat, was ein KI-Tool liest, und es ist kein Zeichen eines Vorsprungs. Ob ein Assistent die Datei beim Antworten überhaupt liest, ist eine andere Frage, und keine, die diese Studie misst.
Wo sich Websites unterscheiden: sagen, wer sie sind
Wenn ein Assistent die Website eines Unternehmens liest, ist die einfachste Hilfe eine Seite, die sagt, was das Unternehmen ist, was es tut und wo. Zwei günstige Signale dafür sind eine Meta-Description und schema.org-Markup, das das Unternehmen als Organization oder als einen der Business-Typen (LocalBusiness, Dentist, LegalService und dergleichen) benennt, was Google für den eigenen Gebrauch dokumentiert. Über alle Websites:
- 61,7 % haben Organization- oder Business-Markup auf der Startseite;
- 24,8 % haben überhaupt keine strukturierten Daten auf der Startseite;
- 15,1 % haben keine Meta-Description;
- 7,2 % haben FAQ-Markup;
- 3,0 % zeigen ohne JavaScript weniger als 300 Zeichen Text, sodass ein Crawler, der keine Skripte ausführt, eine fast leere Seite sieht;
- 91,8 % haben eine Sitemap.
Nach Branche sind die Unterschiede viel größer als beim Bot-Zugang, der überall zwischen 1,6 % und 3,9 % gesperrt bleibt:
| Branche | Websites | Organization- oder Business-Markup | FAQ-Markup | llms.txt | Keine Meta-Description | Für die Suche von ChatGPT gesperrt |
|---|---|---|---|---|---|---|
| Marketing- und SEO-Agenturen | 4.100 | 71,3 % | 15,1 % | 33,1 % | 9,8 % | 2,3 % |
| Softwareentwicklung | 902 | 70,4 % | 13,1 % | 43,7 % | 7,2 % | 2,3 % |
| Ästhetische Kliniken | 1.363 | 70,2 % | 5,3 % | 31,9 % | 13,1 % | 2,1 % |
| IT-Beratung | 495 | 69,3 % | 9,9 % | 31,9 % | 10,1 % | 1,8 % |
| Anwaltskanzleien | 1.168 | 69,3 % | 6,5 % | 27,1 % | 11,7 % | 2,7 % |
| Steuerberatung und Buchhaltung | 567 | 68,1 % | 5,8 % | 27,5 % | 8,6 % | 3,4 % |
| Solarinstallateure | 480 | 67,1 % | 10,2 % | 30,4 % | 11,0 % | 2,7 % |
| Übersetzungsbüros | 519 | 65,9 % | 9,1 % | 26,2 % | 9,4 % | 2,7 % |
| Zahnarztpraxen | 1.492 | 64,3 % | 7,3 % | 24,1 % | 16,0 % | 1,7 % |
| Eventagenturen | 763 | 62,6 % | 7,3 % | 22,8 % | 12,3 % | 2,0 % |
| Coworking-Spaces | 744 | 58,7 % | 4,0 % | 21,0 % | 15,6 % | 2,0 % |
| Innenarchitektur | 419 | 57,8 % | 2,1 % | 19,1 % | 18,4 % | 1,9 % |
| Küchenstudios | 162 | 57,4 % | 0,6 % | 26,5 % | 17,3 % | 2,5 % |
| Privatkliniken | 1.250 | 56,6 % | 5,3 % | 20,9 % | 20,1 % | 2,0 % |
| Möbel | 1.657 | 56,0 % | 2,8 % | 30,8 % | 15,1 % | 2,7 % |
| Personalvermittlungen | 1.175 | 55,6 % | 4,3 % | 19,7 % | 13,2 % | 3,4 % |
| Bauunternehmen | 643 | 55,1 % | 4,2 % | 20,4 % | 20,4 % | 2,2 % |
| Logistik | 626 | 54,3 % | 7,5 % | 20,9 % | 20,6 % | 3,8 % |
| Immobilienmakler | 1.137 | 54,2 % | 4,0 % | 22,3 % | 19,1 % | 3,9 % |
| Sprachschulen | 1.110 | 53,0 % | 5,4 % | 20,4 % | 19,2 % | 3,6 % |
| Hochzeitslocations | 1.608 | 51,2 % | 3,3 % | 18,0 % | 22,5 % | 1,6 % |
| Architekturbüros | 1.031 | 47,9 % | 1,3 % | 11,8 % | 27,9 % | 3,1 % |
Das Muster ist klar. Unternehmen, deren Websites von Leuten gebaut werden, die im Web arbeiten, Agenturen, Softwarefirmen, IT-Beratungen, machen die Grundlagen am häufigsten. Unternehmen, die etwas Physisches oder Lokales verkaufen, Locations, Architekten, Bauunternehmen, Sprachschulen, machen sie am seltensten. Mehr als ein Viertel der Startseiten von Architekturbüros hat keine Meta-Description.
Zwischen den Ländern sind die Unterschiede klein. Der Anteil mit Business-Markup reicht von 46,8 % in Tschechien bis 68,6 % in Spanien, und jedes Land liegt zwischen 1,1 % und 4,8 % für die Suche von ChatGPT gesperrt.
Agenturen, die KI-Suche verkaufen, auf ihren eigenen Websites
898 der 4.100 Agenturen erwähnen KI-Suche auf ihrer Startseite: GEO, KI-Sichtbarkeit, Answer Engines, AI Overviews oder Ähnliches. Wir haben ihre eigenen Websites mit denen der anderen 3.202 Agenturen verglichen.
| Agentur-Website | Erwähnt KI-Suche | Erwähnt sie nicht |
|---|---|---|
| Hat llms.txt | 55,1 % | 26,9 % |
| Organization- oder Business-Markup | 86,4 % | 67,1 % |
| FAQ-Markup | 31,2 % | 10,6 % |
| Keine Meta-Description | 3,5 % | 11,5 % |
| Weniger als 300 Zeichen ohne JavaScript | 0,3 % | 5,0 % |
| Für die Suche von ChatGPT gesperrt | 2,1 % | 2,4 % |
Die Agenturen, die die Arbeit verkaufen, machen sie auf ihren eigenen Websites: doppelt so oft llms.txt, dreimal so oft FAQ-Markup, weit weniger Seiten ohne Description. Beim Zugang sind sie wie alle anderen, weil fast alle schon offen sind: Da gab es nichts, worin man voraus sein konnte.
Was Sie auf Ihrer eigenen Website prüfen sollten
Wenn die Zahlen oben für Ihre Branche gelten, ist die Reihenfolge der Prüfungen ungefähr diese.
- Fragen Sie Ihren Server als der Bot. Rufen Sie Ihre Startseite als OAI-SearchBot, ChatGPT-User und PerplexityBot ab und vergleichen Sie mit einem Browser. Unser kostenloser KI-Crawler-Check tut das zusammen mit robots.txt und llms.txt und speichert nichts. Wird etwas abgewiesen, das die robots.txt erlaubt, sehen Sie sich vor allem anderen die Bot-Einstellungen Ihres CDN und Ihr Sicherheits-Plugin an.
- Entscheiden Sie Training und Suche getrennt. Ihre Seiten aus dem Modelltraining herauszuhalten verlangt nicht, sie aus den Antworten herauszuhalten. Wenn Sie Bots in der robots.txt aussperren, prüfen Sie, ob Sie die aussperren, die Sie meinten. Unsere Notizen zu KI-Crawlern listen auf, welcher welcher ist.
- Lesen Sie Ihre llms.txt, wenn ein Plugin eine erzeugt hat. Sie ist die Beschreibung Ihrer Website für ein KI-Tool. Wenn sie Ihre Cookie-Richtlinie auflistet und keine Ihrer Leistungen, erfüllt sie ihren Zweck nicht.
- Sagen Sie, wer Sie sind, auf der Seite. Eine Meta-Description, Organization- oder Business-Markup mit Ihrem Namen, Ihrer Adresse und dem, was Sie tun, und eine Startseite, deren Text ohne JavaScript da ist. Nichts davon ist neu; ein Viertel der Websites lässt es trotzdem aus.
Keine dieser Prüfungen sagt Ihnen, ob ein Assistent Sie tatsächlich nennt, wenn ein Käufer fragt. Eine Website kann offen, ausgezeichnet und gut beschrieben sein und trotzdem unerwähnt bleiben, weil Antworten aus viel mehr als einer Website gebaut werden. Der einzige Weg, es zu wissen, ist, den Assistenten die Fragen Ihrer Käufer zu stellen, mehr als einmal, und zu zählen. Das ist das, was Teddit misst.
Was die Daten nicht zeigen
- Die Stichprobe sind Unternehmen mit einem Google-Maps-Eintrag und einer Website in 33 großen Städten. Kleinstadtunternehmen, Großunternehmen und Websites ohne Maps-Präsenz sind unterrepräsentiert oder fehlen.
- Wir haben nur die Startseite gelesen. Strukturierte Daten, Text und Descriptions auf anderen Seiten sind nicht gezählt, und JSON-LD ist das einzige Markup, das wir lesen; Microdata und RDFa nicht.
- Die Firewall-Prüfung nutzte den Namen des Bots von unserer Adresse, nicht den Bot selbst; siehe den Hinweis oben.
- Die Zuordnung der llms.txt stammt aus einer Zufallsstichprobe von 397 Dateien und zählt nur, was eine Datei oder ihre Plattform erkennbar macht. Der wahre Anteil der von Tools erzeugten Dateien ist höher als 46 %, nicht niedriger.
- Es ist ein Moment, Oktober 2026. Bot-Voreinstellungen bei CDNs und Plugins ändern sich, und diese Zahlen werden es auch.
Wenn Sie die Zahlen zitieren wollen: Die CSV enthält jede zusammengefasste Zahl dieses Artikels. Fragen oder Korrekturen: hello@teddit.io.
Quellen
- Overview of OpenAI crawlers, OpenAI: OAI-SearchBot, ChatGPT-User und GPTBot.
- Does Anthropic crawl data from the web, Anthropic: ClaudeBot, Claude-User und Claude-SearchBot.
- Google’s common crawlers, Google: Google-Extended.
- Perplexity crawlers, Perplexity: PerplexityBot und Perplexity-User.
- About Applebot, Apple: Applebot-Extended.
- CCBot, Common Crawl.
- RFC 9309: Robots Exclusion Protocol, IETF.
- The /llms.txt file, Jeremy Howard.
- The rise of the AI crawler, Vercel.
- Content Independence Day: no AI crawl without compensation, Cloudflare.
- Organization structured data und control your snippets in search results, Google Search Central.