La versión corta
- El acceso no es el problema. El 97.5% de los sitios respondió a una petición del bot de búsqueda de ChatGPT y no lo excluyó en robots.txt. Solo el 2.1% nombra siquiera algún bot de IA en robots.txt, y la mayoría de esos excluyen a los bots que recogen datos de entrenamiento, no a los que obtienen páginas para responder a una pregunta.
- Los sitios cerrados, en su mayoría, no eligieron estarlo. El 1.7% de los sitios rechazó una petición que se identificaba como el bot de búsqueda de ChatGPT mientras servía la misma página a un navegador. En 396 de esos 407, robots.txt no decía nada contra el bot. Lo hizo un cortafuegos, un hosting o un plugin de seguridad.
- llms.txt es común, y casi siempre automático. El 25.9% de los sitios tiene uno. Lo tienen el 89.6% de los sitios en Wix y el 94.0% de los sitios en Shopify, frente al 9.3% en Squarespace. En una muestra de 397 archivos, al menos el 46% estaba etiquetado como generado por un plugin de SEO o venía de una de esas dos plataformas.
- Donde difieren los sitios: en decir quiénes son. El 24.8% no tiene ningún dato estructurado en la portada y el 15.1% no tiene meta descripción. Por sector, la proporción con marcado Organization o de negocio va del 71.3% en las agencias de marketing al 47.9% en los estudios de arquitectura.
- Las agencias que venden búsqueda con IA hacen el trabajo de marcado en sus propios sitios. No están más abiertas a los bots de IA que las demás agencias, porque casi todo el mundo ya lo está.
Qué comprobamos
Los sitios son los de empresas listadas en Google Maps en 33 grandes ciudades: 23 en 18 países europeos y 10 en Estados Unidos. 4,100 son agencias de marketing y SEO; 19,311 son empresas de otros 21 sectores, desde despachos de abogados y clínicas dentales hasta espacios para bodas y logística. Conservamos cada sitio cuya portada respondió con normalidad, 23,411 en total. 16,272 están en Europa y 7,139 en Estados Unidos. Las comprobaciones se ejecutaron en octubre de 2026. Aquí no nombramos ningún sitio.
Para cada sitio leímos lo que leería el rastreador de un asistente de IA, sin ejecutar JavaScript. Cuando Vercel midió los rastreadores de IA a finales de 2024, ninguno de los principales lo renderizaba.
- la portada tal como se sirve: su texto, título, meta descripción y los tipos de schema.org en su JSON-LD;
- robots.txt, el archivo del Robots Exclusion Protocol, y qué bots de IA excluye de todo el sitio;
/llms.txt(la propuesta), contado solo cuando responde con texto y no con una página HTML;- un sitemap, desde robots.txt o en
/sitemap.xml; - la portada una vez más, pedida con el user agent de OAI-SearchBot, el bot que OpenAI usa para la búsqueda de ChatGPT.
La muestra no es toda la web. Son empresas con una ficha en Maps y un sitio web en grandes ciudades, y la portada es solo una página. Las cifras agregadas por sector, país y plataforma del sitio están en un archivo CSV para quien quiera trabajar con ellas.
Acceso: casi todos dejan entrar a la IA
| Qué hace el sitio | Sitios | Proporción |
|---|---|---|
| Nombra al menos un bot de IA, o a todos los bots, como excluidos en robots.txt | 491 | 2.1% |
| …de los cuales solo bots de entrenamiento, con los bots de respuesta permitidos | 298 | 1.3% |
| Excluye a todos los bots en robots.txt | 112 | 0.5% |
| Rechaza una petición como bot de búsqueda de ChatGPT, sirve a un navegador | 407 | 1.7% |
| Cerrado a la búsqueda de ChatGPT por cualquiera de las dos vías | 589 | 2.5% |
Las empresas de IA operan dos tipos de bots, y cada una documenta los suyos: OpenAI, Anthropic, Google, Perplexity, Apple y Common Crawl. Los bots de entrenamiento, como GPTBot, ClaudeBot, Google-Extended, Applebot-Extended y CCBot, recogen páginas para construir modelos. Los bots de búsqueda y de usuario, como OAI-SearchBot, ChatGPT-User, Claude-SearchBot y PerplexityBot, obtienen páginas para responder a una pregunta que alguien está haciendo ahora, y esas son las páginas que una respuesta puede citar. Excluir al primer tipo deja un sitio fuera de los datos de entrenamiento. Excluir al segundo lo deja fuera de las respuestas: OpenAI dice claramente que los sitios que se excluyen de OAI-SearchBot no se mostrarán en las respuestas de búsqueda de ChatGPT.
Los sitios que nombran bots en robots.txt hicieron en su mayoría esa distinción. Así de a menudo se excluye a cada bot por su nombre:
| Bot | Tipo | Excluido por su nombre |
|---|---|---|
| CCBot (Common Crawl) | Entrenamiento | 1.20% |
| GPTBot (OpenAI) | Entrenamiento | 1.17% |
| Google-Extended | Entrenamiento | 0.85% |
| ClaudeBot (Anthropic) | Entrenamiento | 0.79% |
| Applebot-Extended | Entrenamiento | 0.56% |
| PerplexityBot | Búsqueda | 0.24% |
| ChatGPT-User | Búsqueda | 0.23% |
| OAI-SearchBot | Búsqueda | 0.11% |
| Claude-SearchBot, Claude-User | Búsqueda | 0.05% cada uno |
Los rechazos del cortafuegos son otra historia. 407 sitios sirvieron su portada a un navegador y rechazaron la misma página a una petición que se identificaba como OAI-SearchBot, con un 403 o un estado parecido. En 396 de ellos, robots.txt no excluía a ese bot. Las propias reglas del sitio dicen que sí y su servidor dice que no, lo que rara vez es decisión de alguien. Es el tipo de cosa que un ajuste de protección contra bots en un CDN, un cortafuegos del hosting o un plugin de seguridad de WordPress puede hacer sin que nadie lo elija. Los valores por defecto se han movido en esa dirección: en julio de 2025 Cloudflare anunció que cambiaba su valor por defecto para bloquear los rastreadores de IA.
Para asegurarnos de que no eran errores puntuales, volvimos a preguntar a 150 de ellos, una vez como navegador y otra como el bot, con unos segundos de diferencia. 147 rechazaron de nuevo al bot mientras servían al navegador. Estaban detrás de una mezcla de servidores y redes: nginx y Apache sin más, Cloudflare, Akamai, Sucuri, CloudFront y LiteSpeed entre ellos.
Contado de cualquiera de las dos formas, casi todos los sitios de la muestra pueden ser leídos por los bots que meten páginas en las respuestas. Si una empresa falta en lo que dicen ChatGPT o Perplexity, una puerta cerrada rara vez es la razón.
llms.txt: un sitio de cada cuatro, casi siempre por defecto
llms.txt es un archivo de texto plano que dice a las herramientas de IA de qué trata un sitio y dónde están sus páginas clave, propuesto por Jeremy Howard en septiembre de 2024. 6,068 de los 23,411 sitios tienen uno: el 25.9%, y el 30.6% en Estados Unidos frente al 23.9% en Europa. Para un formato propuesto en 2024, eso parece una adopción rápida. Las plataformas cuentan otra historia.
| Plataforma del sitio | Sitios | Tienen llms.txt |
|---|---|---|
| Shopify | 436 | 94.0% |
| Wix | 550 | 89.6% |
| Next.js | 1,000 | 36.2% |
| Webflow | 1,063 | 30.8% |
| WordPress | 12,644 | 25.1% |
| Framer | 78 | 19.2% |
| Squarespace | 1,270 | 9.3% |
Que nueve de cada diez sitios en Wix o Shopify tengan el archivo no significa que nueve de cada diez propietarios decidieran escribirlo. Tasas tan altas apuntan a que lo produce la plataforma.
Para ver qué hay en los archivos, descargamos 397 de ellos al azar. El 18.1% empieza diciendo que lo generó Yoast SEO, el 8.6% Rank Math y el 5.8% All in One SEO, los tres grandes plugins de SEO de WordPress, cada uno de los cuales ofrece ahora generar el archivo ( Yoast, Rank Math). Otro 13.8% está en Shopify o Wix. Eso hace al menos un 46% hecho por un plugin o una plataforma. El resto no podemos atribuirlo: muchos están claramente escritos para el sitio, algunos se leen como un resumen generado sin decirlo.
Un archivo generado no es inútil. Normalmente lista las páginas principales del sitio, que es el sentido del formato. Pero sí significa que “tiene un llms.txt” dice poco sobre si alguien en la empresa ha pensado en lo que lee una herramienta de IA, y no es una señal de ir por delante. Si un asistente lee siquiera el archivo cuando responde es otra pregunta, y no una que mida este estudio.
Donde difieren los sitios: en decir quiénes son
Cuando un asistente lee el sitio de una empresa, la ayuda más sencilla es una página que diga qué es la empresa, qué hace y dónde. Dos señales baratas de eso son una meta descripción y un marcado schema.org que nombre a la empresa como Organization o como uno de los tipos de negocio (LocalBusiness, Dentist, LegalService y similares), que Google documenta para su propio uso. En todos los sitios:
- el 61.7% tiene marcado Organization o de negocio en la portada;
- el 24.8% no tiene ningún dato estructurado en la portada;
- el 15.1% no tiene meta descripción;
- el 7.2% tiene marcado FAQ;
- el 3.0% muestra menos de 300 caracteres de texto sin JavaScript, así que un rastreador que no ejecuta scripts ve una página casi vacía;
- el 91.8% tiene un sitemap.
Por sector, las diferencias son mucho mayores que en el acceso de los bots, que se queda entre el 1.6% y el 3.9% de cerrados en todas partes:
| Sector | Sitios | Marcado Organization o de negocio | Marcado FAQ | llms.txt | Sin meta descripción | Cerrado a la búsqueda de ChatGPT |
|---|---|---|---|---|---|---|
| Agencias de marketing y SEO | 4,100 | 71.3% | 15.1% | 33.1% | 9.8% | 2.3% |
| Desarrollo de software | 902 | 70.4% | 13.1% | 43.7% | 7.2% | 2.3% |
| Clínicas estéticas | 1,363 | 70.2% | 5.3% | 31.9% | 13.1% | 2.1% |
| Consultoría informática | 495 | 69.3% | 9.9% | 31.9% | 10.1% | 1.8% |
| Despachos de abogados | 1,168 | 69.3% | 6.5% | 27.1% | 11.7% | 2.7% |
| Despachos contables | 567 | 68.1% | 5.8% | 27.5% | 8.6% | 3.4% |
| Instaladores solares | 480 | 67.1% | 10.2% | 30.4% | 11.0% | 2.7% |
| Agencias de traducción | 519 | 65.9% | 9.1% | 26.2% | 9.4% | 2.7% |
| Clínicas dentales | 1,492 | 64.3% | 7.3% | 24.1% | 16.0% | 1.7% |
| Empresas de eventos | 763 | 62.6% | 7.3% | 22.8% | 12.3% | 2.0% |
| Espacios de coworking | 744 | 58.7% | 4.0% | 21.0% | 15.6% | 2.0% |
| Diseño de interiores | 419 | 57.8% | 2.1% | 19.1% | 18.4% | 1.9% |
| Fabricantes de cocinas | 162 | 57.4% | 0.6% | 26.5% | 17.3% | 2.5% |
| Clínicas privadas | 1,250 | 56.6% | 5.3% | 20.9% | 20.1% | 2.0% |
| Muebles | 1,657 | 56.0% | 2.8% | 30.8% | 15.1% | 2.7% |
| Agencias de selección de personal | 1,175 | 55.6% | 4.3% | 19.7% | 13.2% | 3.4% |
| Construcción | 643 | 55.1% | 4.2% | 20.4% | 20.4% | 2.2% |
| Logística | 626 | 54.3% | 7.5% | 20.9% | 20.6% | 3.8% |
| Agencias inmobiliarias | 1,137 | 54.2% | 4.0% | 22.3% | 19.1% | 3.9% |
| Academias de idiomas | 1,110 | 53.0% | 5.4% | 20.4% | 19.2% | 3.6% |
| Espacios para bodas | 1,608 | 51.2% | 3.3% | 18.0% | 22.5% | 1.6% |
| Estudios de arquitectura | 1,031 | 47.9% | 1.3% | 11.8% | 27.9% | 3.1% |
El patrón es claro. Las empresas cuyos sitios los construye gente que trabaja en la web, agencias, empresas de software, consultoras informáticas, hacen lo básico más a menudo. Las empresas que venden algo físico o local, espacios para eventos, arquitectos, constructores, academias de idiomas, lo hacen menos. Más de una cuarta parte de las portadas de los estudios de arquitectura no tiene meta descripción.
Entre países las diferencias son pequeñas. La proporción con marcado de negocio va del 46.8% en Chequia al 68.6% en España, y todos los países están entre el 1.1% y el 4.8% de cerrados a la búsqueda de ChatGPT.
Las agencias que venden búsqueda con IA, en sus propios sitios
898 de las 4,100 agencias mencionan la búsqueda con IA en su portada: GEO, visibilidad en IA, motores de respuesta, AI Overviews o similares. Comparamos sus propios sitios con los de las otras 3,202 agencias.
| Sitio de la agencia | Menciona la búsqueda con IA | No la menciona |
|---|---|---|
| Tiene llms.txt | 55.1% | 26.9% |
| Marcado Organization o de negocio | 86.4% | 67.1% |
| Marcado FAQ | 31.2% | 10.6% |
| Sin meta descripción | 3.5% | 11.5% |
| Menos de 300 caracteres sin JavaScript | 0.3% | 5.0% |
| Cerrado a la búsqueda de ChatGPT | 2.1% | 2.4% |
Las agencias que venden el trabajo lo hacen en sus propios sitios: el doble de llms.txt, el triple de marcado FAQ, muchas menos páginas sin descripción. En acceso son iguales que todos los demás, porque casi todo el mundo ya está abierto: no había nada en lo que ir por delante.
Qué comprobar en tu propio sitio
Si las cifras de arriba valen para tu sector, el orden de las comprobaciones es más o menos este.
- Pregunta a tu servidor como el bot. Pide tu portada como OAI-SearchBot, ChatGPT-User y PerplexityBot, y compárala con un navegador. Nuestra comprobación de rastreadores de IA gratuita hace esto junto con robots.txt y llms.txt, y no guarda nada. Si algo se rechaza que robots.txt permite, mira los ajustes de bots de tu CDN y tu plugin de seguridad antes que nada.
- Decide entrenamiento y búsqueda por separado. Mantener tus páginas fuera del entrenamiento de modelos no exige mantenerlas fuera de las respuestas. Si excluyes bots en robots.txt, comprueba que excluyes los que querías. Nuestras notas sobre rastreadores de IA dicen cuál es cuál.
- Lee tu llms.txt, si lo hizo un plugin. Es la descripción de tu sitio para una herramienta de IA. Si lista tu política de cookies y ninguno de tus servicios, no está haciendo su trabajo.
- Di quién eres, en la página. Una meta descripción, marcado Organization o de negocio con tu nombre, dirección y lo que haces, y una portada cuyo texto esté ahí sin JavaScript. Nada de esto es nuevo; una cuarta parte de los sitios todavía se lo salta.
Ninguna de estas comprobaciones te dice si un asistente te nombra de verdad cuando pregunta un comprador. Un sitio puede estar abierto, marcado y bien descrito y aun así no ser mencionado, porque las respuestas se construyen con mucho más que un sitio. La única forma de saberlo es hacer a los asistentes las preguntas que hacen tus compradores, más de una vez, y contar. Eso es lo que mide Teddit.
Qué no muestran los datos
- La muestra son empresas con una ficha en Google Maps y un sitio web en 33 grandes ciudades. Las empresas de ciudades pequeñas, las grandes corporaciones y los sitios sin presencia en Maps están infrarrepresentados o ausentes.
- Leímos solo la portada. Los datos estructurados, el texto y las descripciones de otras páginas no se cuentan, y JSON-LD es el único marcado que leemos; los microdatos y RDFa no.
- La comprobación del cortafuegos usó el nombre del bot desde nuestra dirección, no el bot en sí; ver la nota de arriba.
- La atribución de llms.txt sale de una muestra aleatoria de 397 archivos, y cuenta solo lo que un archivo o su plataforma hacen evidente. La proporción real hecha por herramientas es mayor que el 46%, no menor.
- Es un momento, octubre de 2026. Los valores por defecto de los bots en los CDN y los plugins cambian, y estos números también lo harán.
Si quieres citar las cifras, el CSV tiene todos los agregados de este artículo. Preguntas o correcciones: hello@teddit.io.
Fuentes
- Overview of OpenAI crawlers, OpenAI: OAI-SearchBot, ChatGPT-User y GPTBot.
- Does Anthropic crawl data from the web, Anthropic: ClaudeBot, Claude-User y Claude-SearchBot.
- Google’s common crawlers, Google: Google-Extended.
- Perplexity crawlers, Perplexity: PerplexityBot y Perplexity-User.
- About Applebot, Apple: Applebot-Extended.
- CCBot, Common Crawl.
- RFC 9309: Robots Exclusion Protocol, IETF.
- The /llms.txt file, Jeremy Howard.
- The rise of the AI crawler, Vercel.
- Content Independence Day: no AI crawl without compensation, Cloudflare.
- Organization structured data y control your snippets in search results, Google Search Central.