Auditoría técnica GEO: robots.txt, OAI-SearchBot y los bloqueos que te dejan fuera de ChatGPT

Resumen ejecutivo

• OpenAI opera cuatro bots con permisos independientes: GPTBot (entrenamiento), OAI-SearchBot (búsqueda), ChatGPT-User (visitas en vivo) y OAI-AdsBot (anuncios). Bloquear uno no bloquea los demás, y permitir uno no permite los demás.
• El bloqueo que te saca de las respuestas de ChatGPT no es el de GPTBot: es el de OAI-SearchBot. Muchos sitios lo bloquearon sin querer con plantillas «anti-IA» copiadas en 2023-2024.
• El robots.txt es solo la primera capa. Los WAF y CDN bloquean sin dejar rastro en él: Cloudflare bloquea crawlers de IA por defecto en dominios nuevos desde julio de 2025, y endurece esos defectos el 15 de septiembre de 2026.
• Los crawlers de OpenAI no ejecutan JavaScript: si tu contenido se monta en el navegador, para ChatGPT no existe aunque ningún firewall lo bloquee.
• La auditoría tiene seis pasos: robots.txt grupo a grupo, prueba con curl, logs por user-agent, verificación de IPs contra los JSON oficiales, panel del CDN y re-test tras 24 horas.

Hay un fallo de visibilidad en IA que no avisa. No aparece en Search Console, no rompe el build, no dispara ninguna alerta: simplemente ChatGPT deja de citarte —o no te ha citado nunca— mientras tu tráfico orgánico clásico sigue normal. Con más de 800 millones de usuarios semanales declarados por OpenAI en octubre de 2025 y creciendo desde entonces, ese silencio tiene un coste real. Y en la mayoría de auditorías que hacemos, la causa no está en la calidad del contenido: está en cuatro líneas de un robots.txt heredado o en una casilla marcada por defecto en el panel del CDN.

Este artículo es la auditoría técnica de esa capa: qué bots operan para ChatGPT, qué rompe exactamente cada bloqueo, dónde se esconden los bloqueos que el robots.txt no muestra y el procedimiento paso a paso para encontrarlos y corregirlos. Es la capa 1 —recuperación— del modelo de medición de visibilidad en IA: la que casi nadie mide y la primera que falla. Si todavía no tienes claro el marco general de GEO, empieza por la guía completa de Generative Engine Optimization y vuelve: esto es fontanería, y la fontanería se entiende mejor sabiendo para qué es la casa.

Los cuatro bots de OpenAI y qué rompe bloquear cada uno

OpenAI documenta hoy cuatro bots oficiales, cada uno con su función, su user-agent y sus rangos de IP publicados. La confusión entre ellos es la fuente del error más caro del GEO técnico.

Bot	Para qué sirve	Si lo bloqueas…	IPs oficiales
GPTBot	Recopila contenido para entrenar los modelos	Tu contenido no se usa en entrenamiento; tu visibilidad en búsqueda no cambia	openai.com/gptbot.json
OAI-SearchBot	Construye el índice de la búsqueda de ChatGPT	Desapareces de los resultados y citas de la búsqueda de ChatGPT	openai.com/searchbot.json
ChatGPT-User	Visita páginas en vivo cuando un usuario lo pide	ChatGPT no puede leer tu página a petición del usuario y responde con fuentes de terceros	openai.com/chatgpt-user.json
OAI-AdsBot	Valida páginas de destino de anuncios	Solo afecta si anuncias en ChatGPT; no visita otras páginas	openai.com/adsbot.json

La regla que lo ordena todo: OpenAI trata cada bot como una decisión de acceso independiente. Permitir GPTBot no permite OAI-SearchBot. Bloquear GPTBot no te saca de la búsqueda. Son llaves distintas de puertas distintas, y la puerta que importa para aparecer en respuestas es la de OAI-SearchBot.

Merece un matiz ChatGPT-User, porque es el menos entendido. No es un crawler: no rastrea la web sistemáticamente, sino que actúa cuando un usuario concreto pide algo que requiere visitar tu página —pegar tu URL, pedir un resumen, usar un GPT personalizado que te consulta—. Por eso la documentación de OpenAI indica que las reglas de robots.txt pueden no aplicársele: la petición la origina un humano, como en un navegador. Se identifica en el user-agent y publica sus IPs, así que bloquearlo es posible a nivel de servidor; la pregunta es si quieres que, cuando un usuario le pida a ChatGPT que lea tu web, la respuesta se construya sin tu web.

Cómo llega tu página a una respuesta de ChatGPT

Para que la búsqueda de ChatGPT te cite tienen que funcionar dos accesos encadenados. Primero, OAI-SearchBot tiene que haber rastreado tu contenido e incorporado tus URLs a su índice: OpenAI mantiene su propio índice de búsqueda y lo complementa con proveedores de búsqueda externos. Segundo, en muchas respuestas ChatGPT-User visita las páginas candidatas en vivo para extraer el contenido con el que fundamentar la respuesta —el patrón RAG de siempre: recuperar, leer, sintetizar, citar—.

Esa cadena explica los dos modos de fallo típicos. Si OAI-SearchBot está bloqueado, no estás en el índice: no sales, y no hay nada que el mejor contenido del mundo pueda hacer. Si el índice te conoce pero ChatGPT-User rebota contra tu WAF, el sistema tiene tu URL pero no puede leerla al responder: o te descarta, o habla de ti con lo que dicen otros. Ninguno de los dos fallos se ve desde fuera; los dos se ven en tus logs.

Bloqueo 1 — El robots.txt heredado de la era anti-IA

Cuando GPTBot se lanzó en agosto de 2023, la conversación era sobre entrenamiento: medio internet corrió a bloquearlo por principio, con razones legítimas. El problema es cómo se bloqueó: con plantillas «bloquea todos los bots de IA» que circularon por todas partes y que metían en el mismo Disallow: / a todo user-agent que sonara a inteligencia artificial. Cuando la búsqueda de ChatGPT llegó en octubre de 2024, esas plantillas seguían ahí — y siguen hoy.

Los datos de 2026 muestran lo extendido que está el bloqueo y lo poco que se distingue entre funciones: según el estudio de BuzzStream sobre los 100 mayores medios de EE. UU. y Reino Unido (abril de 2026), el 62 % bloquea GPTBot, el 49 % bloquea OAI-SearchBot y el 71 % bloquea al menos un bot de recuperación en vivo. Para un medio con acuerdo de licencia, bloquear puede ser una posición negociadora deliberada. Para un negocio que vive de ser encontrado, bloquear OAI-SearchBot es cerrar la puerta del canal que más crece — y en la mayoría de los casos que auditamos, nadie en la empresa sabía que esa regla existía.

La primera comprobación de la auditoría es así de simple: abre tudominio.com/robots.txt —el que se sirve en producción, no el del repositorio— y busca cada uno de los cuatro nombres. Cada aparición, ¿bajo qué grupo está y con qué directiva?

Bloqueo 2 — La precedencia de grupos que casi nadie aplica bien

Aquí cae gente con años de SEO técnico. El estándar de robots.txt (RFC 9309) establece que un crawler obedece únicamente el grupo más específico que coincide con su user-agent, e ignora por completo el resto. Las reglas no se heredan ni se suman: si un bot tiene grupo propio, el grupo * deja de existir para él.

Eso produce dos trampas simétricas. La primera es la clásica de las plantillas de 2023:

# Lo que el equipo cree que es la política del sitio
User-agent: *
Allow: /

# Lo que también hay, cuarenta líneas más abajo
User-agent: GPTBot
User-agent: OAI-SearchBot
Disallow: /

El Allow: / de arriba no matiza nada: para OAI-SearchBot solo existe su grupo, y su grupo dice «nada». El sitio está totalmente abierto para Google y totalmente cerrado para la búsqueda de ChatGPT, y ambas cosas son ciertas a la vez.

La segunda trampa es la inversa y es más sutil. Supón que tu grupo * protege rutas sensibles —/api/, /carrito/, resultados de búsqueda interna— y alguien añade un grupo para permitir explícitamente un bot de IA:

User-agent: *
Disallow: /api/
Disallow: /buscar

User-agent: OAI-SearchBot
Allow: /

Al darle grupo propio a OAI-SearchBot, las exclusiones de * han dejado de aplicarle: ahora rastrea /api/ y /buscar que todos los demás tienen vetados. Cada grupo tiene que ser completo y autosuficiente, repitiendo las exclusiones que quieras mantener. Es exactamente lo que hacemos en el robots.txt de esta web: cada bot de IA declarado lleva su propio Disallow: /api/, porque el del asterisco no le llegaría.

Bloqueo 3 — El WAF que bloquea sin tocar tu robots.txt

Esta es la capa donde más auditorías dan el giro, porque es invisible desde el fichero que todo el mundo mira. Un firewall de aplicación, un CDN o el propio hosting pueden devolver 403 o una página de desafío a OAI-SearchBot con un robots.txt impecablemente permisivo. El bot pide, el borde deniega, y tu robots.txt sonríe mientras tanto.

El caso central es Cloudflare, por cuota de mercado y por decisión estratégica. Desde el 1 de julio de 2025, todo dominio nuevo en Cloudflare bloquea crawlers de IA por defecto: al dar de alta el sitio se pregunta si quieres permitirlos, y la opción por defecto es no. En paralelo lanzó Pay Per Crawl, un mercado para cobrar a los crawlers por acceso. Y el movimiento continúa: a partir del 15 de septiembre de 2026, Cloudflare bloqueará por defecto los crawlers «de uso mixto» —los que combinan búsqueda, agentes y entrenamiento en un mismo bot— en páginas con publicidad, con los nuevos defectos aplicándose a clientes nuevos, a sitios nuevos de clientes existentes y a todo el plan gratuito, mientras sustituye Pay Per Crawl por Pay Per Use, que cobra cuando el contenido se usa en una respuesta y no cuando se rastrea.

Sobre si ese rumbo de internet es bueno o malo se puede debatir largo; lo que no admite debate es la consecuencia operativa: si tu web está detrás de Cloudflare y nunca has abierto el panel de crawlers de IA, no sabes cuál es tu política de acceso real. La decidió un valor por defecto, y ese valor cambia con el tiempo. Lo mismo aplica, a menor escala, a los modos «anti-bots» de otros CDN y a los firewalls perimetrales de muchos hostings gestionados, que agrupan bots de IA con scrapers maliciosos.

Dos comprobaciones concretas para esta capa. Una: compara el robots.txt que sirves en producción con el fichero que despliegas — algunos CDN ofrecen un robots.txt gestionado que inyecta directivas de bloqueo a bots de IA sin que tu origen cambie. Dos: busca en el panel del CDN las secciones de gestión de bots y de crawlers de IA, y lee qué está activado y desde cuándo; la fecha de activación suele coincidir sospechosamente con la fecha en la que tus citas desaparecieron.

Bloqueo 4 — El contenido que solo existe si se ejecuta JavaScript

El último bloqueo no deniega nada: entrega un 200 vacío. El estudio de Vercel sobre crawlers de IA (diciembre de 2024) lo midió sobre el tráfico de su propia red —569 millones de peticiones mensuales solo de GPTBot—: los crawlers de OpenAI y Anthropic descargan ficheros JavaScript, pero no los ejecutan. Todo lo que tu página construye en el navegador —contenido montado por frameworks en cliente, texto que llega por API tras la carga, precios renderizados con JS— es invisible para ellos, aunque ningún firewall los toque. El contraste es Google: Gemini hereda la infraestructura de renderizado de Googlebot y sí ve tu JavaScript ejecutado, lo que explica que un mismo sitio pueda ir bien en AI Overviews y no existir en ChatGPT.

La prueba es rápida: abre tu página clave con JavaScript desactivado en el navegador, o mira el HTML crudo con «ver código fuente». Lo que no esté en ese HTML inicial, para ChatGPT no está. La solución de fondo es renderizado en servidor o generación estática del contenido crítico — que es como está construida esta web, y una de las razones por las que el stack importa en GEO más de lo que se cree.

A esta familia de bloqueos silenciosos pertenecen también los menores: límites de velocidad que devuelven 429 a los bots, bloqueos geográficos que excluyen los rangos de IP desde los que rastrea OpenAI, y muros de registro que enseñan al bot una página de login donde tú ves contenido.

La auditoría en seis pasos

Todo lo anterior se comprime en un procedimiento que puedes ejecutar en una tarde.

Paso 1 — Lee tu robots.txt como lo lee cada bot. Abre el robots.txt de producción y, para cada uno de los cuatro user-agents de OpenAI, responde: ¿tiene grupo propio? Si lo tiene, solo valen las reglas de ese grupo. Si no lo tiene, valen las de *. Anota la política efectiva de cada bot; te sorprenderá cuántas veces no coincide con la que el equipo cree tener.

Paso 2 — Prueba el acceso real con curl. El robots.txt es una petición de cortesía; el borde de tu infraestructura es quien deniega de verdad. Simula al bot con su user-agent documentado:

curl -I -A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" https://tudominio.com/

Un 200 aquí no garantiza que el bot real pase (algunos WAF validan también la IP de origen), pero un 403 o un desafío aquí ya te dice que tienes una regla disparándose por user-agent.

Paso 3 — Ve a los logs, que son la verdad. Filtra el access log por bot y cuenta códigos de respuesta:

grep "OAI-SearchBot" access.log | awk '{print $9}' | sort | uniq -c

Tres patrones y sus diagnósticos: una tabla de 403 con robots.txt permisivo señala al WAF o CDN; la ausencia total del bot durante semanas señala al robots.txt o a un problema de descubrimiento (¿está la URL en el sitemap?, ¿la enlaza alguien?); series de 429 señalan rate limiting. Si nunca has trabajado tus logs, la guía de crawl budget explica cómo montarlo desde cero.

Paso 4 — Verifica que las visitas son auténticas. Cualquier scraper puede firmarse como OAI-SearchBot; la IP no se puede falsificar. OpenAI publica los rangos oficiales de cada bot en JSON —openai.com/searchbot.json, gptbot.json, chatgpt-user.json— y contrastarlos tiene doble uso: confirmar que las visitas que celebras son reales, y bloquear con confianza a los impostores sin miedo a perder visibilidad.

Paso 5 — Abre el panel del CDN y del hosting. Gestión de bots, crawlers de IA, robots.txt gestionado, reglas de firewall por user-agent: léelo todo y anota qué está activo, desde cuándo y con qué valor por defecto. Si estás en Cloudflare, esta revisión no es opcional: los defectos han cambiado dos veces desde 2025 y volverán a cambiar en septiembre de 2026.

Paso 6 — Corrige, espera 24 horas y re-testea. OpenAI documenta que sus sistemas pueden tardar aproximadamente un día en recoger un cambio de robots.txt. Corrige, deja pasar ese día y verifica en los logs que el bot vuelve con respuestas 200. A partir de ahí, la vigilancia de esta capa es semanal y forma parte del panel 0 del dashboard de medición GEO.

El robots.txt de referencia

Para la mayoría de negocios que quieren visibilidad en ChatGPT sin ceder nada que no quieran ceder, la configuración razonable es esta:

# Búsqueda de ChatGPT — imprescindible para aparecer y ser citado
User-agent: OAI-SearchBot
Allow: /
Disallow: /api/

# Visitas en vivo iniciadas por usuarios de ChatGPT
User-agent: ChatGPT-User
Allow: /
Disallow: /api/

# Entrenamiento de modelos — decisión de política, no técnica
User-agent: GPTBot
Allow: /
Disallow: /api/

Sustituye /api/ por tus rutas sensibles reales, repetidas en cada grupo — recuerda la precedencia: el grupo propio anula al asterisco. La línea de GPTBot es la única genuinamente discutible: permitirlo significa aceptar que tu contenido entrene modelos futuros, y hay argumentos legítimos en ambas direcciones. Lo importante es que sea una decisión consciente y separada, no el efecto colateral de una plantilla. Y si decides bloquear entrenamiento, que el bloqueo diga GPTBot y solo GPTBot.

Lo que esta auditoría no arregla

Conviene cerrar con los límites, porque el GEO serio los declara. Desbloquear el acceso no te mete en las respuestas: te devuelve al concurso. Que te citen depende de lo que pasa después de la puerta — contenido extraíble, respuestas autocontenidas, señales de entidad, autoridad temática —, que es el terreno de la guía GEO y del método con el que trabajamos. Tampoco lo arregla llms.txt: es una capa de orientación para sistemas de IA, no un mecanismo de permisos, y ningún fichero de cortesía compensa un 403 del firewall.

Pero el orden de operaciones no es negociable. Primero la puerta, después el escaparate: cada semana que OAI-SearchBot rebota contra tu WAF, toda tu inversión en contenido compite con un handicap absoluto en el motor de búsqueda que más crece. La buena noticia es que, de todos los problemas del GEO, este es el único que se arregla en una tarde con evidencia objetiva en los logs. Si prefieres que esa tarde la pongamos nosotros —con la auditoría de acceso completa y el monitoreo posterior—, así es como trabajamos la visibilidad en IA.