# Comprobar robots.txt para bots de IA: ¿bloqueas a GPTBot o ChatGPT?

> Analiza tu robots.txt contra 11 bots de IA (GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot…). Verás qué bots bloqueas, la línea exacta que lo causa y el parche listo para copiar.

- **Fuente (source):** https://aistohire.com/es/aeopro-auditoria-aeo-visibilidad-en-ia-198/f/auditoria-robots-txt-bots-ia
- **Plataforma (platform):** AIstoHire
- **Idioma (language):** es

## En resumen

- Comprueba si tu robots.txt está bloqueando a los bots de IA
- Pega una URL y Aeopro cruza tu robots.txt con los 11 bots de ChatGPT, Claude, Perplexity y Bing, y te enseña la línea exacta que les cierra la puerta.
- Separa bloquear de ser invisible
- Precedencia real, no búsqueda de texto
- La línea exacta que te bloquea

## Comprueba si tu robots.txt está bloqueando a los bots de IA

Aeopro descarga tu /robots.txt, lo parsea por grupos de User-agent y evalúa, bot a bot, si la URL que estás auditando queda permitida o bloqueada. No busca tu nombre de bot «a ojo» en el fichero: aplica las reglas de verdad: el grupo específico gana sobre el comodín *, y dentro del grupo manda la regla con el patrón más largo, con el Allow desempatando frente al Disallow. Soporta los comodines * y $ en las rutas, así que un Disallow: /*?*  o un Allow: /blog/$ se interpretan como los interpreta el crawler, no como parecen a primera vista.

El resultado es una matriz de 11 bots con su clase al lado: OAI-SearchBot, ChatGPT-User, Claude-User, Claude-SearchBot, PerplexityBot y Bingbot son bots de respuesta —los que buscan, citan y enlazan—; GPTBot, ClaudeBot, Google-Extended, Applebot-Extended y CCBot son de entrenamiento. Esa distinción es la clave de todo el informe: si bloqueas un bot de respuesta, el hallazgo entra como bloqueante y pone techo a tu puntuación AEO, porque sin acceso no hay cita posible. Si bloqueas uno de entrenamiento, el hallazgo es informativo: no querer que tu contenido entre en un dataset es una decisión legítima y Aeopro no te la discute.

Cada bot bloqueado llega con la prueba: el semáforo en rojo, el grupo de User-agent que le aplica y la línea exacta del fichero que lo provoca, copiada tal cual. No tienes que releer tu robots.txt buscando el culpable, lo tienes delante.

Aeopro también cubre los fallos que no son un Disallow. Si tu /robots.txt devuelve una página HTML —típico de un 404 maquetado o de un router SPA que se queda con todo— o responde con un error 500, lo detecta y lo levanta como hallazgo: los bots lo tratan como «sin restricciones», pero es señal de descuido. Y si hay un Crawl-delay por encima de 10 segundos, te avisa, porque a ese ritmo algunos crawlers desisten de leerte entero. Si directamente no tienes robots.txt, el informe te lo dice sin penalizarte: la ausencia no bloquea a nadie.

## Qué incluye

- **Separa bloquear de ser invisible** — bloquear un bot de entrenamiento es una decisión tuya y sale como informativo. Bloquear un bot de respuesta es desaparecer de las respuestas de ChatGPT o Perplexity, y eso sí es un hallazgo bloqueante que pone techo a tu puntuación AEO.
- **Precedencia real, no búsqueda de texto** — grupo específico por encima del comodín *, patrón más largo por encima del corto y Allow ganando el desempate, con soporte de * y $ en las rutas. Es la misma lógica que aplica el crawler, así que el veredicto es el que vas a tener de verdad.
- **La línea exacta que te bloquea** — cada bot en rojo viene con el grupo de User-agent que le aplica y el texto literal de la línea causante. Se acabó leer 200 líneas de robots.txt a mano para encontrar el Disallow que sobra.
- **Los 11 bots que importan ahora, con su clase** — los seis de respuesta (OAI-SearchBot, ChatGPT-User, Claude-User, Claude-SearchBot, PerplexityBot, Bingbot) y los cinco de entrenamiento (GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot), evaluados contra la URL concreta que auditas, no solo contra la raíz del dominio.
- **Caza los fallos silenciosos** — un /robots.txt que sirve HTML en vez de texto plano, uno que responde 500 o un Crawl-delay absurdo por encima de 10 segundos. Fallos que no aparecen en ninguna herramienta de SEO clásico y que delatan un servidor mal configurado.
- **El arreglo ya escrito, y sin gastar IA** — desde el propio hallazgo generas el parche de robots.txt con un interruptor por bot. Eliges a quién abres, el fichero final se regenera en vivo con tu robots.txt actual más el bloque nuevo, y lo copias. Es determinista: no consume tokens.
- **Gratis de repetir** — la auditoría de robots.txt forma parte de las comprobaciones deterministas del informe. Cambias el fichero, lo despliegas, vuelves a analizar y el delta te dice si el hallazgo se cerró. Tantas veces como quieras.

## Preguntas frecuentes

### ¿Cómo sé si mi robots.txt está bloqueando a ChatGPT?

Pega la URL en Aeopro: descarga tu /robots.txt, lo parsea por grupos de User-agent y evalúa esa URL concreta contra los 11 bots de IA. En la tarjeta «Acceso de los bots de IA» tendrás a cada uno con un semáforo verde o rojo. Para ChatGPT hay dos bots distintos y conviene no confundirlos: OAI-SearchBot y ChatGPT-User son los de respuesta, los que buscan y citan fuentes en una conversación; GPTBot es el de entrenamiento. Si lo que quieres es aparecer citado, los que no puedes bloquear son los dos primeros.

### ¿Qué diferencia hay entre un bot de respuesta y un bot de entrenamiento?

Un bot de entrenamiento (GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot) recoge contenido para entrenar modelos. Bloquearlo es una decisión legítima y Aeopro lo marca como informativo, sin penalizar tu puntuación. Un bot de respuesta (OAI-SearchBot, ChatGPT-User, Claude-User, Claude-SearchBot, PerplexityBot, Bingbot) es el que entra a leer tu página en el momento en que alguien pregunta algo, y es el que te cita y te enlaza en la respuesta. Bloquearlo equivale a no existir para esa IA: por eso ese hallazgo entra como bloqueante y pone techo a la puntuación AEO del informe.

### ¿Por qué mi robots.txt parece permisivo y la herramienta dice que bloqueo bots?

Casi siempre es un problema de precedencia. Si tienes un grupo específico para un bot, ese grupo sustituye por completo al del comodín *: las reglas permisivas del * dejan de aplicarle. Y dentro de un grupo no gana la primera regla ni la última, gana la de patrón más largo, con el Allow desempatando frente al Disallow en caso de igualdad. Añade los comodines * y $ y es fácil que un Disallow pensado para los parámetros de búsqueda acabe tapando media web. Aeopro aplica esas reglas igual que el crawler y te muestra la línea exacta que decide el veredicto, así que ves de dónde sale el bloqueo.

### ¿Qué pasa si no tengo robots.txt, o si devuelve un error?

No tener robots.txt no bloquea a nadie y Aeopro no te penaliza por ello: lo indica y sigue. Lo que sí levanta un hallazgo es que el fichero esté roto: si tu /robots.txt devuelve una página HTML en lugar de texto plano —muy habitual en webs de una sola página, donde el router se queda con todas las rutas— o si responde con un error 500. Los bots lo interpretan como «sin restricciones», así que no te cierra la puerta, pero es síntoma de un servidor mal configurado. También te avisa de un Crawl-delay por encima de 10 segundos, porque a ese ritmo algunos crawlers abandonan antes de leer tu sitio completo.

### ¿Aeopro me da el robots.txt corregido o solo el diagnóstico?

Te lo da corregido. Desde el hallazgo abres el parche de robots.txt, que trae un interruptor por cada bot bloqueado: decides a quién abres y a quién dejas fuera, y el fichero completo se regenera en vivo juntando tu robots.txt actual con el bloque nuevo de permisos, aprovechando que el grupo específico gana sobre el comodín. Lo copias y lo subes. Este parche se compone sin IA: es determinista y no consume tokens, igual que la propia auditoría, así que puedes volver a analizar después para confirmar que el hallazgo quedó cerrado.

- [Aeopro — Auditoría AEO: haz que la IA pueda leerte y citarte](https://aistohire.com/es/aeopro-auditoria-aeo-visibilidad-en-ia-198)

## Sobre la plataforma

**Aeopro — Auditoría AEO: haz que la IA pueda leerte y citarte** — aplicación de AIstoHire. Disponible en: https://aistohire.com/es/aeopro-auditoria-aeo-visibilidad-en-ia-198/f/auditoria-robots-txt-bots-ia

### Otros idiomas

- `en`: https://aistohire.com/aeopro-aeo-audit-ai-visibility-198/f/robots-txt-audit-ai-bots
- `fr`: https://aistohire.com/fr/aeopro-audit-aeo-visibilite-ia-198/f/audit-robots-txt-bots-ia
- `it`: https://aistohire.com/it/aeopro-audit-aeo-visibilita-ia-198/f/audit-robots-txt-bot-ia
- `pt`: https://aistohire.com/pt/aeopro-auditoria-aeo-visibilidade-ia-198/f/auditoria-robots-txt-bots-ia
- `de`: https://aistohire.com/de/aeopro-aeo-audit-ki-sichtbarkeit-198/f/robots-txt-audit-ki-bots
- `bg`: https://aistohire.com/bg/aeopro-proverete-dali-chatgpt-i-perplexity-mogat-da-tsitirat-sayta-vi-198/f/odit-na-robots-txt-za-ai-botove
- `ja`: https://aistohire.com/ja/aeo-kansa-ai-inyo-taisaku-198/f/robots-txt-ai-bot-kansa
- `nl`: https://aistohire.com/nl/aeopro-controleer-of-chatgpt-en-perplexity-je-site-kunnen-citeren-198/f/robots-txt-audit-ai-bots
- `ko`: https://aistohire.com/ko/aeopro-aeo-audit-ai-inyong-198/f/robots-txt-ai-bot-jeomgeom
- `sv`: https://aistohire.com/sv/aeopro-granska-om-chatgpt-och-perplexity-kan-citera-din-webbplats-198/f/granskning-robots-txt-ai-botar
- `da`: https://aistohire.com/da/aeopro-tjek-om-chatgpt-og-perplexity-kan-citere-dit-websted-198/f/audit-af-robots-txt-for-ai-bots
- `ar`: https://aistohire.com/ar/aeopro-dqq-hl-ysttia-chatgpt-wperplexity-alastshhad-bmuqak-198/f/tadqiq-robots-txt-botat-althaka2-alistinaa3i
- `no`: https://aistohire.com/no/aeopro-sjekk-om-chatgpt-og-perplexity-kan-sitere-nettstedet-ditt-198/f/revisjon-robots-txt-ki-roboter
- `fi`: https://aistohire.com/fi/aeopro-auditoi-voivatko-chatgpt-ja-perplexity-lainata-sivustoasi-198/f/robots-txt-tekoalybotit-auditointi
- `zh`: https://aistohire.com/zh/aeopro-aeo-geo-audit-198/f/robots-txt-ai-bots-audit
- `pl`: https://aistohire.com/pl/aeopro-sprawdz-czy-chatgpt-i-perplexity-zacytuja-twoja-strone-198/f/audyt-robots-txt-boty-ai
- `he`: https://aistohire.com/he/aeopro-bdko-am-chatgpt-v-perplexity-ykolim-ltstt-at-hatr-shlkm-198/f/bdikat-robots-txt-botim-bina-melachutit
- `cs`: https://aistohire.com/cs/aeopro-zjisti-zda-chatgpt-a-perplexity-mohou-citovat-tvuj-web-198/f/audit-robots-txt-ai-boti
- `id`: https://aistohire.com/id/aeopro-audit-apakah-chatgpt-dan-perplexity-bisa-kutip-situs-anda-198/f/audit-robots-txt-bot-ai
