Robots.txt para bots de IA

Comprueba si tu robots.txt está bloqueando a los bots de IA

Pega una URL y Aeopro cruza tu robots.txt con los 11 bots de ChatGPT, Claude, Perplexity y Bing, y te enseña la línea exacta que les cierra la puerta.

Un Disallow mal puesto puede costarte lo único que hoy te trae visitas desde una IA: la cita.

Aeopro descarga tu /robots.txt, lo parsea por grupos de User-agent y evalúa, bot a bot, si la URL que estás auditando queda permitida o bloqueada. No busca tu nombre de bot «a ojo» en el fichero: aplica las reglas de verdad: el grupo específico gana sobre el comodín *, y dentro del grupo manda la regla con el patrón más largo, con el Allow desempatando frente al Disallow. Soporta los comodines * y $ en las rutas, así que un Disallow: /*?* o un Allow: /blog/$ se interpretan como los interpreta el crawler, no como parecen a primera vista.

El resultado es una matriz de 11 bots con su clase al lado: OAI-SearchBot, ChatGPT-User, Claude-User, Claude-SearchBot, PerplexityBot y Bingbot son bots de respuesta —los que buscan, citan y enlazan—; GPTBot, ClaudeBot, Google-Extended, Applebot-Extended y CCBot son de entrenamiento. Esa distinción es la clave de todo el informe: si bloqueas un bot de respuesta, el hallazgo entra como bloqueante y pone techo a tu puntuación AEO, porque sin acceso no hay cita posible. Si bloqueas uno de entrenamiento, el hallazgo es informativo: no querer que tu contenido entre en un dataset es una decisión legítima y Aeopro no te la discute.

Cada bot bloqueado llega con la prueba: el semáforo en rojo, el grupo de User-agent que le aplica y la línea exacta del fichero que lo provoca, copiada tal cual. No tienes que releer tu robots.txt buscando el culpable, lo tienes delante.

Aeopro también cubre los fallos que no son un Disallow. Si tu /robots.txt devuelve una página HTML —típico de un 404 maquetado o de un router SPA que se queda con todo— o responde con un error 500, lo detecta y lo levanta como hallazgo: los bots lo tratan como «sin restricciones», pero es señal de descuido. Y si hay un Crawl-delay por encima de 10 segundos, te avisa, porque a ese ritmo algunos crawlers desisten de leerte entero. Si directamente no tienes robots.txt, el informe te lo dice sin penalizarte: la ausencia no bloquea a nadie.

Ventajas de Robots.txt para bots de IA

Separa bloquear de ser invisible

bloquear un bot de entrenamiento es una decisión tuya y sale como informativo. Bloquear un bot de respuesta es desaparecer de las respuestas de ChatGPT o Perplexity, y eso sí es un hallazgo bloqueante que pone techo a tu puntuación AEO.

Precedencia real, no búsqueda de texto

grupo específico por encima del comodín *, patrón más largo por encima del corto y Allow ganando el desempate, con soporte de * y $ en las rutas. Es la misma lógica que aplica el crawler, así que el veredicto es el que vas a tener de verdad.

La línea exacta que te bloquea

cada bot en rojo viene con el grupo de User-agent que le aplica y el texto literal de la línea causante. Se acabó leer 200 líneas de robots.txt a mano para encontrar el Disallow que sobra.

Los 11 bots que importan ahora, con su clase

los seis de respuesta (OAI-SearchBot, ChatGPT-User, Claude-User, Claude-SearchBot, PerplexityBot, Bingbot) y los cinco de entrenamiento (GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot), evaluados contra la URL concreta que auditas, no solo contra la raíz del dominio.

Caza los fallos silenciosos

un /robots.txt que sirve HTML en vez de texto plano, uno que responde 500 o un Crawl-delay absurdo por encima de 10 segundos. Fallos que no aparecen en ninguna herramienta de SEO clásico y que delatan un servidor mal configurado.

El arreglo ya escrito, y sin gastar IA

desde el propio hallazgo generas el parche de robots.txt con un interruptor por bot. Eliges a quién abres, el fichero final se regenera en vivo con tu robots.txt actual más el bloque nuevo, y lo copias. Es determinista: no consume tokens.

Gratis de repetir

la auditoría de robots.txt forma parte de las comprobaciones deterministas del informe. Cambias el fichero, lo despliegas, vuelves a analizar y el delta te dice si el hallazgo se cerró. Tantas veces como quieras.

Stephen Ramos

Averigua en un minuto a qué bots de IA estás cerrando la puerta

Pega una URL y recibe la matriz de los 11 bots, la línea exacta que bloquea a cada uno y el parche listo para copiar.

Comprobar robots.txt para bots de IA: ¿bloqueas a GPTBot o ChatGPT?