Robots.txt pour bots IA

Vérifiez si votre robots.txt bloque les bots IA

Collez une URL et Aeopro croise votre robots.txt avec les 11 bots de ChatGPT, Claude, Perplexity et Bing, et vous montre la ligne exacte qui leur ferme la porte.

Un Disallow mal placé peut vous coûter ce qui vous apporte aujourd'hui des visites depuis une IA : la citation.

Aeopro télécharge votre /robots.txt, le parse par groupes d'User-agent et évalue, bot par bot, si l'URL que vous auditez est autorisée ou bloquée. Il ne cherche pas votre nom de bot « à l'œil » dans le fichier : il applique les règles de vérité : le groupe spécifique l'emporte sur le joker *, et au sein du groupe, la règle avec le motif le plus long prime, avec le Allow départageant face au Disallow. Il prend en charge les jokers * et $ dans les chemins, donc un Disallow: /*?* ou un Allow: /blog/$ sont interprétés comme le crawler les interprète, pas comme ils semblent à première vue.

Le résultat est une matrice de 11 bots avec leur classe à côté : OAI-SearchBot, ChatGPT-User, Claude-User, Claude-SearchBot, PerplexityBot et Bingbot sont des bots de réponse —ceux qui cherchent, citent et lient— ; GPTBot, ClaudeBot, Google-Extended, Applebot-Extended et CCBot sont des bots d'entraînement. Cette distinction est la clé de tout le rapport : si vous bloquez un bot de réponse, la découverte entre comme bloquante et limite votre score AEO, car sans accès, aucune citation possible. Si vous bloquez un bot d'entraînement, la découverte est informative : ne pas vouloir que votre contenu entre dans un dataset est une décision légitime et Aeopro ne la conteste pas.

Chaque bot bloqué arrive avec la preuve : le feu rouge, le groupe d'User-agent qui s'applique et la ligne exacte du fichier qui le provoque, copiée telle quelle. Vous n'avez pas à relire votre robots.txt à la recherche du coupable, vous l'avez devant vous.

Aeopro couvre également les erreurs qui ne sont pas un Disallow. Si votre /robots.txt renvoie une page HTML —typique d'un 404 maquetté ou d'un routeur SPA qui garde tout— ou répond avec une erreur 500, il le détecte et le signale comme découverte : les bots le traitent comme « sans restrictions », mais c'est un signe de négligence. Et s'il y a un Crawl-delay supérieur à 10 secondes, il vous avertit, car à ce rythme, certains crawlers abandonnent la lecture complète. Si vous n'avez pas de robots.txt, le rapport vous le dit sans vous pénaliser : l'absence ne bloque personne.

Avantages de Robots.txt pour bots IA

Séparez le blocage d'être invisible

bloquer un bot d'entraînement est une décision qui vous appartient et est considérée comme informative. Bloquer un bot de réponse, c'est disparaître des réponses de ChatGPT ou Perplexity, et cela constitue une découverte bloquante qui limite votre score AEO.

Priorité réelle, pas de recherche de texte

groupe spécifique au-dessus du joker *, motif plus long au-dessus du court et Allow gagnant en cas d'égalité, avec support de * et $ dans les chemins. C'est la même logique que celle appliquée par le crawler, donc le verdict est celui que tu auras vraiment.

La ligne exacte qui te bloque

chaque bot en rouge vient avec le groupe d'User-agent qui lui est appliqué et le texte littéral de la ligne causante. Fini de lire 200 lignes de robots.txt à la main pour trouver le Disallow superflu.

Les 11 bots qui comptent maintenant, avec leur classe

les six de réponse (OAI-SearchBot, ChatGPT-User, Claude-User, Claude-SearchBot, PerplexityBot, Bingbot) et les cinq d'entraînement (GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot), évalués par rapport à l'URL spécifique que tu audites, pas seulement par rapport à la racine du domaine.

Repérer les erreurs silencieuses

un /robots.txt qui sert du HTML au lieu de texte brut, un qui répond 500 ou un Crawl-delay absurde supérieur à 10 secondes. Des erreurs qui n'apparaissent dans aucun outil SEO classique et qui trahissent un serveur mal configuré.

Le correctif déjà écrit, sans utiliser d'IA

depuis la découverte elle-même, tu génères le patch de robots.txt avec un interrupteur par bot. Tu choisis à qui tu ouvres, le fichier final se régénère en direct avec ton robots.txt actuel plus le nouveau bloc, et tu le copies. C'est déterministe : ça ne consomme pas de tokens.

Gratuit à répéter

l'audit de robots.txt fait partie des vérifications déterministes du rapport. Tu modifies le fichier, le déploies, réanalyses et le delta te dit si la découverte est close. Autant de fois que tu le souhaites.

Stephen Ramos

Découvrez en une minute quels bots IA vous bloquez

Collez une URL et recevez la matrice des 11 bots, la ligne exacte qui bloque chacun d'eux et le correctif prêt à copier.

Vérifier robots.txt pour bots IA : bloquez-vous GPTBot ou ChatGPT ?