# Vérifier robots.txt pour bots IA : bloquez-vous GPTBot ou ChatGPT ?

> Analysez votre robots.txt contre 11 bots IA (GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot…). Vous verrez quels bots vous bloquez, la ligne exacte qui le cause et le correctif prêt à copier.

- **Source (source):** https://aistohire.com/fr/aeopro-audit-aeo-visibilite-ia-198/f/audit-robots-txt-bots-ia
- **Plateforme (platform):** AIstoHire
- **Langue (language):** fr

## En résumé

- Vérifiez si votre robots.txt bloque les bots IA
- Collez une URL et Aeopro croise votre robots.txt avec les 11 bots de ChatGPT, Claude, Perplexity et Bing, et vous montre la ligne exacte qui leur ferme la porte.
- Séparez le blocage d'être invisible
- Priorité réelle, pas de recherche de texte
- La ligne exacte qui te bloque

## Vérifiez si votre robots.txt bloque les bots IA

Aeopro télécharge votre /robots.txt, le parse par groupes d'User-agent et évalue, bot par bot, si l'URL que vous auditez est autorisée ou bloquée. Il ne cherche pas votre nom de bot « à l'œil » dans le fichier : il applique les règles de vérité : le groupe spécifique l'emporte sur le joker *, et au sein du groupe, la règle avec le motif le plus long prime, avec le Allow départageant face au Disallow. Il prend en charge les jokers * et $ dans les chemins, donc un Disallow: /*?* ou un Allow: /blog/$ sont interprétés comme le crawler les interprète, pas comme ils semblent à première vue.

Le résultat est une matrice de 11 bots avec leur classe à côté : OAI-SearchBot, ChatGPT-User, Claude-User, Claude-SearchBot, PerplexityBot et Bingbot sont des bots de réponse —ceux qui cherchent, citent et lient— ; GPTBot, ClaudeBot, Google-Extended, Applebot-Extended et CCBot sont des bots d'entraînement. Cette distinction est la clé de tout le rapport : si vous bloquez un bot de réponse, la découverte entre comme bloquante et limite votre score AEO, car sans accès, aucune citation possible. Si vous bloquez un bot d'entraînement, la découverte est informative : ne pas vouloir que votre contenu entre dans un dataset est une décision légitime et Aeopro ne la conteste pas.

Chaque bot bloqué arrive avec la preuve : le feu rouge, le groupe d'User-agent qui s'applique et la ligne exacte du fichier qui le provoque, copiée telle quelle. Vous n'avez pas à relire votre robots.txt à la recherche du coupable, vous l'avez devant vous.

Aeopro couvre également les erreurs qui ne sont pas un Disallow. Si votre /robots.txt renvoie une page HTML —typique d'un 404 maquetté ou d'un routeur SPA qui garde tout— ou répond avec une erreur 500, il le détecte et le signale comme découverte : les bots le traitent comme « sans restrictions », mais c'est un signe de négligence. Et s'il y a un Crawl-delay supérieur à 10 secondes, il vous avertit, car à ce rythme, certains crawlers abandonnent la lecture complète. Si vous n'avez pas de robots.txt, le rapport vous le dit sans vous pénaliser : l'absence ne bloque personne.

## Ce qui est inclus

- **Séparez le blocage d'être invisible** — bloquer un bot d'entraînement est une décision qui vous appartient et est considérée comme informative. Bloquer un bot de réponse, c'est disparaître des réponses de ChatGPT ou Perplexity, et cela constitue une découverte bloquante qui limite votre score AEO.
- **Priorité réelle, pas de recherche de texte** — groupe spécifique au-dessus du joker *, motif plus long au-dessus du court et Allow gagnant en cas d'égalité, avec support de * et $ dans les chemins. C'est la même logique que celle appliquée par le crawler, donc le verdict est celui que tu auras vraiment.
- **La ligne exacte qui te bloque** — chaque bot en rouge vient avec le groupe d'User-agent qui lui est appliqué et le texte littéral de la ligne causante. Fini de lire 200 lignes de robots.txt à la main pour trouver le Disallow superflu.
- **Les 11 bots qui comptent maintenant, avec leur classe** — les six de réponse (OAI-SearchBot, ChatGPT-User, Claude-User, Claude-SearchBot, PerplexityBot, Bingbot) et les cinq d'entraînement (GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot), évalués par rapport à l'URL spécifique que tu audites, pas seulement par rapport à la racine du domaine.
- **Repérer les erreurs silencieuses** — un /robots.txt qui sert du HTML au lieu de texte brut, un qui répond 500 ou un Crawl-delay absurde supérieur à 10 secondes. Des erreurs qui n'apparaissent dans aucun outil SEO classique et qui trahissent un serveur mal configuré.
- **Le correctif déjà écrit, sans utiliser d'IA** — depuis la découverte elle-même, tu génères le patch de robots.txt avec un interrupteur par bot. Tu choisis à qui tu ouvres, le fichier final se régénère en direct avec ton robots.txt actuel plus le nouveau bloc, et tu le copies. C'est déterministe : ça ne consomme pas de tokens.
- **Gratuit à répéter** — l'audit de robots.txt fait partie des vérifications déterministes du rapport. Tu modifies le fichier, le déploies, réanalyses et le delta te dit si la découverte est close. Autant de fois que tu le souhaites.

## Questions fréquentes

### Comment savoir si mon robots.txt bloque ChatGPT ?

Collez l'URL dans Aeopro : téléchargez votre /robots.txt, analysez-le par groupes d'User-agent et évaluez cette URL spécifique par rapport aux 11 bots d'IA. Dans la carte « Accès des bots d'IA », vous aurez chacun avec un feu vert ou rouge. Pour ChatGPT, il y a deux bots distincts qu'il ne faut pas confondre : OAI-SearchBot et ChatGPT-User sont ceux qui répondent, qui cherchent et citent des sources dans une conversation ; GPTBot est celui de l'entraînement. Si vous souhaitez être cité, vous ne pouvez pas bloquer les deux premiers.

### Quelle est la différence entre un bot de réponse et un bot d'entraînement ?

Un bot d'entraînement (GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot) collecte du contenu pour entraîner des modèles. Le bloquer est une décision légitime et Aeopro le marque comme informatif, sans pénaliser votre score. Un bot de réponse (OAI-SearchBot, ChatGPT-User, Claude-User, Claude-SearchBot, PerplexityBot, Bingbot) est celui qui lit votre page au moment où quelqu'un pose une question, et c'est celui qui vous cite et vous lie dans la réponse. Le bloquer équivaut à ne pas exister pour cette IA : c'est pourquoi cette découverte est considérée comme bloquante et limite le score AEO du rapport.

### Pourquoi mon robots.txt semble-t-il permissif et l'outil dit qu'il bloque des bots ?

C'est presque toujours un problème de priorité. Si vous avez un groupe spécifique pour un bot, ce groupe remplace complètement celui du joker * : les règles permissives du * ne s'appliquent plus. Et au sein d'un groupe, ce n'est pas la première règle ni la dernière qui l'emporte, mais celle avec le motif le plus long, avec le Allow départageant face au Disallow en cas d'égalité. Ajoutez les jokers * et $ et il est facile qu'un Disallow prévu pour les paramètres de recherche finisse par bloquer la moitié d'un site. Aeopro applique ces règles comme le crawler et vous montre la ligne exacte qui décide du verdict, vous permettant ainsi de voir d'où vient le blocage.

### Que se passe-t-il si je n'ai pas de robots.txt, ou s'il renvoie une erreur ?

Ne pas avoir de robots.txt ne bloque personne et Aeopro ne vous pénalise pas pour cela : il l'indique et continue. Ce qui soulève une découverte, c'est que le fichier soit cassé : si votre /robots.txt renvoie une page HTML au lieu de texte brut —très courant sur les sites d'une seule page, où le routeur conserve tous les chemins— ou s'il répond avec une erreur 500. Les bots l'interprètent comme « sans restrictions », donc cela ne vous ferme pas la porte, mais c'est le signe d'un serveur mal configuré. Il vous avertit également d'un Crawl-delay supérieur à 10 secondes, car à ce rythme, certains crawlers abandonnent avant de lire votre site complet.

### Aeopro me fournit-il le robots.txt corrigé ou seulement le diagnostic ?

Il vous le fournit corrigé. Depuis la découverte, vous ouvrez le patch de robots.txt, qui contient un interrupteur pour chaque bot bloqué : vous décidez qui vous ouvrez et qui vous laissez dehors, et le fichier complet se régénère en direct en combinant votre robots.txt actuel avec le nouveau bloc de permissions, profitant du fait que le groupe spécifique l'emporte sur le joker. Vous le copiez et le téléchargez. Ce patch est composé sans IA : il est déterministe et ne consomme pas de tokens, tout comme l'audit lui-même, donc vous pouvez réanalyser ensuite pour confirmer que la découverte est close.

- [Aeopro — Audit AEO : faites en sorte que l'IA puisse vous lire et vous citer](https://aistohire.com/fr/aeopro-audit-aeo-visibilite-ia-198)

## À propos de la plateforme

**Aeopro — Audit AEO : faites en sorte que l'IA puisse vous lire et vous citer** — une application de AIstoHire. Disponible sur: https://aistohire.com/fr/aeopro-audit-aeo-visibilite-ia-198/f/audit-robots-txt-bots-ia

### Autres langues

- `es`: https://aistohire.com/es/aeopro-auditoria-aeo-visibilidad-en-ia-198/f/auditoria-robots-txt-bots-ia
- `en`: https://aistohire.com/aeopro-aeo-audit-ai-visibility-198/f/robots-txt-audit-ai-bots
- `it`: https://aistohire.com/it/aeopro-audit-aeo-visibilita-ia-198/f/audit-robots-txt-bot-ia
- `pt`: https://aistohire.com/pt/aeopro-auditoria-aeo-visibilidade-ia-198/f/auditoria-robots-txt-bots-ia
- `de`: https://aistohire.com/de/aeopro-aeo-audit-ki-sichtbarkeit-198/f/robots-txt-audit-ki-bots
- `bg`: https://aistohire.com/bg/aeopro-proverete-dali-chatgpt-i-perplexity-mogat-da-tsitirat-sayta-vi-198/f/odit-na-robots-txt-za-ai-botove
- `ja`: https://aistohire.com/ja/aeo-kansa-ai-inyo-taisaku-198/f/robots-txt-ai-bot-kansa
- `nl`: https://aistohire.com/nl/aeopro-controleer-of-chatgpt-en-perplexity-je-site-kunnen-citeren-198/f/robots-txt-audit-ai-bots
- `ko`: https://aistohire.com/ko/aeopro-aeo-audit-ai-inyong-198/f/robots-txt-ai-bot-jeomgeom
- `sv`: https://aistohire.com/sv/aeopro-granska-om-chatgpt-och-perplexity-kan-citera-din-webbplats-198/f/granskning-robots-txt-ai-botar
- `da`: https://aistohire.com/da/aeopro-tjek-om-chatgpt-og-perplexity-kan-citere-dit-websted-198/f/audit-af-robots-txt-for-ai-bots
- `ar`: https://aistohire.com/ar/aeopro-dqq-hl-ysttia-chatgpt-wperplexity-alastshhad-bmuqak-198/f/tadqiq-robots-txt-botat-althaka2-alistinaa3i
- `no`: https://aistohire.com/no/aeopro-sjekk-om-chatgpt-og-perplexity-kan-sitere-nettstedet-ditt-198/f/revisjon-robots-txt-ki-roboter
- `fi`: https://aistohire.com/fi/aeopro-auditoi-voivatko-chatgpt-ja-perplexity-lainata-sivustoasi-198/f/robots-txt-tekoalybotit-auditointi
- `zh`: https://aistohire.com/zh/aeopro-aeo-geo-audit-198/f/robots-txt-ai-bots-audit
- `pl`: https://aistohire.com/pl/aeopro-sprawdz-czy-chatgpt-i-perplexity-zacytuja-twoja-strone-198/f/audyt-robots-txt-boty-ai
- `he`: https://aistohire.com/he/aeopro-bdko-am-chatgpt-v-perplexity-ykolim-ltstt-at-hatr-shlkm-198/f/bdikat-robots-txt-botim-bina-melachutit
- `cs`: https://aistohire.com/cs/aeopro-zjisti-zda-chatgpt-a-perplexity-mohou-citovat-tvuj-web-198/f/audit-robots-txt-ai-boti
- `id`: https://aistohire.com/id/aeopro-audit-apakah-chatgpt-dan-perplexity-bisa-kutip-situs-anda-198/f/audit-robots-txt-bot-ai
