# Robots.txt voor AI-bots controleren: blokkeer je GPTBot of ChatGPT?

> Analyseer je robots.txt tegen 11 AI-bots (GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot…). Je ziet welke bots je blokkeert, de exacte regel die het veroorzaakt en de patch die klaar is om te kopiëren.

- **Bron (source):** https://aistohire.com/nl/aeopro-controleer-of-chatgpt-en-perplexity-je-site-kunnen-citeren-198/f/robots-txt-audit-ai-bots
- **Platform (platform):** AIstoHire
- **Taal (language):** nl

## In het kort

- Controleer of je robots.txt AI-bots blokkeert
- Plak een URL en Aeopro kruist je robots.txt met de 11 bots van ChatGPT, Claude, Perplexity en Bing en toont je de exacte regel die voor hen de deur dichtdoet.
- Onderscheidt blokkeren van onzichtbaar zijn
- Echte voorrang, geen tekstzoekactie
- De exacte regel die je blokkeert

## Controleer of je robots.txt AI-bots blokkeert

Aeopro downloadt je /robots.txt, parset het per User-agent-groep en evalueert, bot voor bot, of de URL die je auditeert wordt toegestaan of geblokkeerd. Ze zoekt de naam van je bot niet "op het oog" in het bestand: ze past de echte regels toe: de specifieke groep wint van de wildcard *, en binnen de groep geldt de regel met het langste patroon, waarbij Allow de gelijkstand beslist tegenover Disallow. Ze ondersteunt de wildcards * en $ in paden, dus een Disallow: /*?*  of een Allow: /blog/$ worden geïnterpreteerd zoals de crawler ze interpreteert, niet zoals ze op het eerste gezicht lijken.

Het resultaat is een matrix van 11 bots met hun klasse ernaast: OAI-SearchBot, ChatGPT-User, Claude-User, Claude-SearchBot, PerplexityBot en Bingbot zijn antwoordbots (die zoeken, citeren en linken); GPTBot, ClaudeBot, Google-Extended, Applebot-Extended en CCBot zijn trainingsbots. Dat onderscheid is de sleutel van het hele rapport: als je een antwoordbot blokkeert, komt de bevinding binnen als blokkerend en legt ze een plafond op je AEO-score, want zonder toegang is er geen citatie mogelijk. Als je een trainingsbot blokkeert, is de bevinding informatief: niet willen dat je content in een dataset terechtkomt is een legitieme beslissing en Aeopro bespreekt die niet met je.

Elke geblokkeerde bot komt met het bewijs: het rode stoplicht, de User-agent-groep die op hem van toepassing is en de exacte regel van het bestand die het veroorzaakt, letterlijk gekopieerd. Je hoeft je robots.txt niet opnieuw te lezen op zoek naar de schuldige, je hebt hem voor je.

Aeopro dekt ook de fouten die geen Disallow zijn. Als je /robots.txt een HTML-pagina teruggeeft (typisch voor een opgemaakte 404 of een SPA-router die alles overneemt) of met een 500-fout antwoordt, detecteert ze dat en meldt ze het als bevinding: bots behandelen het als "geen beperkingen", maar het is een teken van nalatigheid. En als er een Crawl-delay van meer dan 10 seconden staat, waarschuwt ze je, omdat sommige crawlers bij dat tempo afzien van het volledig lezen van je site. Als je helemaal geen robots.txt hebt, zegt het rapport dat zonder je te straffen: de afwezigheid blokkeert niemand.

## Wat erbij hoort

- **Onderscheidt blokkeren van onzichtbaar zijn** — een trainingsbot blokkeren is jouw beslissing en komt als informatief naar voren. Een antwoordbot blokkeren is verdwijnen uit de antwoorden van ChatGPT of Perplexity, en dat is wel een blokkerende bevinding die een plafond legt op je AEO-score.
- **Echte voorrang, geen tekstzoekactie** — specifieke groep boven de wildcard *, langer patroon boven korter patroon en Allow dat de gelijkstand beslist, met ondersteuning van * en $ in de paden. Het is dezelfde logica die de crawler toepast, dus het oordeel is dat wat je echt zult krijgen.
- **De exacte regel die je blokkeert** — elke bot in het rood komt met de User-agent-groep die op hem van toepassing is en de letterlijke tekst van de veroorzakende regel. Je hoeft niet meer 200 regels robots.txt met de hand te lezen om de overbodige Disallow te vinden.
- **De 11 bots die er nu toe doen, met hun klasse** — de zes voor antwoorden (OAI-SearchBot, ChatGPT-User, Claude-User, Claude-SearchBot, PerplexityBot, Bingbot) en de vijf voor training (GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot), geëvalueerd tegen de concrete URL die je auditeert, niet alleen tegen de root van het domein.
- **Spoort de stille fouten op** — een /robots.txt die HTML serveert in plaats van platte tekst, een die 500 teruggeeft of een absurde Crawl-delay van meer dan 10 seconden. Fouten die in geen enkele klassieke SEO-tool verschijnen en die een slecht geconfigureerde server verraden.
- **De oplossing al geschreven, en zonder AI te verbruiken** — vanuit de bevinding zelf genereer je de patch voor robots.txt met een schakelaar per bot. Jij kiest voor wie je opent, het uiteindelijke bestand wordt live opnieuw gegenereerd met je huidige robots.txt plus het nieuwe blok, en je kopieert het. Het is deterministisch: het verbruikt geen tokens.
- **Gratis te herhalen** — de audit van robots.txt maakt deel uit van de deterministische controles van het rapport. Je wijzigt het bestand, rolt het uit, analyseert opnieuw en het verschil vertelt je of de bevinding is gesloten. Zo vaak je wilt.

## Veelgestelde vragen

### Hoe weet ik of mijn robots.txt ChatGPT blokkeert?

Plak de URL in Aeopro: de app downloadt je /robots.txt, parset het per User-agent-groep en evalueert die concrete URL tegen de 11 AI-bots. In de kaart "Toegang van AI-bots" zie je elk van hen met een groen of rood stoplicht. Voor ChatGPT zijn er twee verschillende bots en je haalt ze best niet door elkaar: OAI-SearchBot en ChatGPT-User zijn die voor antwoorden, degene die bronnen zoeken en citeren in een gesprek; GPTBot is die voor training. Als je geciteerd wilt worden, zijn de eerste twee degene die je niet mag blokkeren.

### Wat is het verschil tussen een antwoordbot en een trainingsbot?

Een trainingsbot (GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot) verzamelt content om modellen te trainen. Hem blokkeren is een legitieme beslissing en Aeopro markeert dat als informatief, zonder je score te straffen. Een antwoordbot (OAI-SearchBot, ChatGPT-User, Claude-User, Claude-SearchBot, PerplexityBot, Bingbot) komt je pagina lezen op het moment dat iemand iets vraagt, en is degene die je citeert en linkt in het antwoord. Hem blokkeren staat gelijk aan niet bestaan voor die AI: daarom komt die bevinding binnen als blokkerend en legt ze een plafond op de AEO-score van het rapport.

### Waarom lijkt mijn robots.txt toelatend terwijl de tool zegt dat ik bots blokkeer?

Bijna altijd is het een probleem van voorrang. Als je een specifieke groep hebt voor een bot, vervangt die groep die van de wildcard * volledig: de toelatende regels van * gelden dan niet meer voor hem. En binnen een groep wint niet de eerste of de laatste regel, maar die met het langste patroon, waarbij Allow de gelijkstand beslist tegenover Disallow. Voeg de wildcards * en $ toe en het is gemakkelijk dat een Disallow die bedoeld was voor zoekparameters uiteindelijk de helft van de website afdekt. Aeopro past die regels toe zoals de crawler en toont je de exacte regel die het oordeel bepaalt, zodat je ziet waar de blokkade vandaan komt.

### Wat gebeurt er als ik geen robots.txt heb, of als hij een fout teruggeeft?

Geen robots.txt hebben blokkeert niemand en Aeopro straft je daar niet voor: ze vermeldt het en gaat verder. Wat wel een bevinding oplevert, is dat het bestand kapot is: als je /robots.txt een HTML-pagina teruggeeft in plaats van platte tekst (heel gebruikelijk bij single-page-websites, waar de router alle paden overneemt) of als het met een 500-fout antwoordt. Bots interpreteren dat als "geen beperkingen", dus het sluit de deur niet voor je, maar het is een symptoom van een slecht geconfigureerde server. Ze waarschuwt je ook voor een Crawl-delay van meer dan 10 seconden, omdat sommige crawlers bij dat tempo opgeven voordat ze je volledige site hebben gelezen.

### Geeft Aeopro me de gecorrigeerde robots.txt of alleen de diagnose?

Ze geeft hem je gecorrigeerd. Vanuit de bevinding open je de patch voor robots.txt, met een schakelaar voor elke geblokkeerde bot: jij beslist voor wie je opent en wie je buiten laat, en het volledige bestand wordt live opnieuw gegenereerd door je huidige robots.txt te combineren met het nieuwe blok toestemmingen, gebruikmakend van het feit dat de specifieke groep wint van de wildcard. Je kopieert het en uploadt het. Deze patch wordt zonder AI samengesteld: ze is deterministisch en verbruikt geen tokens, net als de audit zelf, dus je kunt daarna opnieuw analyseren om te bevestigen dat de bevinding is gesloten.

- [Aeopro — AEO-audit: zorg dat AI je kan lezen en citeren](https://aistohire.com/nl/aeopro-controleer-of-chatgpt-en-perplexity-je-site-kunnen-citeren-198)

## Over het platform

**Aeopro — AEO-audit: zorg dat AI je kan lezen en citeren** — app van AIstoHire. Beschikbaar in: https://aistohire.com/nl/aeopro-controleer-of-chatgpt-en-perplexity-je-site-kunnen-citeren-198/f/robots-txt-audit-ai-bots

### Andere talen

- `es`: https://aistohire.com/es/aeopro-auditoria-aeo-visibilidad-en-ia-198/f/auditoria-robots-txt-bots-ia
- `en`: https://aistohire.com/aeopro-aeo-audit-ai-visibility-198/f/robots-txt-audit-ai-bots
- `fr`: https://aistohire.com/fr/aeopro-audit-aeo-visibilite-ia-198/f/audit-robots-txt-bots-ia
- `it`: https://aistohire.com/it/aeopro-audit-aeo-visibilita-ia-198/f/audit-robots-txt-bot-ia
- `pt`: https://aistohire.com/pt/aeopro-auditoria-aeo-visibilidade-ia-198/f/auditoria-robots-txt-bots-ia
- `de`: https://aistohire.com/de/aeopro-aeo-audit-ki-sichtbarkeit-198/f/robots-txt-audit-ki-bots
- `bg`: https://aistohire.com/bg/aeopro-proverete-dali-chatgpt-i-perplexity-mogat-da-tsitirat-sayta-vi-198/f/odit-na-robots-txt-za-ai-botove
- `ja`: https://aistohire.com/ja/aeo-kansa-ai-inyo-taisaku-198/f/robots-txt-ai-bot-kansa
- `ko`: https://aistohire.com/ko/aeopro-aeo-audit-ai-inyong-198/f/robots-txt-ai-bot-jeomgeom
- `sv`: https://aistohire.com/sv/aeopro-granska-om-chatgpt-och-perplexity-kan-citera-din-webbplats-198/f/granskning-robots-txt-ai-botar
- `da`: https://aistohire.com/da/aeopro-tjek-om-chatgpt-og-perplexity-kan-citere-dit-websted-198/f/audit-af-robots-txt-for-ai-bots
- `ar`: https://aistohire.com/ar/aeopro-dqq-hl-ysttia-chatgpt-wperplexity-alastshhad-bmuqak-198/f/tadqiq-robots-txt-botat-althaka2-alistinaa3i
- `no`: https://aistohire.com/no/aeopro-sjekk-om-chatgpt-og-perplexity-kan-sitere-nettstedet-ditt-198/f/revisjon-robots-txt-ki-roboter
- `fi`: https://aistohire.com/fi/aeopro-auditoi-voivatko-chatgpt-ja-perplexity-lainata-sivustoasi-198/f/robots-txt-tekoalybotit-auditointi
- `zh`: https://aistohire.com/zh/aeopro-aeo-geo-audit-198/f/robots-txt-ai-bots-audit
- `pl`: https://aistohire.com/pl/aeopro-sprawdz-czy-chatgpt-i-perplexity-zacytuja-twoja-strone-198/f/audyt-robots-txt-boty-ai
- `he`: https://aistohire.com/he/aeopro-bdko-am-chatgpt-v-perplexity-ykolim-ltstt-at-hatr-shlkm-198/f/bdikat-robots-txt-botim-bina-melachutit
- `cs`: https://aistohire.com/cs/aeopro-zjisti-zda-chatgpt-a-perplexity-mohou-citovat-tvuj-web-198/f/audit-robots-txt-ai-boti
- `id`: https://aistohire.com/id/aeopro-audit-apakah-chatgpt-dan-perplexity-bisa-kutip-situs-anda-198/f/audit-robots-txt-bot-ai
