Plak een URL en Aeopro kruist je robots.txt met de 11 bots van ChatGPT, Claude, Perplexity en Bing en toont je de exacte regel die voor hen de deur dichtdoet.
Een verkeerd geplaatste Disallow kan je het enige kosten dat je vandaag bezoeken vanuit een AI oplevert: de citatie.
Aeopro downloadt je /robots.txt, parset het per User-agent-groep en evalueert, bot voor bot, of de URL die je auditeert wordt toegestaan of geblokkeerd. Ze zoekt de naam van je bot niet "op het oog" in het bestand: ze past de echte regels toe: de specifieke groep wint van de wildcard *, en binnen de groep geldt de regel met het langste patroon, waarbij Allow de gelijkstand beslist tegenover Disallow. Ze ondersteunt de wildcards * en $ in paden, dus een Disallow: /*?* of een Allow: /blog/$ worden geïnterpreteerd zoals de crawler ze interpreteert, niet zoals ze op het eerste gezicht lijken.
Het resultaat is een matrix van 11 bots met hun klasse ernaast: OAI-SearchBot, ChatGPT-User, Claude-User, Claude-SearchBot, PerplexityBot en Bingbot zijn antwoordbots (die zoeken, citeren en linken); GPTBot, ClaudeBot, Google-Extended, Applebot-Extended en CCBot zijn trainingsbots. Dat onderscheid is de sleutel van het hele rapport: als je een antwoordbot blokkeert, komt de bevinding binnen als blokkerend en legt ze een plafond op je AEO-score, want zonder toegang is er geen citatie mogelijk. Als je een trainingsbot blokkeert, is de bevinding informatief: niet willen dat je content in een dataset terechtkomt is een legitieme beslissing en Aeopro bespreekt die niet met je.
Elke geblokkeerde bot komt met het bewijs: het rode stoplicht, de User-agent-groep die op hem van toepassing is en de exacte regel van het bestand die het veroorzaakt, letterlijk gekopieerd. Je hoeft je robots.txt niet opnieuw te lezen op zoek naar de schuldige, je hebt hem voor je.
Aeopro dekt ook de fouten die geen Disallow zijn. Als je /robots.txt een HTML-pagina teruggeeft (typisch voor een opgemaakte 404 of een SPA-router die alles overneemt) of met een 500-fout antwoordt, detecteert ze dat en meldt ze het als bevinding: bots behandelen het als "geen beperkingen", maar het is een teken van nalatigheid. En als er een Crawl-delay van meer dan 10 seconden staat, waarschuwt ze je, omdat sommige crawlers bij dat tempo afzien van het volledig lezen van je site. Als je helemaal geen robots.txt hebt, zegt het rapport dat zonder je te straffen: de afwezigheid blokkeert niemand.
Onderscheidt blokkeren van onzichtbaar zijn
een trainingsbot blokkeren is jouw beslissing en komt als informatief naar voren. Een antwoordbot blokkeren is verdwijnen uit de antwoorden van ChatGPT of Perplexity, en dat is wel een blokkerende bevinding die een plafond legt op je AEO-score.
Echte voorrang, geen tekstzoekactie
specifieke groep boven de wildcard *, langer patroon boven korter patroon en Allow dat de gelijkstand beslist, met ondersteuning van * en $ in de paden. Het is dezelfde logica die de crawler toepast, dus het oordeel is dat wat je echt zult krijgen.
De exacte regel die je blokkeert
elke bot in het rood komt met de User-agent-groep die op hem van toepassing is en de letterlijke tekst van de veroorzakende regel. Je hoeft niet meer 200 regels robots.txt met de hand te lezen om de overbodige Disallow te vinden.
De 11 bots die er nu toe doen, met hun klasse
de zes voor antwoorden (OAI-SearchBot, ChatGPT-User, Claude-User, Claude-SearchBot, PerplexityBot, Bingbot) en de vijf voor training (GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot), geëvalueerd tegen de concrete URL die je auditeert, niet alleen tegen de root van het domein.
Spoort de stille fouten op
een /robots.txt die HTML serveert in plaats van platte tekst, een die 500 teruggeeft of een absurde Crawl-delay van meer dan 10 seconden. Fouten die in geen enkele klassieke SEO-tool verschijnen en die een slecht geconfigureerde server verraden.
De oplossing al geschreven, en zonder AI te verbruiken
vanuit de bevinding zelf genereer je de patch voor robots.txt met een schakelaar per bot. Jij kiest voor wie je opent, het uiteindelijke bestand wordt live opnieuw gegenereerd met je huidige robots.txt plus het nieuwe blok, en je kopieert het. Het is deterministisch: het verbruikt geen tokens.
Gratis te herhalen
de audit van robots.txt maakt deel uit van de deterministische controles van het rapport. Je wijzigt het bestand, rolt het uit, analyseert opnieuw en het verschil vertelt je of de bevinding is gesloten. Zo vaak je wilt.

Plak een URL en ontvang de matrix van de 11 bots, de exacte regel die elk van hen blokkeert en de patch die klaar is om te kopiëren.