Indsæt en URL, og Aeopro krydser din robots.txt med de 11 bots fra ChatGPT, Claude, Perplexity og Bing og viser dig den præcise linje, der lukker døren for dem.
En fejlplaceret Disallow kan koste dig det eneste, der i dag giver dig besøg fra en AI: citationen.
Aeopro henter din /robots.txt, parser den efter User-agent-grupper og vurderer, bot for bot, om den URL, du auditerer, er tilladt eller blokeret. Den leder ikke efter din bots navn «på øjemål» i filen: den anvender reglerne på ægte: den specifikke gruppe vinder over jokertegnet *, og inden for gruppen gælder reglen med det længste mønster, hvor Allow afgør uafgjort over for Disallow. Den understøtter jokertegnene * og $ i stierne, så en Disallow: /*?* eller en Allow: /blog/$ fortolkes, som crawleren fortolker dem, ikke som de ser ud ved første øjekast.
Resultatet er en matrix over 11 bots med deres klasse ved siden af: OAI-SearchBot, ChatGPT-User, Claude-User, Claude-SearchBot, PerplexityBot og Bingbot er svar-bots, dem der søger, citerer og linker; GPTBot, ClaudeBot, Google-Extended, Applebot-Extended og CCBot er trænings-bots. Den skelnen er nøglen til hele rapporten: hvis du blokerer en svar-bot, kommer fundet ind som blokerende og sætter loft over din AEO-score, for uden adgang er der ingen mulig citation. Hvis du blokerer en trænings-bot, er fundet informativt: at ville holde sit indhold ude af et datasæt er en legitim beslutning, og Aeopro diskuterer den ikke med dig.
Hver blokeret bot kommer med beviset: det røde trafiklys, den User-agent-gruppe, der gælder for den, og den præcise linje i filen, der forårsager det, kopieret ordret. Du behøver ikke genlæse din robots.txt for at lede efter synderen, du har den foran dig.
Aeopro dækker også de fejl, der ikke er en Disallow. Hvis din /robots.txt returnerer en HTML-side, typisk for en opsat 404 eller en SPA-router, der tager det hele, eller svarer med en 500-fejl, opdager den det og løfter det som et fund: bots behandler det som «uden restriktioner», men det er et tegn på sjusk. Og hvis der er en Crawl-delay over 10 sekunder, advarer den dig, for ved det tempo opgiver nogle crawlere at læse dig helt. Hvis du slet ikke har en robots.txt, siger rapporten det uden at straffe dig: fraværet blokerer ingen.
Adskiller det at blokere fra det at være usynlig
at blokere en trænings-bot er din egen beslutning og vises som informativt. At blokere en svar-bot er at forsvinde fra svarene i ChatGPT eller Perplexity, og det er et blokerende fund, der sætter loft over din AEO-score.
Reel præcedens, ikke tekstsøgning
den specifikke gruppe over jokertegnet *, det længste mønster over det korte og Allow, der vinder ved uafgjort, med understøttelse af * og $ i stierne. Det er den samme logik, som crawleren anvender, så dommen er den, du faktisk får.
Den præcise linje, der blokerer dig
hver rød bot kommer med den User-agent-gruppe, der gælder for den, og den bogstavelige tekst på den linje, der forårsager det. Slut med at læse 200 linjer robots.txt i hånden for at finde den Disallow, der er til overs.
De 11 bots, der betyder noget nu, med deres klasse
de seks svar-bots (OAI-SearchBot, ChatGPT-User, Claude-User, Claude-SearchBot, PerplexityBot, Bingbot) og de fem trænings-bots (GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot), vurderet mod den konkrete URL, du auditerer, ikke kun mod domænets rod.
Fanger de stille fejl
en /robots.txt, der serverer HTML i stedet for ren tekst, en der svarer 500, eller en absurd Crawl-delay over 10 sekunder. Fejl, der ikke vises i noget klassisk SEO-værktøj, og som afslører en dårligt konfigureret server.
Rettelsen er allerede skrevet, og uden at bruge AI
fra selve fundet genererer du robots.txt-rettelsen med en kontakt pr. bot. Du vælger, hvem du åbner for, den endelige fil genereres live med din nuværende robots.txt plus den nye blok, og du kopierer den. Den er deterministisk: den bruger ikke tokens.
Gratis at gentage
robots.txt-auditten er en del af rapportens deterministiske kontroller. Du ændrer filen, udruller den, analyserer igen, og deltaet fortæller dig, om fundet blev lukket. Så mange gange, du vil.

Indsæt en URL og få matrixen over de 11 bots, den præcise linje, der blokerer hver enkelt, og rettelsen klar til at kopiere.