Lim inn en URL, så krysser Aeopro robots.txt med de 11 robotene til ChatGPT, Claude, Perplexity og Bing og viser deg den nøyaktige linjen som stenger døren for dem.
En feilplassert Disallow kan koste deg det eneste som i dag gir deg besøk fra en KI: sitatet.
Aeopro laster ned /robots.txt, tolker den etter User-agent-grupper og vurderer, robot for robot, om URL-en du reviderer er tillatt eller blokkert. Den leter ikke etter robotnavnet ditt «på øyemål» i filen: den anvender de reelle reglene: den spesifikke gruppen vinner over jokertegnet *, og innenfor gruppen gjelder regelen med det lengste mønsteret, der Allow avgjør foran Disallow. Den støtter jokertegnene * og $ i stiene, så en Disallow: /*?* eller en Allow: /blog/$ tolkes slik crawleren tolker dem, ikke slik de ser ut ved første øyekast.
Resultatet er en matrise med 11 roboter med sin klasse ved siden av: OAI-SearchBot, ChatGPT-User, Claude-User, Claude-SearchBot, PerplexityBot og Bingbot er svarroboter, de som søker, siterer og lenker; GPTBot, ClaudeBot, Google-Extended, Applebot-Extended og CCBot er treningsroboter. Denne forskjellen er nøkkelen til hele rapporten: hvis du blokkerer en svarrobot, kommer funnet inn som blokkerende og setter tak på AEO-poengsummen din, for uten tilgang er det ikke mulig å bli sitert. Hvis du blokkerer en treningsrobot, er funnet informativt: å ikke ville ha innholdet ditt inn i et datasett er en legitim beslutning, og Aeopro diskuterer den ikke med deg.
Hver blokkert robot kommer med beviset: det røde trafikklyset, User-agent-gruppen som gjelder for den og den nøyaktige linjen i filen som forårsaker det, kopiert slik den står. Du trenger ikke lese robots.txt på nytt for å lete etter synderen, du har den foran deg.
Aeopro dekker også feilene som ikke er en Disallow. Hvis /robots.txt returnerer en HTML-side (typisk for en utformet 404 eller en SPA-ruter som tar alt) eller svarer med en 500-feil, oppdager den det og løfter det som et funn: robotene behandler det som «uten begrensninger», men det er et tegn på slurv. Og hvis det finnes en Crawl-delay over 10 sekunder, varsler den deg, fordi noen crawlere gir opp å lese deg helt i det tempoet. Hvis du rett og slett ikke har robots.txt, sier rapporten det uten å trekke deg: fraværet blokkerer ingen.
Skiller mellom å blokkere og å være usynlig
å blokkere en treningsrobot er din egen beslutning og vises som informativt. Å blokkere en svarrobot er å forsvinne fra svarene til ChatGPT eller Perplexity, og det er et blokkerende funn som setter tak på AEO-poengsummen din.
Reell presedens, ikke tekstsøk
spesifikk gruppe over jokertegnet *, lengste mønster over det korteste og Allow som vinner ved likhet, med støtte for * og $ i stiene. Det er den samme logikken crawleren bruker, så dommen er den du faktisk kommer til å få.
Den nøyaktige linjen som blokkerer deg
hver robot i rødt kommer med User-agent-gruppen som gjelder for den og den ordrette teksten på linjen som forårsaker det. Slutt å lese 200 linjer i robots.txt for hånd for å finne Disallow-linjen som er til overs.
De 11 robotene som betyr noe nå, med sin klasse
de seks svarrobotene (OAI-SearchBot, ChatGPT-User, Claude-User, Claude-SearchBot, PerplexityBot, Bingbot) og de fem treningsrobotene (GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot), vurdert mot den konkrete URL-en du reviderer, ikke bare mot domenets rot.
Fanger de stille feilene
en /robots.txt som serverer HTML i stedet for ren tekst, en som svarer 500 eller en urimelig Crawl-delay over 10 sekunder. Feil som ikke vises i noe klassisk SEO-verktøy og som avslører en dårlig konfigurert server.
Løsningen er allerede skrevet, og uten å bruke KI
fra selve funnet genererer du robots.txt-oppdateringen med en bryter per robot. Du velger hvem du åpner for, den endelige filen genereres på nytt direkte med din nåværende robots.txt pluss den nye blokken, og du kopierer den. Det er deterministisk: det bruker ikke tokens.
Gratis å gjenta
revisjonen av robots.txt er en del av de deterministiske kontrollene i rapporten. Du endrer filen, ruller den ut, analyserer på nytt, og deltaet forteller deg om funnet er lukket. Så mange ganger du vil.

Lim inn en URL og få matrisen over de 11 robotene, den nøyaktige linjen som blokkerer hver av dem og oppdateringen klar til å kopieres.