Robots.txt för AI-botar

Kontrollera om din robots.txt blockerar AI-botar

Klistra in en URL sÄ korsar Aeopro din robots.txt med de 11 botarna frÄn ChatGPT, Claude, Perplexity och Bing och visar dig exakt vilken rad som stÀnger dörren för dem.

En felplacerad Disallow kan kosta dig det enda som i dag ger dig besök frÄn en AI: citatet.

Aeopro hÀmtar din /robots.txt, tolkar den per User-agent-grupp och utvÀrderar, bot för bot, om den URL du granskar Àr tillÄten eller blockerad. Den letar inte efter botens namn "pÄ ögonmÄtt" i filen: den tillÀmpar reglerna pÄ riktigt. Den specifika gruppen vinner över jokertecknet *, och inom gruppen gÀller regeln med det lÀngsta mönstret, dÀr Allow avgör till sin fördel framför Disallow vid lika. Den stöder jokertecknen * och $ i sökvÀgarna, sÄ en Disallow: /*?* eller en Allow: /blog/$ tolkas som crawlern tolkar dem, inte som de ser ut vid en första anblick.

Resultatet Ă€r en matris med 11 botar med sin klass bredvid: OAI-SearchBot, ChatGPT-User, Claude-User, Claude-SearchBot, PerplexityBot och Bingbot Ă€r svarsbotar –de som söker, citerar och lĂ€nkar–, medan GPTBot, ClaudeBot, Google-Extended, Applebot-Extended och CCBot Ă€r trĂ€ningsbotar. Den skillnaden Ă€r nyckeln till hela rapporten: om du blockerar en svarsbot blir fyndet blockerande och sĂ€tter ett tak för din AEO-poĂ€ng, eftersom det utan Ă„tkomst inte gĂ„r att bli citerad. Om du blockerar en trĂ€ningsbot Ă€r fyndet informativt: att inte vilja att ditt innehĂ„ll hamnar i ett dataset Ă€r ett legitimt beslut, och Aeopro ifrĂ„gasĂ€tter det inte.

Varje blockerad bot kommer med beviset: det röda trafikljuset, den User-agent-grupp som gÀller för den och den exakta raden i filen som orsakar det, kopierad ordagrant. Du behöver inte lÀsa om din robots.txt pÄ jakt efter bovens rad, du har den framför dig.

Aeopro tĂ€cker ocksĂ„ fel som inte Ă€r en Disallow. Om din /robots.txt returnerar en HTML-sida –typiskt för en formgiven 404 eller en SPA-router som tar hand om allt– eller svarar med ett 500-fel, upptĂ€cker den det och lyfter fram det som ett fynd: botarna behandlar det som "inga begrĂ€nsningar", men det Ă€r ett tecken pĂ„ slarv. Och om det finns en Crawl-delay över 10 sekunder varnar den dig, eftersom vissa crawlers i det tempot ger upp innan de har lĂ€st dig helt. Om du helt enkelt inte har nĂ„gon robots.txt sĂ€ger rapporten det utan att straffa dig: avsaknaden blockerar ingen.

Fördelar med Robots.txt för AI-botar

Skilj pÄ att blockera och att vara osynlig

att blockera en trÀningsbot Àr ditt eget beslut och visas som information. Att blockera en svarsbot innebÀr att du försvinner ur svaren i ChatGPT eller Perplexity, och det Àr ett blockerande fynd som sÀtter ett tak för din AEO-poÀng.

Verklig företrÀdesordning, inte textsökning

en specifik grupp gÄr före jokertecknet *, det lÀngsta mönstret gÄr före det kortare och Allow vinner vid lika, med stöd för * och $ i sökvÀgarna. Det Àr samma logik som crawlern tillÀmpar, sÄ utlÄtandet Àr det du faktiskt kommer att fÄ.

Raden som blockerar dig, exakt

varje röd bot kommer med den User-agent-grupp som gÀller för den och den ordagranna texten pÄ raden som orsakar det. Slut pÄ att lÀsa 200 rader i robots.txt för hand för att hitta den Disallow som inte borde vara dÀr.

De 11 botarna som rÀknas nu, med sin klass

de sex svarsbotarna (OAI-SearchBot, ChatGPT-User, Claude-User, Claude-SearchBot, PerplexityBot, Bingbot) och de fem trÀningsbotarna (GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot), utvÀrderade mot den specifika URL som du granskar, inte bara mot domÀnens rot.

FÄnga de tysta felen

en /robots.txt som serverar HTML i stÀllet för oformaterad text, en som svarar med 500 eller en orimlig Crawl-delay över 10 sekunder. Fel som inte syns i nÄgot klassiskt SEO-verktyg och som avslöjar en felkonfigurerad server.

ÅtgĂ€rden redan skriven, utan att anvĂ€nda AI

direkt frÄn fyndet genererar du robots.txt-patchen med en omkopplare för varje bot. Du vÀljer vem du öppnar för, den slutliga filen genereras om live med din nuvarande robots.txt plus det nya blocket, och du kopierar den. Den Àr deterministisk: den förbrukar inga tokens.

Gratis att upprepa

granskningen av robots.txt ingÄr i rapportens deterministiska kontroller. Du Àndrar filen, publicerar den, analyserar igen och deltat visar om fyndet har ÄtgÀrdats. SÄ mÄnga gÄnger du vill.

Stephen Ramos

Ta reda pÄ pÄ en minut vilka AI-botar du stÀnger dörren för

Klistra in en URL och fÄ matrisen över de 11 botarna, exakt vilken rad som blockerar var och en och patchen fÀrdig att kopiera.

Kontrollera robots.txt för AI-botar: blockerar du GPTBot?