Liitä URL-osoite, niin Aeopro vertaa robots.txt-tiedostoasi ChatGPT:n, Clauden, Perplexityn ja Bingin 11 bottiin ja näyttää tarkan rivin, joka sulkee niiltä oven.
Väärin sijoitettu Disallow voi maksaa sinulle ainoan asian, joka tuo nykyään kävijöitä tekoälystä: viittauksen.
Aeopro lataa /robots.txt-tiedostosi, jäsentää sen User-agent-ryhmiin ja arvioi botti kerrallaan, onko auditoitava URL-osoite sallittu vai estetty. Se ei etsi bottisi nimeä tiedostosta «silmämääräisesti»: se soveltaa oikeita sääntöjä: täsmällinen ryhmä voittaa jokerin *, ja ryhmän sisällä ratkaisee pisimmän kuvion sääntö, jolloin Allow ratkaisee tasatilanteessa Disallow'ta vastaan. Se tukee polkujen jokereita * ja $, joten Disallow: /*?* tai Allow: /blog/$ tulkitaan niin kuin indeksoija ne tulkitsee, ei niin kuin ne ensi silmäyksellä näyttävät.
Tuloksena on 11 botin matriisi, jossa kunkin luokka on vieressä: OAI-SearchBot, ChatGPT-User, Claude-User, Claude-SearchBot, PerplexityBot ja Bingbot ovat vastausbotteja – ne, jotka hakevat, siteeraavat ja linkittävät –; GPTBot, ClaudeBot, Google-Extended, Applebot-Extended ja CCBot ovat koulutusbotteja. Tämä ero on koko raportin avain: jos estät vastausbotin, löydös on estävä ja asettaa katon AEO-pisteillesi, koska ilman pääsyä viittaus ei ole mahdollinen. Jos estät koulutusbotin, löydös on informatiivinen: ettei halua sisältönsä päätyvän aineistoon, on perusteltu päätös, eikä Aeopro kiistä sitä.
Jokainen estetty botti tulee todisteen kanssa: punainen valo, siihen sovellettava User-agent-ryhmä ja tiedoston tarkka rivi, joka sen aiheuttaa, kopioituna sellaisenaan. Sinun ei tarvitse lukea robots.txt-tiedostoasi uudelleen etsien syyllistä, se on edessäsi.
Aeopro kattaa myös virheet, jotka eivät ole Disallow. Jos /robots.txt palauttaa HTML-sivun – tyypillistä taitetulle 404-sivulle tai SPA-reitittimelle, joka nappaa kaiken – tai vastaa 500-virheellä, se havaitsee sen ja nostaa löydökseksi: botit käsittelevät sitä «ei rajoituksia» -tilana, mutta se on merkki huolimattomuudesta. Ja jos on yli 10 sekunnin Crawl-delay, se varoittaa, koska sillä tahdilla jotkin indeksoijat luovuttavat ennen kuin ovat lukeneet sivustosi kokonaan. Jos sinulla ei ole robots.txt-tiedostoa lainkaan, raportti kertoo sen rankaisematta: puuttuminen ei estä ketään.
Erottaa estämisen näkymättömyydestä
koulutusbotin estäminen on oma päätöksesi ja näkyy informatiivisena. Vastausbotin estäminen tarkoittaa katoamista ChatGPT:n tai Perplexityn vastauksista, ja se on estävä löydös, joka asettaa katon AEO-pisteillesi.
Todellinen etusijajärjestys, ei tekstihakua
täsmällinen ryhmä ohittaa jokerin *, pidempi kuvio ohittaa lyhyemmän ja Allow voittaa tasatilanteessa, ja poluissa tuetaan merkkejä * ja $. Se on sama logiikka, jota indeksoija soveltaa, joten tuomio on se, jonka oikeasti saat.
Tarkka rivi, joka sinut estää
jokaisen punaisella merkityn botin mukana tulevat siihen sovellettava User-agent-ryhmä ja syyllisen rivin sanatarkka teksti. Ei enää 200 robots.txt-rivin lukemista käsin ylimääräisen Disallow'n löytämiseksi.
11 tällä hetkellä tärkeää bottia luokkineen
kuusi vastausbottia (OAI-SearchBot, ChatGPT-User, Claude-User, Claude-SearchBot, PerplexityBot, Bingbot) ja viisi koulutusbottia (GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot), arvioituna juuri sitä URL-osoitetta vastaan, jota auditoit, ei vain verkkotunnuksen juurta vastaan.
Löytää hiljaiset virheet
/robots.txt, joka palauttaa HTML:ää pelkän tekstin sijaan, joka vastaa 500:llä tai jossa on järjetön yli 10 sekunnin Crawl-delay. Virheitä, jotka eivät näy missään perinteisessä SEO-työkalussa ja jotka paljastavat väärin määritetyn palvelimen.
Valmis korjaus, ilman tekoälyn käyttöä
löydöksestä luot robots.txt-korjauksen, jossa on kytkin jokaiselle botille. Valitset, kenelle avaat pääsyn, lopullinen tiedosto muodostuu reaaliajassa nykyisestä robots.txt-tiedostostasi ja uudesta lohkosta, ja kopioit sen. Se on deterministinen: ei kuluta tokeneita.
Ilmaista toistaa
robots.txt-auditointi kuuluu raportin deterministisiin tarkistuksiin. Muutat tiedoston, julkaiset sen, analysoit uudelleen, ja delta kertoo, sulkeutuiko löydös. Niin monta kertaa kuin haluat.

Liitä URL-osoite ja saat 11 botin matriisin, tarkan rivin, joka estää kunkin niistä, sekä kopioitavan korjauksen.