Robots.txt tekoälyboteille

Tarkista, estääkö robots.txt-tiedostosi tekoälybotit

Liitä URL-osoite, niin Aeopro vertaa robots.txt-tiedostoasi ChatGPT:n, Clauden, Perplexityn ja Bingin 11 bottiin ja näyttää tarkan rivin, joka sulkee niiltä oven.

Väärin sijoitettu Disallow voi maksaa sinulle ainoan asian, joka tuo nykyään kävijöitä tekoälystä: viittauksen.

Aeopro lataa /robots.txt-tiedostosi, jäsentää sen User-agent-ryhmiin ja arvioi botti kerrallaan, onko auditoitava URL-osoite sallittu vai estetty. Se ei etsi bottisi nimeä tiedostosta «silmämääräisesti»: se soveltaa oikeita sääntöjä: täsmällinen ryhmä voittaa jokerin *, ja ryhmän sisällä ratkaisee pisimmän kuvion sääntö, jolloin Allow ratkaisee tasatilanteessa Disallow'ta vastaan. Se tukee polkujen jokereita * ja $, joten Disallow: /*?* tai Allow: /blog/$ tulkitaan niin kuin indeksoija ne tulkitsee, ei niin kuin ne ensi silmäyksellä näyttävät.

Tuloksena on 11 botin matriisi, jossa kunkin luokka on vieressä: OAI-SearchBot, ChatGPT-User, Claude-User, Claude-SearchBot, PerplexityBot ja Bingbot ovat vastausbotteja – ne, jotka hakevat, siteeraavat ja linkittävät –; GPTBot, ClaudeBot, Google-Extended, Applebot-Extended ja CCBot ovat koulutusbotteja. Tämä ero on koko raportin avain: jos estät vastausbotin, löydös on estävä ja asettaa katon AEO-pisteillesi, koska ilman pääsyä viittaus ei ole mahdollinen. Jos estät koulutusbotin, löydös on informatiivinen: ettei halua sisältönsä päätyvän aineistoon, on perusteltu päätös, eikä Aeopro kiistä sitä.

Jokainen estetty botti tulee todisteen kanssa: punainen valo, siihen sovellettava User-agent-ryhmä ja tiedoston tarkka rivi, joka sen aiheuttaa, kopioituna sellaisenaan. Sinun ei tarvitse lukea robots.txt-tiedostoasi uudelleen etsien syyllistä, se on edessäsi.

Aeopro kattaa myös virheet, jotka eivät ole Disallow. Jos /robots.txt palauttaa HTML-sivun – tyypillistä taitetulle 404-sivulle tai SPA-reitittimelle, joka nappaa kaiken – tai vastaa 500-virheellä, se havaitsee sen ja nostaa löydökseksi: botit käsittelevät sitä «ei rajoituksia» -tilana, mutta se on merkki huolimattomuudesta. Ja jos on yli 10 sekunnin Crawl-delay, se varoittaa, koska sillä tahdilla jotkin indeksoijat luovuttavat ennen kuin ovat lukeneet sivustosi kokonaan. Jos sinulla ei ole robots.txt-tiedostoa lainkaan, raportti kertoo sen rankaisematta: puuttuminen ei estä ketään.

Edut: Robots.txt tekoälyboteille

Erottaa estämisen näkymättömyydestä

koulutusbotin estäminen on oma päätöksesi ja näkyy informatiivisena. Vastausbotin estäminen tarkoittaa katoamista ChatGPT:n tai Perplexityn vastauksista, ja se on estävä löydös, joka asettaa katon AEO-pisteillesi.

Todellinen etusijajärjestys, ei tekstihakua

täsmällinen ryhmä ohittaa jokerin *, pidempi kuvio ohittaa lyhyemmän ja Allow voittaa tasatilanteessa, ja poluissa tuetaan merkkejä * ja $. Se on sama logiikka, jota indeksoija soveltaa, joten tuomio on se, jonka oikeasti saat.

Tarkka rivi, joka sinut estää

jokaisen punaisella merkityn botin mukana tulevat siihen sovellettava User-agent-ryhmä ja syyllisen rivin sanatarkka teksti. Ei enää 200 robots.txt-rivin lukemista käsin ylimääräisen Disallow'n löytämiseksi.

11 tällä hetkellä tärkeää bottia luokkineen

kuusi vastausbottia (OAI-SearchBot, ChatGPT-User, Claude-User, Claude-SearchBot, PerplexityBot, Bingbot) ja viisi koulutusbottia (GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot), arvioituna juuri sitä URL-osoitetta vastaan, jota auditoit, ei vain verkkotunnuksen juurta vastaan.

Löytää hiljaiset virheet

/robots.txt, joka palauttaa HTML:ää pelkän tekstin sijaan, joka vastaa 500:llä tai jossa on järjetön yli 10 sekunnin Crawl-delay. Virheitä, jotka eivät näy missään perinteisessä SEO-työkalussa ja jotka paljastavat väärin määritetyn palvelimen.

Valmis korjaus, ilman tekoälyn käyttöä

löydöksestä luot robots.txt-korjauksen, jossa on kytkin jokaiselle botille. Valitset, kenelle avaat pääsyn, lopullinen tiedosto muodostuu reaaliajassa nykyisestä robots.txt-tiedostostasi ja uudesta lohkosta, ja kopioit sen. Se on deterministinen: ei kuluta tokeneita.

Ilmaista toistaa

robots.txt-auditointi kuuluu raportin deterministisiin tarkistuksiin. Muutat tiedoston, julkaiset sen, analysoit uudelleen, ja delta kertoo, sulkeutuiko löydös. Niin monta kertaa kuin haluat.

Stephen Ramos

Selvitä minuutissa, keneltä tekoälybotilta suljet oven

Liitä URL-osoite ja saat 11 botin matriisin, tarkan rivin, joka estää kunkin niistä, sekä kopioitavan korjauksen.

Tarkista robots.txt tekoälyboteille: estätkö GPTBotin tai ChatGPT:n?