Robots.txt dla botów AI

Sprawdź, czy Twój robots.txt nie blokuje botów AI

Wklej adres URL, a Aeopro zestawi Twój robots.txt z 11 botami ChatGPT, Claude, Perplexity i Bing i pokaże dokładną linię, która zamyka im drzwi.

Źle wstawiony Disallow może kosztować Cię jedyną rzecz, która dziś przyprowadza Ci odwiedzających z AI: cytowanie.

Aeopro pobiera Twój /robots.txt, analizuje go według grup User-agent i sprawdza, bot po bocie, czy audytowany adres URL jest dozwolony, czy zablokowany. Nie szuka nazwy bota „na oko” w pliku: stosuje prawdziwe reguły – grupa szczegółowa wygrywa z wildcardem *, a w obrębie grupy rządzi reguła z najdłuższym wzorcem, przy czym Allow wygrywa z Disallow w razie remisu. Obsługuje wildcardy * i $ w ścieżkach, więc Disallow: /*?* czy Allow: /blog/$ są interpretowane tak, jak robi to crawler, a nie tak, jak wyglądają na pierwszy rzut oka.

Wynikiem jest macierz 11 botów z ich klasą obok: OAI-SearchBot, ChatGPT-User, Claude-User, Claude-SearchBot, PerplexityBot i Bingbot to boty odpowiadające – te, które szukają, cytują i linkują; GPTBot, ClaudeBot, Google-Extended, Applebot-Extended i CCBot są treningowe. To rozróżnienie jest kluczem całego raportu: jeśli zablokujesz bota odpowiadającego, znalezisko jest blokujące i ogranicza Twój wynik AEO, bo bez dostępu nie ma możliwości cytowania. Jeśli zablokujesz treningowego, znalezisko ma charakter informacyjny: niechęć do tego, by Twoje treści trafiły do zbioru danych, to uprawniona decyzja i Aeopro jej nie podważa.

Każdy zablokowany bot przychodzi z dowodem: czerwone światło, grupa User-agent, która go dotyczy, i dokładna linia pliku, która to powoduje, skopiowana tak, jak jest. Nie musisz ponownie czytać robots.txt w poszukiwaniu winowajcy – masz go przed oczami.

Aeopro obejmuje też błędy, które nie są Disallow. Jeśli Twój /robots.txt zwraca stronę HTML (typowe dla ostylowanego 404 albo routera SPA, który przejmuje wszystko) lub odpowiada błędem 500, wykrywa to i zgłasza jako znalezisko: boty traktują to jako „brak ograniczeń”, ale to sygnał zaniedbania. A jeśli jest Crawl-delay powyżej 10 sekund, ostrzega, bo przy takim tempie niektóre crawlery rezygnują, zanim przeczytają Cię w całości. Jeśli w ogóle nie masz robots.txt, raport poinformuje Cię o tym bez karania: brak pliku nikogo nie blokuje.

Zalety: Robots.txt dla botów AI

Odróżnia blokadę od niewidoczności

zablokowanie bota treningowego to Twoja decyzja i trafia do raportu jako informacja. Zablokowanie bota odpowiadającego oznacza zniknięcie z odpowiedzi ChatGPT czy Perplexity – to już błąd blokujący, który ogranicza Twój wynik AEO.

Prawdziwe pierwszeństwo reguł, a nie wyszukiwanie tekstu

grupa szczegółowa wygrywa z wildcardem *, dłuższy wzorzec z krótszym, a przy remisie wygrywa Allow, z obsługą * i $ w ścieżkach. To ta sama logika, którą stosuje crawler, więc werdykt jest taki, jaki naprawdę Cię czeka.

Dokładna linia, która Cię blokuje

przy każdym czerwonym bocie widzisz grupę User-agent, która go dotyczy, i dosłowny tekst linii będącej przyczyną. Koniec z ręcznym czytaniem 200 linii robots.txt w poszukiwaniu zbędnego Disallow.

11 botów, które mają dziś znaczenie, z ich klasą

sześć botów odpowiadających (OAI-SearchBot, ChatGPT-User, Claude-User, Claude-SearchBot, PerplexityBot, Bingbot) i pięć treningowych (GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot), sprawdzanych względem konkretnego audytowanego adresu URL, a nie tylko katalogu głównego domeny.

Wyłapuje ciche błędy

/robots.txt, który zwraca HTML zamiast zwykłego tekstu, odpowiada błędem 500 albo ma absurdalny Crawl-delay powyżej 10 sekund. Takie błędy nie pojawiają się w żadnym klasycznym narzędziu SEO, a zdradzają źle skonfigurowany serwer.

Gotowa poprawka, bez zużywania AI

bezpośrednio z poziomu znaleziska generujesz łatkę do robots.txt z przełącznikiem dla każdego bota. Wybierasz, komu otwierasz dostęp, końcowy plik jest odtwarzany na żywo z Twojego aktualnego robots.txt plus nowy blok, a Ty go kopiujesz. Jest deterministyczny: nie zużywa tokenów.

Za darmo i bez limitu powtórzeń

audyt robots.txt należy do deterministycznych kontroli raportu. Zmieniasz plik, wdrażasz, analizujesz ponownie, a delta pokazuje, czy znalezisko zostało zamknięte. Tyle razy, ile chcesz.

Stephen Ramos

Dowiedz się w minutę, którym botom AI zamykasz drzwi

Wklej adres URL i odbierz macierz 11 botów, dokładną linię blokującą każdego z nich oraz gotową do skopiowania łatkę.

Sprawdź robots.txt pod boty AI: blokujesz GPTBota lub ChatGPT?