Robots.txt за ИИ ботове

Проверете дали вашият robots.txt блокира ИИ ботовете

Поставете URL и Aeopro кръстосва вашия robots.txt с 11-те бота на ChatGPT, Claude, Perplexity и Bing и ви показва точния ред, който им затваря вратата.

Един погрешно поставен Disallow може да ви струва единственото, което днес ви носи посетители от ИИ: цитирането.

Aeopro изтегля вашия /robots.txt, разбира го по групи User-agent и оценява, бот по бот, дали URL адресът, който одитирате, е разрешен или блокиран. Не търси името на бота «на око» във файла: прилага правилата наистина: специфичната група печели над заместителния символ *, а вътре в групата управлява правилото с най-дългия шаблон, като Allow решава равенството срещу Disallow. Поддържа заместителните символи * и $ в пътищата, така че един Disallow: /*?* или един Allow: /blog/$ се тълкуват така, както ги тълкува обхождащият, а не както изглеждат на пръв поглед.

Резултатът е матрица от 11 бота с техния клас до тях: OAI-SearchBot, ChatGPT-User, Claude-User, Claude-SearchBot, PerplexityBot и Bingbot са ботове за отговори — тези, които търсят, цитират и свързват; GPTBot, ClaudeBot, Google-Extended, Applebot-Extended и CCBot са за обучение. Тази разлика е ключът към целия отчет: ако блокирате бот за отговори, находката влиза като блокираща и поставя таван на вашата AEO оценка, защото без достъп няма възможно цитиране. Ако блокирате бот за обучение, находката е информативна: да не искате съдържанието ви да влиза в набор от данни е легитимно решение и Aeopro не го оспорва.

Всеки блокиран бот идва с доказателството: светофарът в червено, групата User-agent, която му се прилага, и точният ред на файла, който го причинява, копиран такъв, какъвто е. Не е нужно да препрочитате robots.txt, търсейки виновника: имате го пред себе си.

Aeopro покрива и грешките, които не са Disallow. Ако вашият /robots.txt връща HTML страница — типично за оформена 404 или за SPA рутер, който поема всичко, — или отговаря с грешка 500, го открива и го повдига като находка: ботовете го третират като «без ограничения», но е знак за небрежност. А ако има Crawl-delay над 10 секунди, ви предупреждава, защото при такава скорост някои обхождащи се отказват да ви прочетат цял. Ако направо нямате robots.txt, отчетът ви го казва, без да ви наказва: липсата не блокира никого.

Предимства на Robots.txt за ИИ ботове

Разделя блокиране от невидимост

блокирането на бот за обучение е ваше решение и излиза като информативно. Блокирането на бот за отговори е изчезване от отговорите на ChatGPT или Perplexity и това вече е блокираща находка, която поставя таван на вашата AEO оценка.

Реален приоритет, а не търсене на текст

специфичната група е над заместителния символ *, по-дългият шаблон е над по-краткия и Allow печели при равенство, с поддръжка на * и $ в пътищата. Това е същата логика, която прилага обхождащият, така че присъдата е тази, която наистина ще имате.

Точният ред, който ви блокира

всеки бот в червено идва с групата User-agent, която му се прилага, и буквалния текст на реда, който причинява това. Край на четенето на 200 реда robots.txt на ръка, за да намерите излишния Disallow.

11-те бота, които имат значение сега, с техния клас

шестте за отговори (OAI-SearchBot, ChatGPT-User, Claude-User, Claude-SearchBot, PerplexityBot, Bingbot) и петте за обучение (GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot), оценени спрямо конкретния URL, който одитирате, а не само спрямо корена на домейна.

Улавя мълчаливите грешки

/robots.txt, който сервира HTML вместо обикновен текст, такъв, който отговаря с 500, или абсурден Crawl-delay над 10 секунди. Грешки, които не се появяват в никакъв класически SEO инструмент и издават лошо конфигуриран сървър.

Поправката вече написана и без изразходване на ИИ

от самата находка генерирате пача за robots.txt с превключвател за всеки бот. Избирате на кого отваряте, крайният файл се прегенерира на живо с вашия текущ robots.txt плюс новия блок и го копирате. Детерминистично е: не изразходва токени.

Безплатно за повтаряне

одитът на robots.txt е част от детерминистичните проверки на отчета. Променяте файла, внедрявате го, анализирате отново и делтата ви казва дали находката е затворена. Колкото пъти искате.

Stephen Ramos

Разберете за минута на кои ИИ ботове затваряте вратата

Поставете URL и получете матрицата на 11-те бота, точния ред, който блокира всеки от тях, и пача, готов за копиране.

Проверка на robots.txt за ИИ ботове: блокирате ли GPTBot или ChatGPT?