# Проверка на robots.txt за ИИ ботове: блокирате ли GPTBot или ChatGPT?

> Анализирайте своя robots.txt спрямо 11 ИИ бота (GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot…). Ще видите кои ботове блокирате, точния ред, който го причинява, и пача, готов за копиране.

- **Източник (source):** https://aistohire.com/bg/aeopro-proverete-dali-chatgpt-i-perplexity-mogat-da-tsitirat-sayta-vi-198/f/odit-na-robots-txt-za-ai-botove
- **Платформа (platform):** AIstoHire
- **Език (language):** bg

## Накратко

- Проверете дали вашият robots.txt блокира ИИ ботовете
- Поставете URL и Aeopro кръстосва вашия robots.txt с 11-те бота на ChatGPT, Claude, Perplexity и Bing и ви показва точния ред, който им затваря вратата.
- Разделя блокиране от невидимост
- Реален приоритет, а не търсене на текст
- Точният ред, който ви блокира

## Проверете дали вашият robots.txt блокира ИИ ботовете

Aeopro изтегля вашия /robots.txt, разбира го по групи User-agent и оценява, бот по бот, дали URL адресът, който одитирате, е разрешен или блокиран. Не търси името на бота «на око» във файла: прилага правилата наистина: специфичната група печели над заместителния символ *, а вътре в групата управлява правилото с най-дългия шаблон, като Allow решава равенството срещу Disallow. Поддържа заместителните символи * и $ в пътищата, така че един Disallow: /*?*  или един Allow: /blog/$ се тълкуват така, както ги тълкува обхождащият, а не както изглеждат на пръв поглед.

Резултатът е матрица от 11 бота с техния клас до тях: OAI-SearchBot, ChatGPT-User, Claude-User, Claude-SearchBot, PerplexityBot и Bingbot са ботове за отговори — тези, които търсят, цитират и свързват; GPTBot, ClaudeBot, Google-Extended, Applebot-Extended и CCBot са за обучение. Тази разлика е ключът към целия отчет: ако блокирате бот за отговори, находката влиза като блокираща и поставя таван на вашата AEO оценка, защото без достъп няма възможно цитиране. Ако блокирате бот за обучение, находката е информативна: да не искате съдържанието ви да влиза в набор от данни е легитимно решение и Aeopro не го оспорва.

Всеки блокиран бот идва с доказателството: светофарът в червено, групата User-agent, която му се прилага, и точният ред на файла, който го причинява, копиран такъв, какъвто е. Не е нужно да препрочитате robots.txt, търсейки виновника: имате го пред себе си.

Aeopro покрива и грешките, които не са Disallow. Ако вашият /robots.txt връща HTML страница — типично за оформена 404 или за SPA рутер, който поема всичко, — или отговаря с грешка 500, го открива и го повдига като находка: ботовете го третират като «без ограничения», но е знак за небрежност. А ако има Crawl-delay над 10 секунди, ви предупреждава, защото при такава скорост някои обхождащи се отказват да ви прочетат цял. Ако направо нямате robots.txt, отчетът ви го казва, без да ви наказва: липсата не блокира никого.

## Какво включва

- **Разделя блокиране от невидимост** — блокирането на бот за обучение е ваше решение и излиза като информативно. Блокирането на бот за отговори е изчезване от отговорите на ChatGPT или Perplexity и това вече е блокираща находка, която поставя таван на вашата AEO оценка.
- **Реален приоритет, а не търсене на текст** — специфичната група е над заместителния символ *, по-дългият шаблон е над по-краткия и Allow печели при равенство, с поддръжка на * и $ в пътищата. Това е същата логика, която прилага обхождащият, така че присъдата е тази, която наистина ще имате.
- **Точният ред, който ви блокира** — всеки бот в червено идва с групата User-agent, която му се прилага, и буквалния текст на реда, който причинява това. Край на четенето на 200 реда robots.txt на ръка, за да намерите излишния Disallow.
- **11-те бота, които имат значение сега, с техния клас** — шестте за отговори (OAI-SearchBot, ChatGPT-User, Claude-User, Claude-SearchBot, PerplexityBot, Bingbot) и петте за обучение (GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot), оценени спрямо конкретния URL, който одитирате, а не само спрямо корена на домейна.
- **Улавя мълчаливите грешки** — /robots.txt, който сервира HTML вместо обикновен текст, такъв, който отговаря с 500, или абсурден Crawl-delay над 10 секунди. Грешки, които не се появяват в никакъв класически SEO инструмент и издават лошо конфигуриран сървър.
- **Поправката вече написана и без изразходване на ИИ** — от самата находка генерирате пача за robots.txt с превключвател за всеки бот. Избирате на кого отваряте, крайният файл се прегенерира на живо с вашия текущ robots.txt плюс новия блок и го копирате. Детерминистично е: не изразходва токени.
- **Безплатно за повтаряне** — одитът на robots.txt е част от детерминистичните проверки на отчета. Променяте файла, внедрявате го, анализирате отново и делтата ви казва дали находката е затворена. Колкото пъти искате.

## Често задавани въпроси

### Как да разбера дали моят robots.txt блокира ChatGPT?

Поставете URL в Aeopro: изтегля вашия /robots.txt, разбира го по групи User-agent и оценява този конкретен URL спрямо 11-те ИИ бота. В картата «Достъп на ИИ ботовете» ще имате всеки от тях със зелен или червен светофар. За ChatGPT има два различни бота и е добре да не се бъркат: OAI-SearchBot и ChatGPT-User са тези за отговори, които търсят и цитират източници в разговор; GPTBot е този за обучение. Ако искате да ви цитират, тези, които не бива да блокирате, са първите два.

### Каква е разликата между бот за отговори и бот за обучение?

Бот за обучение (GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot) събира съдържание за обучение на модели. Блокирането му е легитимно решение и Aeopro го отбелязва като информативно, без да наказва оценката ви. Бот за отговори (OAI-SearchBot, ChatGPT-User, Claude-User, Claude-SearchBot, PerplexityBot, Bingbot) е този, който влиза да прочете страницата ви в момента, в който някой пита нещо, и е този, който ви цитира и свързва в отговора. Блокирането му е равносилно на несъществуване за този ИИ: затова тази находка влиза като блокираща и поставя таван на AEO оценката на отчета.

### Защо моят robots.txt изглежда разрешаващ, а инструментът казва, че блокирам ботове?

Почти винаги е проблем с приоритета. Ако имате специфична група за един бот, тази група напълно замества тази на заместителния символ *: разрешаващите правила на * вече не му се прилагат. А вътре в една група не печели нито първото, нито последното правило, печели това с по-дълъг шаблон, като Allow решава равенството срещу Disallow. Добавете заместителните символи * и $ и е лесно един Disallow, замислен за параметрите на търсене, да запуши половината сайт. Aeopro прилага тези правила като обхождащия и ви показва точния ред, който определя присъдата, така че виждате откъде идва блокирането.

### Какво става, ако нямам robots.txt или ако връща грешка?

Липсата на robots.txt не блокира никого и Aeopro не ви наказва за това: отбелязва го и продължава. Което наистина повдига находка, е файлът да е счупен: ако вашият /robots.txt връща HTML страница вместо обикновен текст — много често при сайтове от една страница, където рутерът поема всички пътища, — или ако отговаря с грешка 500. Ботовете го тълкуват като «без ограничения», така че не ви затваря вратата, но е симптом на лошо конфигуриран сървър. Предупреждава ви и за Crawl-delay над 10 секунди, защото при такава скорост някои обхождащи се отказват, преди да прочетат целия ви сайт.

### Дава ли ми Aeopro поправения robots.txt, или само диагнозата?

Дава ви го поправен. От находката отваряте пача за robots.txt, който носи превключвател за всеки блокиран бот: решавате на кого отваряте и на кого оставяте отвън, а пълният файл се прегенерира на живо, като съединява текущия ви robots.txt с новия блок разрешения, използвайки факта, че специфичната група печели над заместителния символ. Копирате го и го качвате. Този пач се съставя без ИИ: детерминистичен е и не изразходва токени, както и самият одит, така че можете да анализирате отново после, за да потвърдите, че находката е затворена.

- [Aeopro — AEO одит: направете така, че ИИ да може да ви чете и цитира](https://aistohire.com/bg/aeopro-proverete-dali-chatgpt-i-perplexity-mogat-da-tsitirat-sayta-vi-198)

## За платформата

**Aeopro — AEO одит: направете така, че ИИ да може да ви чете и цитира** — приложение на AIstoHire. Налично на: https://aistohire.com/bg/aeopro-proverete-dali-chatgpt-i-perplexity-mogat-da-tsitirat-sayta-vi-198/f/odit-na-robots-txt-za-ai-botove

### Други езици

- `es`: https://aistohire.com/es/aeopro-auditoria-aeo-visibilidad-en-ia-198/f/auditoria-robots-txt-bots-ia
- `en`: https://aistohire.com/aeopro-aeo-audit-ai-visibility-198/f/robots-txt-audit-ai-bots
- `fr`: https://aistohire.com/fr/aeopro-audit-aeo-visibilite-ia-198/f/audit-robots-txt-bots-ia
- `it`: https://aistohire.com/it/aeopro-audit-aeo-visibilita-ia-198/f/audit-robots-txt-bot-ia
- `pt`: https://aistohire.com/pt/aeopro-auditoria-aeo-visibilidade-ia-198/f/auditoria-robots-txt-bots-ia
- `de`: https://aistohire.com/de/aeopro-aeo-audit-ki-sichtbarkeit-198/f/robots-txt-audit-ki-bots
- `ja`: https://aistohire.com/ja/aeo-kansa-ai-inyo-taisaku-198/f/robots-txt-ai-bot-kansa
- `nl`: https://aistohire.com/nl/aeopro-controleer-of-chatgpt-en-perplexity-je-site-kunnen-citeren-198/f/robots-txt-audit-ai-bots
- `ko`: https://aistohire.com/ko/aeopro-aeo-audit-ai-inyong-198/f/robots-txt-ai-bot-jeomgeom
- `sv`: https://aistohire.com/sv/aeopro-granska-om-chatgpt-och-perplexity-kan-citera-din-webbplats-198/f/granskning-robots-txt-ai-botar
- `da`: https://aistohire.com/da/aeopro-tjek-om-chatgpt-og-perplexity-kan-citere-dit-websted-198/f/audit-af-robots-txt-for-ai-bots
- `ar`: https://aistohire.com/ar/aeopro-dqq-hl-ysttia-chatgpt-wperplexity-alastshhad-bmuqak-198/f/tadqiq-robots-txt-botat-althaka2-alistinaa3i
- `no`: https://aistohire.com/no/aeopro-sjekk-om-chatgpt-og-perplexity-kan-sitere-nettstedet-ditt-198/f/revisjon-robots-txt-ki-roboter
- `fi`: https://aistohire.com/fi/aeopro-auditoi-voivatko-chatgpt-ja-perplexity-lainata-sivustoasi-198/f/robots-txt-tekoalybotit-auditointi
- `zh`: https://aistohire.com/zh/aeopro-aeo-geo-audit-198/f/robots-txt-ai-bots-audit
- `pl`: https://aistohire.com/pl/aeopro-sprawdz-czy-chatgpt-i-perplexity-zacytuja-twoja-strone-198/f/audyt-robots-txt-boty-ai
- `he`: https://aistohire.com/he/aeopro-bdko-am-chatgpt-v-perplexity-ykolim-ltstt-at-hatr-shlkm-198/f/bdikat-robots-txt-botim-bina-melachutit
- `cs`: https://aistohire.com/cs/aeopro-zjisti-zda-chatgpt-a-perplexity-mohou-citovat-tvuj-web-198/f/audit-robots-txt-ai-boti
- `id`: https://aistohire.com/id/aeopro-audit-apakah-chatgpt-dan-perplexity-bisa-kutip-situs-anda-198/f/audit-robots-txt-bot-ai
