# AI 봇용 robots.txt 확인: GPTBot이나 ChatGPT를 차단하고 있나요?

> robots.txt를 AI 봇 11종(GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot 등)에 대해 분석해요. 차단된 봇, 원인이 되는 정확한 줄, 바로 복사할 수 있는 패치를 확인하세요.

- **출처 (source):** https://aistohire.com/ko/aeopro-aeo-audit-ai-inyong-198/f/robots-txt-ai-bot-jeomgeom
- **플랫폼 (platform):** AIstoHire
- **언어 (language):** ko

## 요약

- 내 robots.txt가 AI 봇을 차단하고 있는지 확인하세요
- URL을 붙여넣으면 Aeopro가 robots.txt를 ChatGPT, Claude, Perplexity, Bing의 11개 봇과 대조하고, 문을 닫는 정확한 줄을 보여 줘요.
- 차단과 보이지 않음을 구분해요. 학습 봇을 차단하는 것은 직접 내리는 결정이라 참고 항목으로 표시돼요. 답변 봇을 차단하는 것은 ChatGPT나 Perplexity의 답변에서 사라진다는 뜻이고, 이것은 AEO 점수의 상한을 정하는 차단 수준의 발견 사항이에요.
- 단순 텍스트 검색이 아니라 실제 우선순위를 적용해요. 특정 그룹이 와일드카드 *보다 우선하고, 긴 패턴이 짧은 패턴보다 우선하며, 동률일 때는 Allow가 이겨요. 경로의 *와 $도 지원해요. 크롤러가 적용하는 것과 같은 논리라서 판정이 실제 결과와 같아요.
- 나를 막는 정확한 줄을 보여 줘요. 빨간색으로 표시된 봇마다 적용되는 User-agent 그룹과 원인이 되는 줄의 원문이 함께 나와요. 불필요한 Disallow를 찾겠다고 robots.txt 200줄을 직접 읽을 필요가 없어요.

## 내 robots.txt가 AI 봇을 차단하고 있는지 확인하세요

Aeopro는 /robots.txt를 내려받아 User-agent 그룹별로 해석하고, 점검 중인 URL이 봇마다 허용되는지 차단되는지 평가해요. 파일에서 봇 이름을 «대충 눈으로» 찾지 않고 실제 규칙을 적용해요. 특정 그룹이 와일드카드 *보다 우선하고, 그룹 안에서는 가장 긴 패턴의 규칙이 이기며, 동률이면 Allow가 Disallow를 이겨요. 경로의 와일드카드 *와 $도 지원하므로 Disallow: /*?* 나 Allow: /blog/$ 같은 규칙도 얼핏 보이는 대로가 아니라 크롤러가 해석하는 대로 해석돼요.

결과는 클래스가 옆에 붙은 11개 봇의 매트릭스예요. OAI-SearchBot, ChatGPT-User, Claude-User, Claude-SearchBot, PerplexityBot, Bingbot은 검색하고 인용하고 링크하는 답변용 봇이고, GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot은 학습용이에요. 이 구분이 리포트 전체의 핵심이에요. 답변용 봇을 차단하면 그 발견 사항은 차단 수준으로 들어가 AEO 점수의 상한을 정해요. 접근할 수 없으면 인용도 불가능하기 때문이에요. 학습용 봇을 차단하면 참고 항목이에요. 내 콘텐츠가 데이터셋에 들어가기를 원하지 않는 것은 정당한 결정이고 Aeopro는 이를 문제 삼지 않아요.

차단된 봇마다 근거가 함께 나와요. 빨간 신호등, 그 봇에 적용되는 User-agent 그룹, 그리고 원인이 되는 파일의 정확한 줄이 원문 그대로 표시돼요. robots.txt를 다시 읽으며 범인을 찾을 필요 없이 바로 눈앞에 있어요.

Aeopro는 Disallow가 아닌 실패도 다뤄요. /robots.txt가 HTML 페이지를 돌려주거나(디자인이 입혀진 404나 모든 것을 가져가는 SPA 라우터에서 흔해요) 500 오류로 응답하면 이를 감지해 발견 사항으로 올려요. 봇은 이를 «제한 없음»으로 처리하지만 방치의 신호예요. 10초를 넘는 Crawl-delay가 있으면 알려 주는데, 그 속도에서는 일부 크롤러가 사이트 전체를 읽지 않고 포기하기 때문이에요. robots.txt가 아예 없다면 리포트는 감점 없이 그 사실을 알려 줘요. 없다고 해서 누군가를 차단하는 것은 아니에요.

## 포함된 내용

- 차단과 보이지 않음을 구분해요. 학습 봇을 차단하는 것은 직접 내리는 결정이라 참고 항목으로 표시돼요. 답변 봇을 차단하는 것은 ChatGPT나 Perplexity의 답변에서 사라진다는 뜻이고, 이것은 AEO 점수의 상한을 정하는 차단 수준의 발견 사항이에요.
- 단순 텍스트 검색이 아니라 실제 우선순위를 적용해요. 특정 그룹이 와일드카드 *보다 우선하고, 긴 패턴이 짧은 패턴보다 우선하며, 동률일 때는 Allow가 이겨요. 경로의 *와 $도 지원해요. 크롤러가 적용하는 것과 같은 논리라서 판정이 실제 결과와 같아요.
- 나를 막는 정확한 줄을 보여 줘요. 빨간색으로 표시된 봇마다 적용되는 User-agent 그룹과 원인이 되는 줄의 원문이 함께 나와요. 불필요한 Disallow를 찾겠다고 robots.txt 200줄을 직접 읽을 필요가 없어요.
- 지금 중요한 11개 봇을 클래스와 함께 보여 줘요. 답변용 6개(OAI-SearchBot, ChatGPT-User, Claude-User, Claude-SearchBot, PerplexityBot, Bingbot)와 학습용 5개(GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot)를 도메인 루트가 아니라 점검 중인 구체적인 URL 기준으로 평가해요.
- 조용한 실패를 찾아내요. 일반 텍스트 대신 HTML을 내보내는 /robots.txt, 500을 돌려주는 /robots.txt, 10초를 넘는 터무니없는 Crawl-delay 같은 것들이에요. 기존 SEO 도구 어디에도 나오지 않지만 서버 설정이 잘못되었다는 신호예요.
- AI를 쓰지 않고도 수정안이 이미 작성되어 있어요. 발견 사항에서 바로 봇마다 스위치가 있는 robots.txt 패치를 만들어요. 열어 줄 봇을 고르면 현재 robots.txt에 새 블록을 더한 최종 파일이 실시간으로 다시 만들어지고, 복사하면 돼요. 결정적 방식이라 토큰을 쓰지 않아요.
- 반복해도 무료예요. robots.txt 점검은 리포트의 결정적 검사에 포함돼요. 파일을 바꾸고 배포하고 다시 분석하면, 변화량으로 발견 사항이 해결됐는지 알 수 있어요. 원하는 만큼 반복할 수 있어요.

## 자주 묻는 질문

### 내 robots.txt가 ChatGPT를 차단하고 있는지 어떻게 알 수 있나요?

Aeopro에 URL을 붙여넣으세요. /robots.txt를 내려받아 User-agent 그룹별로 해석하고, 해당 URL을 11개 AI 봇에 대해 평가해요. «AI 봇 접근» 카드에서 봇마다 초록 또는 빨강 신호등을 볼 수 있어요. ChatGPT에는 서로 다른 봇이 둘 있으니 헷갈리지 마세요. OAI-SearchBot과 ChatGPT-User는 대화 중에 출처를 검색하고 인용하는 답변용 봇이고, GPTBot은 학습용 봇이에요. 인용되고 싶다면 차단하면 안 되는 것은 앞의 두 개예요.

### 답변 봇과 학습 봇은 무엇이 다른가요?

학습 봇(GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot)은 모델을 학습시키려고 콘텐츠를 수집해요. 차단은 정당한 결정이며 Aeopro는 이를 참고 항목으로 표시하고 점수를 깎지 않아요. 답변 봇(OAI-SearchBot, ChatGPT-User, Claude-User, Claude-SearchBot, PerplexityBot, Bingbot)은 누군가 질문하는 순간 내 페이지를 읽으러 오는 봇이고, 답변에서 나를 인용하고 링크하는 봇이에요. 이를 차단하면 그 AI에게는 존재하지 않는 것과 같아요. 그래서 이 발견 사항은 차단 수준으로 들어가고 리포트의 AEO 점수에 상한을 둬요.

### 내 robots.txt는 허용적으로 보이는데 도구는 왜 봇을 차단하고 있다고 하나요?

거의 항상 우선순위 문제예요. 특정 봇을 위한 그룹이 있으면 그 그룹이 와일드카드 * 그룹을 완전히 대체해요. *의 허용 규칙이 더 이상 그 봇에 적용되지 않는다는 뜻이에요. 그리고 한 그룹 안에서는 첫 번째 규칙도 마지막 규칙도 아니라 가장 긴 패턴의 규칙이 이기며, 동률이면 Allow가 Disallow를 이겨요. 와일드카드 *와 $까지 더하면 검색 매개변수용으로 만든 Disallow가 사이트의 절반을 막아 버리기 쉬워요. Aeopro는 크롤러와 같은 방식으로 이 규칙을 적용하고 판정을 결정하는 정확한 줄을 보여 주므로, 차단이 어디서 오는지 확인할 수 있어요.

### robots.txt가 없거나 오류를 돌려주면 어떻게 되나요?

robots.txt가 없다고 누군가를 차단하는 것은 아니며 Aeopro도 그것으로 감점하지 않아요. 알려 주고 넘어가요. 발견 사항이 생기는 경우는 파일이 깨져 있을 때예요. /robots.txt가 일반 텍스트 대신 HTML 페이지를 돌려주거나(라우터가 모든 경로를 가져가는 싱글 페이지 웹사이트에서 아주 흔해요) 500 오류로 응답하는 경우예요. 봇은 이를 «제한 없음»으로 해석하므로 문을 닫는 것은 아니지만, 서버 설정이 잘못되었다는 증상이에요. 10초를 넘는 Crawl-delay도 알려 줘요. 그 속도에서는 일부 크롤러가 사이트 전체를 읽기 전에 포기하기 때문이에요.

### Aeopro는 진단만 해 주나요, 수정된 robots.txt도 주나요?

수정본까지 드려요. 발견 사항에서 robots.txt 패치를 열면 차단된 봇마다 스위치가 있어요. 열어 줄 봇과 계속 막아 둘 봇을 정하면, 특정 그룹이 와일드카드보다 우선한다는 점을 활용해 현재 robots.txt와 새 허용 블록을 합친 전체 파일이 실시간으로 다시 만들어져요. 복사해서 올리기만 하면 돼요. 이 패치는 AI 없이 구성되므로 점검 자체와 마찬가지로 결정적이고 토큰을 쓰지 않아요. 나중에 다시 분석해서 발견 사항이 해결되었는지 확인할 수 있어요.

- [Aeopro — AEO 감사: AI가 내 사이트를 읽고 인용하게 만드세요](https://aistohire.com/ko/aeopro-aeo-audit-ai-inyong-198)

## 플랫폼 소개

**Aeopro — AEO 감사: AI가 내 사이트를 읽고 인용하게 만드세요** — 앱 개발: AIstoHire. 이용 가능 위치:: https://aistohire.com/ko/aeopro-aeo-audit-ai-inyong-198/f/robots-txt-ai-bot-jeomgeom

### 다른 언어

- `es`: https://aistohire.com/es/aeopro-auditoria-aeo-visibilidad-en-ia-198/f/auditoria-robots-txt-bots-ia
- `en`: https://aistohire.com/aeopro-aeo-audit-ai-visibility-198/f/robots-txt-audit-ai-bots
- `fr`: https://aistohire.com/fr/aeopro-audit-aeo-visibilite-ia-198/f/audit-robots-txt-bots-ia
- `it`: https://aistohire.com/it/aeopro-audit-aeo-visibilita-ia-198/f/audit-robots-txt-bot-ia
- `pt`: https://aistohire.com/pt/aeopro-auditoria-aeo-visibilidade-ia-198/f/auditoria-robots-txt-bots-ia
- `de`: https://aistohire.com/de/aeopro-aeo-audit-ki-sichtbarkeit-198/f/robots-txt-audit-ki-bots
- `bg`: https://aistohire.com/bg/aeopro-proverete-dali-chatgpt-i-perplexity-mogat-da-tsitirat-sayta-vi-198/f/odit-na-robots-txt-za-ai-botove
- `ja`: https://aistohire.com/ja/aeo-kansa-ai-inyo-taisaku-198/f/robots-txt-ai-bot-kansa
- `nl`: https://aistohire.com/nl/aeopro-controleer-of-chatgpt-en-perplexity-je-site-kunnen-citeren-198/f/robots-txt-audit-ai-bots
- `sv`: https://aistohire.com/sv/aeopro-granska-om-chatgpt-och-perplexity-kan-citera-din-webbplats-198/f/granskning-robots-txt-ai-botar
- `da`: https://aistohire.com/da/aeopro-tjek-om-chatgpt-og-perplexity-kan-citere-dit-websted-198/f/audit-af-robots-txt-for-ai-bots
- `ar`: https://aistohire.com/ar/aeopro-dqq-hl-ysttia-chatgpt-wperplexity-alastshhad-bmuqak-198/f/tadqiq-robots-txt-botat-althaka2-alistinaa3i
- `no`: https://aistohire.com/no/aeopro-sjekk-om-chatgpt-og-perplexity-kan-sitere-nettstedet-ditt-198/f/revisjon-robots-txt-ki-roboter
- `fi`: https://aistohire.com/fi/aeopro-auditoi-voivatko-chatgpt-ja-perplexity-lainata-sivustoasi-198/f/robots-txt-tekoalybotit-auditointi
- `zh`: https://aistohire.com/zh/aeopro-aeo-geo-audit-198/f/robots-txt-ai-bots-audit
- `pl`: https://aistohire.com/pl/aeopro-sprawdz-czy-chatgpt-i-perplexity-zacytuja-twoja-strone-198/f/audyt-robots-txt-boty-ai
- `he`: https://aistohire.com/he/aeopro-bdko-am-chatgpt-v-perplexity-ykolim-ltstt-at-hatr-shlkm-198/f/bdikat-robots-txt-botim-bina-melachutit
- `cs`: https://aistohire.com/cs/aeopro-zjisti-zda-chatgpt-a-perplexity-mohou-citovat-tvuj-web-198/f/audit-robots-txt-ai-boti
- `id`: https://aistohire.com/id/aeopro-audit-apakah-chatgpt-dan-perplexity-bisa-kutip-situs-anda-198/f/audit-robots-txt-bot-ai
