# AIボット向けrobots.txtの確認:GPTBotやChatGPTをブロックしていませんか?

> robots.txtを11のAIボット(GPTBot、OAI-SearchBot、ClaudeBot、PerplexityBotなど)に対して解析。ブロックしているボット、原因の正確な行、コピーするだけのパッチが分かります。

- **ソース (source):** https://aistohire.com/ja/aeo-kansa-ai-inyo-taisaku-198/f/robots-txt-ai-bot-kansa
- **プラットフォーム (platform):** AIstoHire
- **言語 (language):** ja

## 概要

- robots.txtがAIボットをブロックしていないか確認する
- URLを貼り付けると、AeoproがあなたのrobotsファイルをChatGPT、Claude、Perplexity、Bingの11のボットと突き合わせ、扉を閉ざしている正確な行を示します。
- ブロックと見えなくなることを区別
- テキスト検索ではなく、実際の優先順位
- あなたをブロックしている正確な行

## robots.txtがAIボットをブロックしていないか確認する

Aeoproは/robots.txtをダウンロードし、User-agentのグループごとに解析して、監査中のURLが許可されているかブロックされているかを、ボットごとに評価します。ファイルの中でボットの名前を「目分量」で探すのではなく、実際のルールを適用します。特定のグループがワイルドカード「*」に勝ち、グループ内では最も長いパターンのルールが優先され、同じ長さの場合はAllowがDisallowに勝ちます。パスのワイルドカード「*」と「$」にも対応しているため、「Disallow: /*?*」や「Allow: /blog/$」は、一見そう見える意味ではなく、クローラーが解釈するとおりに解釈されます。

結果は、種類を並べた11のボットのマトリクスです。OAI-SearchBot、ChatGPT-User、Claude-User、Claude-SearchBot、PerplexityBot、Bingbotは回答ボットで、検索し、引用し、リンクを張るものです。GPTBot、ClaudeBot、Google-Extended、Applebot-Extended、CCBotは学習ボットです。この区別がレポート全体の鍵です。回答ボットをブロックしている場合、検出結果はブロッキングとして扱われ、AEOスコアに上限がかかります。アクセスできなければ、引用はあり得ないからです。学習ボットをブロックしている場合、検出結果は情報にとどまります。自分のコンテンツをデータセットに入れたくないというのは正当な判断で、Aeoproはそれに異を唱えません。

ブロックされているボットには、それぞれ証拠が付きます。赤い信号、適用されるUser-agentのグループ、原因となっているファイルの正確な行をそのままコピーしたものです。robots.txtを読み直して犯人を探す必要はなく、目の前にあります。

Aeoproは、Disallow以外の不具合もカバーします。/robots.txtがHTMLページを返す場合(デザインされた404や、すべてを受け取るSPAのルーターによくあります)や、500エラーで応答する場合は、それを検出して検出結果として挙げます。ボットはこれを「制限なし」として扱いますが、手入れが行き届いていない兆候です。また、10秒を超えるCrawl-delayがあれば警告します。そのペースだと、全体を読み切らずに諦めるクローラーがあるためです。robots.txtがそもそもない場合は、減点せずにその旨をレポートに表示します。ないこと自体は、誰もブロックしないからです。

## 含まれる機能

- **ブロックと見えなくなることを区別** — 学習ボットのブロックはあなたの判断で、情報として表示されます。回答ボットのブロックは、ChatGPTやPerplexityの回答から消えることを意味し、これはAEOスコアに上限をかける、ブロッキングな検出結果です。
- **テキスト検索ではなく、実際の優先順位** — 特定のグループがワイルドカード「*」より優先、長いパターンが短いパターンより優先、同点の場合はAllowが優先で、パスの「*」と「$」にも対応しています。クローラーが適用するのと同じロジックなので、実際にそうなる結果が示されます。
- **あなたをブロックしている正確な行** — 赤で表示された各ボットには、適用されるUser-agentのグループと、原因となった行の文面がそのまま付きます。余分なDisallowを探して、200行のrobots.txtを手で読む必要はもうありません。
- **現在重要な11のボットを、種類ごとに** — 回答ボット6つ(OAI-SearchBot、ChatGPT-User、Claude-User、Claude-SearchBot、PerplexityBot、Bingbot)と、学習ボット5つ(GPTBot、ClaudeBot、Google-Extended、Applebot-Extended、CCBot)を、ドメインのルートだけでなく、監査している具体的なURLに対して評価します。
- **気づきにくい不具合を見つけます** — プレーンテキストではなくHTMLを返す/robots.txt、500を返すもの、10秒を超える不合理なCrawl-delay。従来のSEOツールのどれにも出てこない、サーバー設定の不備を示す不具合です。
- **修正はすでに書かれていて、AIも消費しません** — 検出結果から、ボットごとのスイッチ付きでrobots.txtのパッチを生成できます。どのボットを許可するかを選ぶと、現在のrobots.txtに新しいブロックを加えた最終ファイルがリアルタイムで再生成されるので、それをコピーするだけです。決定的で、トークンは消費しません。
- **何度繰り返しても無料** — robots.txtの監査は、レポートの決定的なチェックの一部です。ファイルを変更してデプロイし、再分析すると、差分で検出結果が解消したかが分かります。何度でもできます。

## よくある質問

### robots.txtがChatGPTをブロックしているかどうか、どうすれば分かりますか?

AeoproにURLを貼り付けます。/robots.txtをダウンロードし、User-agentのグループごとに解析して、そのURLを11のAIボットに対して評価します。「AIボットのアクセス」カードには、各ボットが緑または赤の信号で表示されます。ChatGPTには2つの異なるボットがあるため、混同しないようにしましょう。OAI-SearchBotとChatGPT-Userは回答ボットで、会話の中で情報源を探して引用するものです。GPTBotは学習ボットです。引用されたいなら、ブロックしてはいけないのは前の2つです。

### 回答ボットと学習ボットの違いは何ですか?

学習ボット(GPTBot、ClaudeBot、Google-Extended、Applebot-Extended、CCBot)は、モデルの学習のためにコンテンツを収集します。ブロックするのは正当な判断であり、Aeoproはこれを情報として表示し、スコアには影響させません。回答ボット(OAI-SearchBot、ChatGPT-User、Claude-User、Claude-SearchBot、PerplexityBot、Bingbot)は、誰かが何かを質問した瞬間にページを読みに来るもので、回答の中であなたを引用してリンクを張るボットです。ブロックすれば、そのAIにとって存在しないのと同じです。そのため、この検出結果はブロッキングとして扱われ、レポートのAEOスコアに上限がかかります。

### robots.txtは許可的に見えるのに、ツールはボットをブロックしていると言うのはなぜですか?

ほとんどの場合は、優先順位の問題です。特定のボット向けのグループがあると、そのグループがワイルドカード「*」のグループを完全に置き換えます。「*」の許可ルールは、そのボットには適用されなくなります。そしてグループ内では、最初のルールでも最後のルールでもなく、最も長いパターンのルールが優先され、同じ長さの場合はAllowがDisallowに勝ちます。ここにワイルドカードの「*」と「$」が加わるので、検索パラメーター向けのDisallowが、サイトの半分を覆ってしまうことも簡単に起こります。Aeoproはクローラーと同じようにこれらのルールを適用し、判定を決める正確な行を示すので、ブロックの出どころが分かります。

### robots.txtがない場合や、エラーを返す場合はどうなりますか?

robots.txtがなくても、誰もブロックされません。Aeoproはそれで減点せず、その旨を示して先に進みます。検出結果になるのは、ファイルが壊れている場合です。/robots.txtがプレーンテキストではなくHTMLページを返す場合(ルーターがすべてのパスを受け取るシングルページのサイトでよくあります)や、500エラーで応答する場合です。ボットはこれを「制限なし」と解釈するため、扉を閉ざすことにはなりませんが、サーバーの設定が不適切であることの兆候です。また、10秒を超えるCrawl-delayについても警告します。そのペースだと、サイト全体を読み終える前に諦めるクローラーがあるためです。

### Aeoproは診断だけでなく、修正済みのrobots.txtも提供してくれますか?

修正済みのものを提供します。検出結果からrobots.txtのパッチを開くと、ブロックされているボットごとにスイッチがあります。どのボットを許可し、どれを外に置くかを決めると、現在のrobots.txtと新しい許可ブロックを組み合わせた完全なファイルが、リアルタイムで再生成されます。特定のグループがワイルドカードに勝つ仕組みが活かされます。それをコピーして、アップロードするだけです。このパッチはAIを使わずに作られるため、監査そのものと同じく決定的で、トークンを消費しません。あとで再分析して、検出結果が解消したことを確認できます。

- [Aeopro — AEO監査:AIに読まれ、引用されるサイトへ](https://aistohire.com/ja/aeo-kansa-ai-inyo-taisaku-198)

## プラットフォームについて

**Aeopro — AEO監査:AIに読まれ、引用されるサイトへ** — のアプリ AIstoHire. 対応言語: https://aistohire.com/ja/aeo-kansa-ai-inyo-taisaku-198/f/robots-txt-ai-bot-kansa

### その他の言語

- `es`: https://aistohire.com/es/aeopro-auditoria-aeo-visibilidad-en-ia-198/f/auditoria-robots-txt-bots-ia
- `en`: https://aistohire.com/aeopro-aeo-audit-ai-visibility-198/f/robots-txt-audit-ai-bots
- `fr`: https://aistohire.com/fr/aeopro-audit-aeo-visibilite-ia-198/f/audit-robots-txt-bots-ia
- `it`: https://aistohire.com/it/aeopro-audit-aeo-visibilita-ia-198/f/audit-robots-txt-bot-ia
- `pt`: https://aistohire.com/pt/aeopro-auditoria-aeo-visibilidade-ia-198/f/auditoria-robots-txt-bots-ia
- `de`: https://aistohire.com/de/aeopro-aeo-audit-ki-sichtbarkeit-198/f/robots-txt-audit-ki-bots
- `bg`: https://aistohire.com/bg/aeopro-proverete-dali-chatgpt-i-perplexity-mogat-da-tsitirat-sayta-vi-198/f/odit-na-robots-txt-za-ai-botove
- `nl`: https://aistohire.com/nl/aeopro-controleer-of-chatgpt-en-perplexity-je-site-kunnen-citeren-198/f/robots-txt-audit-ai-bots
- `ko`: https://aistohire.com/ko/aeopro-aeo-audit-ai-inyong-198/f/robots-txt-ai-bot-jeomgeom
- `sv`: https://aistohire.com/sv/aeopro-granska-om-chatgpt-och-perplexity-kan-citera-din-webbplats-198/f/granskning-robots-txt-ai-botar
- `da`: https://aistohire.com/da/aeopro-tjek-om-chatgpt-og-perplexity-kan-citere-dit-websted-198/f/audit-af-robots-txt-for-ai-bots
- `ar`: https://aistohire.com/ar/aeopro-dqq-hl-ysttia-chatgpt-wperplexity-alastshhad-bmuqak-198/f/tadqiq-robots-txt-botat-althaka2-alistinaa3i
- `no`: https://aistohire.com/no/aeopro-sjekk-om-chatgpt-og-perplexity-kan-sitere-nettstedet-ditt-198/f/revisjon-robots-txt-ki-roboter
- `fi`: https://aistohire.com/fi/aeopro-auditoi-voivatko-chatgpt-ja-perplexity-lainata-sivustoasi-198/f/robots-txt-tekoalybotit-auditointi
- `zh`: https://aistohire.com/zh/aeopro-aeo-geo-audit-198/f/robots-txt-ai-bots-audit
- `pl`: https://aistohire.com/pl/aeopro-sprawdz-czy-chatgpt-i-perplexity-zacytuja-twoja-strone-198/f/audyt-robots-txt-boty-ai
- `he`: https://aistohire.com/he/aeopro-bdko-am-chatgpt-v-perplexity-ykolim-ltstt-at-hatr-shlkm-198/f/bdikat-robots-txt-botim-bina-melachutit
- `cs`: https://aistohire.com/cs/aeopro-zjisti-zda-chatgpt-a-perplexity-mohou-citovat-tvuj-web-198/f/audit-robots-txt-ai-boti
- `id`: https://aistohire.com/id/aeopro-audit-apakah-chatgpt-dan-perplexity-bisa-kutip-situs-anda-198/f/audit-robots-txt-bot-ai
