URLを貼り付けると、AeoproがあなたのrobotsファイルをChatGPT、Claude、Perplexity、Bingの11のボットと突き合わせ、扉を閉ざしている正確な行を示します。
誤ったDisallowが1つあるだけで、現在AIからの訪問をもたらす唯一のもの、つまり引用を失うことがあります。
Aeoproは/robots.txtをダウンロードし、User-agentのグループごとに解析して、監査中のURLが許可されているかブロックされているかを、ボットごとに評価します。ファイルの中でボットの名前を「目分量」で探すのではなく、実際のルールを適用します。特定のグループがワイルドカード「*」に勝ち、グループ内では最も長いパターンのルールが優先され、同じ長さの場合はAllowがDisallowに勝ちます。パスのワイルドカード「*」と「$」にも対応しているため、「Disallow: /*?*」や「Allow: /blog/$」は、一見そう見える意味ではなく、クローラーが解釈するとおりに解釈されます。
結果は、種類を並べた11のボットのマトリクスです。OAI-SearchBot、ChatGPT-User、Claude-User、Claude-SearchBot、PerplexityBot、Bingbotは回答ボットで、検索し、引用し、リンクを張るものです。GPTBot、ClaudeBot、Google-Extended、Applebot-Extended、CCBotは学習ボットです。この区別がレポート全体の鍵です。回答ボットをブロックしている場合、検出結果はブロッキングとして扱われ、AEOスコアに上限がかかります。アクセスできなければ、引用はあり得ないからです。学習ボットをブロックしている場合、検出結果は情報にとどまります。自分のコンテンツをデータセットに入れたくないというのは正当な判断で、Aeoproはそれに異を唱えません。
ブロックされているボットには、それぞれ証拠が付きます。赤い信号、適用されるUser-agentのグループ、原因となっているファイルの正確な行をそのままコピーしたものです。robots.txtを読み直して犯人を探す必要はなく、目の前にあります。
Aeoproは、Disallow以外の不具合もカバーします。/robots.txtがHTMLページを返す場合(デザインされた404や、すべてを受け取るSPAのルーターによくあります)や、500エラーで応答する場合は、それを検出して検出結果として挙げます。ボットはこれを「制限なし」として扱いますが、手入れが行き届いていない兆候です。また、10秒を超えるCrawl-delayがあれば警告します。そのペースだと、全体を読み切らずに諦めるクローラーがあるためです。robots.txtがそもそもない場合は、減点せずにその旨をレポートに表示します。ないこと自体は、誰もブロックしないからです。
ブロックと見えなくなることを区別
学習ボットのブロックはあなたの判断で、情報として表示されます。回答ボットのブロックは、ChatGPTやPerplexityの回答から消えることを意味し、これはAEOスコアに上限をかける、ブロッキングな検出結果です。
テキスト検索ではなく、実際の優先順位
特定のグループがワイルドカード「*」より優先、長いパターンが短いパターンより優先、同点の場合はAllowが優先で、パスの「*」と「$」にも対応しています。クローラーが適用するのと同じロジックなので、実際にそうなる結果が示されます。
あなたをブロックしている正確な行
赤で表示された各ボットには、適用されるUser-agentのグループと、原因となった行の文面がそのまま付きます。余分なDisallowを探して、200行のrobots.txtを手で読む必要はもうありません。
現在重要な11のボットを、種類ごとに
回答ボット6つ(OAI-SearchBot、ChatGPT-User、Claude-User、Claude-SearchBot、PerplexityBot、Bingbot)と、学習ボット5つ(GPTBot、ClaudeBot、Google-Extended、Applebot-Extended、CCBot)を、ドメインのルートだけでなく、監査している具体的なURLに対して評価します。
気づきにくい不具合を見つけます
プレーンテキストではなくHTMLを返す/robots.txt、500を返すもの、10秒を超える不合理なCrawl-delay。従来のSEOツールのどれにも出てこない、サーバー設定の不備を示す不具合です。
修正はすでに書かれていて、AIも消費しません
検出結果から、ボットごとのスイッチ付きでrobots.txtのパッチを生成できます。どのボットを許可するかを選ぶと、現在のrobots.txtに新しいブロックを加えた最終ファイルがリアルタイムで再生成されるので、それをコピーするだけです。決定的で、トークンは消費しません。
何度繰り返しても無料
robots.txtの監査は、レポートの決定的なチェックの一部です。ファイルを変更してデプロイし、再分析すると、差分で検出結果が解消したかが分かります。何度でもできます。

URLを貼り付けると、11のボットのマトリクス、それぞれをブロックしている正確な行、そしてコピーするだけのパッチが手に入ります。