# 檢查 AI 機器人的 robots.txt：你封鎖了 GPTBot 或 ChatGPT 嗎？

> 針對 11 個 AI 機器人（GPTBot、OAI-SearchBot、ClaudeBot、PerplexityBot…）分析你的 robots.txt。你會看到封鎖了哪些機器人、造成封鎖的確切那一行，以及可直接複製的修補。

- **來源 (source):** https://aistohire.com/zh/aeopro-aeo-geo-audit-198/f/robots-txt-ai-bots-audit
- **平台 (platform):** AIstoHire
- **語言 (language):** zh

## 重點摘要

- 檢查你的 robots.txt 是否封鎖了 AI 機器人
- 貼上一個網址，Aeopro 就會將你的 robots.txt 與 ChatGPT、Claude、Perplexity 和 Bing 的 11 個機器人交叉比對，並顯示對它們關上門的確切那一行。
- 區分「封鎖」與「隱形」：封鎖訓練用機器人是你自己的決定，只會以資訊性結果呈現。封鎖回答用機器人，則是從 ChatGPT 或 Perplexity 的答案中消失，那才是會限制你 AEO 分數上限的阻斷性發現。
- 真正的優先順序，而不是文字搜尋：特定群組優先於萬用字元 *，較長的模式優先於較短的，平手時 Allow 勝出，路徑中支援 * 與 $。這與爬蟲所套用的邏輯相同，所以你得到的判定就是你實際會遇到的結果。
- 造成封鎖的確切那一行：每個標紅的機器人都附有適用於它的 User-agent 群組，以及造成封鎖那一行的原文。再也不必手動讀 200 行 robots.txt 去找多出來的那個 Disallow。

## 檢查你的 robots.txt 是否封鎖了 AI 機器人

Aeopro 會下載你的 /robots.txt，依 User-agent 群組解析，並逐個機器人評估你所稽核的網址是被允許還是被封鎖。它不是「憑眼睛」在檔案中找你的機器人名稱：而是套用真正的規則：特定群組優先於萬用字元 *，在群組內以模式最長的規則為準，平手時由 Allow 勝過 Disallow。它支援路徑中的萬用字元 * 與 $，所以像 Disallow: /*?*  或 Allow: /blog/$ 這樣的寫法，是依爬蟲的解讀方式來判斷，而不是照第一眼看起來的樣子。

結果是一份 11 個機器人的矩陣，旁邊標示其類別：OAI-SearchBot、ChatGPT-User、Claude-User、Claude-SearchBot、PerplexityBot 與 Bingbot 是回答用機器人——負責搜尋、引用與連結的那些；GPTBot、ClaudeBot、Google-Extended、Applebot-Extended 與 CCBot 則是訓練用的。這項區分是整份報告的關鍵：如果你封鎖了回答用機器人，該發現會列為阻斷性，並限制你的 AEO 分數上限，因為沒有存取權就不可能被引用。如果你封鎖的是訓練用機器人，該發現則屬資訊性：不想讓你的內容進入資料集，是正當的決定，Aeopro 不會質疑你。

每個被封鎖的機器人都附有證據：紅燈、適用於它的 User-agent 群組，以及造成封鎖的檔案確切那一行，原樣複製。你不必重讀整份 robots.txt 去找元兇，它就擺在你面前。

Aeopro 也涵蓋不是 Disallow 的失誤。如果你的 /robots.txt 回傳的是 HTML 頁面——典型情況是排版過的 404 或接管所有路徑的 SPA 路由器——或是回傳 500 錯誤，它會偵測並列為發現：機器人會把它視為「沒有限制」，但這是疏忽的訊號。如果 Crawl-delay 超過 10 秒，它會提醒你，因為以那種速度，有些爬蟲會放棄把你讀完。如果你根本沒有 robots.txt，報告會告訴你，但不會扣你的分：沒有它並不會封鎖任何人。

## 包含內容

- 區分「封鎖」與「隱形」：封鎖訓練用機器人是你自己的決定，只會以資訊性結果呈現。封鎖回答用機器人，則是從 ChatGPT 或 Perplexity 的答案中消失，那才是會限制你 AEO 分數上限的阻斷性發現。
- 真正的優先順序，而不是文字搜尋：特定群組優先於萬用字元 *，較長的模式優先於較短的，平手時 Allow 勝出，路徑中支援 * 與 $。這與爬蟲所套用的邏輯相同，所以你得到的判定就是你實際會遇到的結果。
- 造成封鎖的確切那一行：每個標紅的機器人都附有適用於它的 User-agent 群組，以及造成封鎖那一行的原文。再也不必手動讀 200 行 robots.txt 去找多出來的那個 Disallow。
- 現在重要的 11 個機器人，並標明類別：六個回答用的（OAI-SearchBot、ChatGPT-User、Claude-User、Claude-SearchBot、PerplexityBot、Bingbot）與五個訓練用的（GPTBot、ClaudeBot、Google-Extended、Applebot-Extended、CCBot），針對你所稽核的具體網址評估，而不只是網域根目錄。
- 抓出無聲的失誤：/robots.txt 回傳的是 HTML 而不是純文字、回傳 500，或是超過 10 秒的離譜 Crawl-delay。這些失誤不會出現在任何傳統 SEO 工具中，卻暴露出伺服器設定不當。
- 修正已經寫好，而且不花 AI：直接從發現項目產生 robots.txt 修補，每個機器人都有一個開關。你選擇要對誰開放，最終檔案會結合你目前的 robots.txt 與新區塊即時重新產生，複製即可。它是確定性的：不消耗 Token。
- 重複執行不用錢：robots.txt 稽核是報告中確定性檢查的一部分。你修改檔案、部署、重新分析，差異會告訴你該發現是否已關閉。想做幾次都可以。

## 常見問題

### 我怎麼知道我的 robots.txt 是否封鎖了 ChatGPT？

把網址貼到 Aeopro：它會下載你的 /robots.txt，依 User-agent 群組解析，並針對該具體網址對 11 個 AI 機器人進行評估。在「AI 機器人存取」卡片中，每一個都會有綠燈或紅燈。ChatGPT 有兩個不同的機器人，要避免搞混：OAI-SearchBot 與 ChatGPT-User 是回答用的，也就是在對話中搜尋並引用來源的那些；GPTBot 則是訓練用的。如果你想被引用，不能封鎖的就是前兩個。

### 回答用機器人與訓練用機器人有什麼差別？

訓練用機器人（GPTBot、ClaudeBot、Google-Extended、Applebot-Extended、CCBot）蒐集內容來訓練模型。封鎖它是正當的決定，Aeopro 會將其標示為資訊性，不扣你的分數。回答用機器人（OAI-SearchBot、ChatGPT-User、Claude-User、Claude-SearchBot、PerplexityBot、Bingbot）則是在有人提問的當下進入讀取你頁面的那一個，也是在答案中引用並連結你的那一個。封鎖它，就等於在那個 AI 眼中不存在：因此該發現會列為阻斷性，並限制報告的 AEO 分數上限。

### 為什麼我的 robots.txt 看起來很寬鬆，工具卻說我封鎖了機器人？

幾乎都是優先順序的問題。如果你為某個機器人設有特定群組，該群組會完全取代萬用字元 * 的群組：* 中寬鬆的規則就不再適用於它。而在群組內，不是第一條規則勝出，也不是最後一條，而是模式最長的那條勝出，長度相同時由 Allow 勝過 Disallow。再加上萬用字元 * 與 $，原本只想針對搜尋參數的 Disallow，很容易最後擋住半個網站。Aeopro 以與爬蟲相同的方式套用這些規則，並顯示決定判定的確切那一行，讓你看出封鎖從何而來。

### 如果我沒有 robots.txt，或是它回傳錯誤，會怎樣？

沒有 robots.txt 不會封鎖任何人，Aeopro 也不會因此扣你的分：它會註明並繼續。真正會產生發現的是檔案本身壞掉：如果你的 /robots.txt 回傳的是 HTML 頁面而不是純文字——在單頁網站中很常見，因為路由器會接管所有路徑——或是回傳 500 錯誤。機器人會把它解讀為「沒有限制」，所以並不會對你關門，但這是伺服器設定不當的徵兆。若 Crawl-delay 超過 10 秒，它也會提醒你，因為以那種速度，有些爬蟲會在讀完你整個網站之前就放棄。

### Aeopro 會給我修正後的 robots.txt，還是只有診斷？

它會給你修正後的版本。從發現項目開啟 robots.txt 修補，每個被封鎖的機器人都有一個開關：你決定對誰開放、把誰拒於門外，完整檔案會結合你目前的 robots.txt 與新的許可區塊即時重新產生，並利用特定群組優先於萬用字元這一點。你複製後上傳即可。這個修補不使用 AI 組成：它是確定性的，不消耗 Token，和稽核本身一樣，所以你之後可以重新分析，確認該發現已關閉。

- [Aeopro — AEO 稽核：讓 AI 讀得懂並引用你](https://aistohire.com/zh/aeopro-aeo-geo-audit-198)

## 關於平台

**Aeopro — AEO 稽核：讓 AI 讀得懂並引用你** — 應用程式，來自 AIstoHire. 可在以下網址使用: https://aistohire.com/zh/aeopro-aeo-geo-audit-198/f/robots-txt-ai-bots-audit

### 其他語言

- `es`: https://aistohire.com/es/aeopro-auditoria-aeo-visibilidad-en-ia-198/f/auditoria-robots-txt-bots-ia
- `en`: https://aistohire.com/aeopro-aeo-audit-ai-visibility-198/f/robots-txt-audit-ai-bots
- `fr`: https://aistohire.com/fr/aeopro-audit-aeo-visibilite-ia-198/f/audit-robots-txt-bots-ia
- `it`: https://aistohire.com/it/aeopro-audit-aeo-visibilita-ia-198/f/audit-robots-txt-bot-ia
- `pt`: https://aistohire.com/pt/aeopro-auditoria-aeo-visibilidade-ia-198/f/auditoria-robots-txt-bots-ia
- `de`: https://aistohire.com/de/aeopro-aeo-audit-ki-sichtbarkeit-198/f/robots-txt-audit-ki-bots
- `bg`: https://aistohire.com/bg/aeopro-proverete-dali-chatgpt-i-perplexity-mogat-da-tsitirat-sayta-vi-198/f/odit-na-robots-txt-za-ai-botove
- `ja`: https://aistohire.com/ja/aeo-kansa-ai-inyo-taisaku-198/f/robots-txt-ai-bot-kansa
- `nl`: https://aistohire.com/nl/aeopro-controleer-of-chatgpt-en-perplexity-je-site-kunnen-citeren-198/f/robots-txt-audit-ai-bots
- `ko`: https://aistohire.com/ko/aeopro-aeo-audit-ai-inyong-198/f/robots-txt-ai-bot-jeomgeom
- `sv`: https://aistohire.com/sv/aeopro-granska-om-chatgpt-och-perplexity-kan-citera-din-webbplats-198/f/granskning-robots-txt-ai-botar
- `da`: https://aistohire.com/da/aeopro-tjek-om-chatgpt-og-perplexity-kan-citere-dit-websted-198/f/audit-af-robots-txt-for-ai-bots
- `ar`: https://aistohire.com/ar/aeopro-dqq-hl-ysttia-chatgpt-wperplexity-alastshhad-bmuqak-198/f/tadqiq-robots-txt-botat-althaka2-alistinaa3i
- `no`: https://aistohire.com/no/aeopro-sjekk-om-chatgpt-og-perplexity-kan-sitere-nettstedet-ditt-198/f/revisjon-robots-txt-ki-roboter
- `fi`: https://aistohire.com/fi/aeopro-auditoi-voivatko-chatgpt-ja-perplexity-lainata-sivustoasi-198/f/robots-txt-tekoalybotit-auditointi
- `pl`: https://aistohire.com/pl/aeopro-sprawdz-czy-chatgpt-i-perplexity-zacytuja-twoja-strone-198/f/audyt-robots-txt-boty-ai
- `he`: https://aistohire.com/he/aeopro-bdko-am-chatgpt-v-perplexity-ykolim-ltstt-at-hatr-shlkm-198/f/bdikat-robots-txt-botim-bina-melachutit
- `cs`: https://aistohire.com/cs/aeopro-zjisti-zda-chatgpt-a-perplexity-mohou-citovat-tvuj-web-198/f/audit-robots-txt-ai-boti
- `id`: https://aistohire.com/id/aeopro-audit-apakah-chatgpt-dan-perplexity-bisa-kutip-situs-anda-198/f/audit-robots-txt-bot-ai
