貼上一個網址,Aeopro 就會將你的 robots.txt 與 ChatGPT、Claude、Perplexity 和 Bing 的 11 個機器人交叉比對,並顯示對它們關上門的確切那一行。
一個放錯的 Disallow,可能讓你失去今天唯一能從 AI 帶來造訪的東西:引用。
Aeopro 會下載你的 /robots.txt,依 User-agent 群組解析,並逐個機器人評估你所稽核的網址是被允許還是被封鎖。它不是「憑眼睛」在檔案中找你的機器人名稱:而是套用真正的規則:特定群組優先於萬用字元 *,在群組內以模式最長的規則為準,平手時由 Allow 勝過 Disallow。它支援路徑中的萬用字元 * 與 $,所以像 Disallow: /*?* 或 Allow: /blog/$ 這樣的寫法,是依爬蟲的解讀方式來判斷,而不是照第一眼看起來的樣子。
結果是一份 11 個機器人的矩陣,旁邊標示其類別:OAI-SearchBot、ChatGPT-User、Claude-User、Claude-SearchBot、PerplexityBot 與 Bingbot 是回答用機器人——負責搜尋、引用與連結的那些;GPTBot、ClaudeBot、Google-Extended、Applebot-Extended 與 CCBot 則是訓練用的。這項區分是整份報告的關鍵:如果你封鎖了回答用機器人,該發現會列為阻斷性,並限制你的 AEO 分數上限,因為沒有存取權就不可能被引用。如果你封鎖的是訓練用機器人,該發現則屬資訊性:不想讓你的內容進入資料集,是正當的決定,Aeopro 不會質疑你。
每個被封鎖的機器人都附有證據:紅燈、適用於它的 User-agent 群組,以及造成封鎖的檔案確切那一行,原樣複製。你不必重讀整份 robots.txt 去找元兇,它就擺在你面前。
Aeopro 也涵蓋不是 Disallow 的失誤。如果你的 /robots.txt 回傳的是 HTML 頁面——典型情況是排版過的 404 或接管所有路徑的 SPA 路由器——或是回傳 500 錯誤,它會偵測並列為發現:機器人會把它視為「沒有限制」,但這是疏忽的訊號。如果 Crawl-delay 超過 10 秒,它會提醒你,因為以那種速度,有些爬蟲會放棄把你讀完。如果你根本沒有 robots.txt,報告會告訴你,但不會扣你的分:沒有它並不會封鎖任何人。
Ventaja 1
區分「封鎖」與「隱形」:封鎖訓練用機器人是你自己的決定,只會以資訊性結果呈現。封鎖回答用機器人,則是從 ChatGPT 或 Perplexity 的答案中消失,那才是會限制你 AEO 分數上限的阻斷性發現。
Ventaja 2
真正的優先順序,而不是文字搜尋:特定群組優先於萬用字元 *,較長的模式優先於較短的,平手時 Allow 勝出,路徑中支援 * 與 $。這與爬蟲所套用的邏輯相同,所以你得到的判定就是你實際會遇到的結果。
Ventaja 3
造成封鎖的確切那一行:每個標紅的機器人都附有適用於它的 User-agent 群組,以及造成封鎖那一行的原文。再也不必手動讀 200 行 robots.txt 去找多出來的那個 Disallow。
Ventaja 4
現在重要的 11 個機器人,並標明類別:六個回答用的(OAI-SearchBot、ChatGPT-User、Claude-User、Claude-SearchBot、PerplexityBot、Bingbot)與五個訓練用的(GPTBot、ClaudeBot、Google-Extended、Applebot-Extended、CCBot),針對你所稽核的具體網址評估,而不只是網域根目錄。
Ventaja 5
抓出無聲的失誤:/robots.txt 回傳的是 HTML 而不是純文字、回傳 500,或是超過 10 秒的離譜 Crawl-delay。這些失誤不會出現在任何傳統 SEO 工具中,卻暴露出伺服器設定不當。
Ventaja 6
修正已經寫好,而且不花 AI:直接從發現項目產生 robots.txt 修補,每個機器人都有一個開關。你選擇要對誰開放,最終檔案會結合你目前的 robots.txt 與新區塊即時重新產生,複製即可。它是確定性的:不消耗 Token。
Ventaja 7
重複執行不用錢:robots.txt 稽核是報告中確定性檢查的一部分。你修改檔案、部署、重新分析,差異會告訴你該發現是否已關閉。想做幾次都可以。

貼上一個網址,就能得到 11 個機器人的矩陣、封鎖每一個的確切那一行,以及可直接複製的修補。