AeoproAeopro

為什麼 ChatGPT 不引用你的網站:幾乎沒人做對的 AEO 稽核

团队: Aeopro在 AI 协助下撰写16 分鐘閱讀

重點摘要

  • AI 機器人有三個家族,而不是一個:訓練用的(GPTBot、ClaudeBot、Google-Extended)、搜尋與引用用的(OAI-SearchBot、Claude-SearchBot、PerplexityBot、Bingbot),以及由使用者觸發的(ChatGPT-User、Claude-User、Perplexity-User)。封鎖第一類是正當的決定;封鎖第二類則等於從答案中消失。
  • 封鎖 GPTBot 不會封鎖 OAI-SearchBot,封鎖 Google-Extended 也不會讓你從 AI Overviews 中消失:Google 的文件說明,該 token 不影響網站被收錄於 Google 搜尋(Google Search Central)。
  • 如果你的內容只在執行 JavaScript 之後才出現,有些機器人看到的會是一個近乎空白的頁面。診斷方式是比較原始 HTML 與渲染後的 DOM。
  • llms.txt 不是解決辦法:Google 表示,要出現在 AI Overviews 或 AI Mode 中,你不需要建立給 AI 用的文字檔案,也不需要特殊的 schema(Google,AI 功能),而 John Mueller 在2026年1月表示 Google 並不支持 llms.txt(Search Engine Roundtable,2026年1月20日)。
  • AI 引擎帶回來的流量很少,而且得來不易:Cloudflare 在2025年7月估算,要從 OpenAI 取得一次造訪,比過去的 Google「困難 750 倍」,從 Anthropic 則是「30,000 倍」(Cloudflare,2025年7月1日)。

如果你是因為 ChatGPT 為什麼不引用你的網站而來到這裡,答案很少是「我的內容不好」。在多數被稽核過的案例中,問題是技術性的、無聊的:robots.txt 裡的一行、一個對任何奇怪 user-agent 都回傳 403 的 WAF,或是一個做成單頁應用程式的網站,其文字要等瀏覽器執行 JavaScript 才存在。本文說明每一項如何用手動方式檢查,並附上資料來源;最後你會看到 AIsToHire 的 AEO 稽核工具 Aeopro,如何針對單一網址自動執行同樣的檢查。

一個網頁面對三個人工智慧爬蟲的插圖:其中一個通過敞開的門,另一個被屏障擋住
一個網頁面對三個人工智慧爬蟲的插圖:其中一個通過敞開的門,另一個被屏障擋住

什麼是 AEO?它與 SEO 有何不同?

AEO(Answer Engine Optimization,答案引擎最佳化)是指為網站做好準備,讓回答引擎——ChatGPT、Claude、Perplexity、Gemini、Copilot——在產生答案時能夠讀取、理解並引用它。傳統 SEO 是針對十個藍色連結的清單進行最佳化;AEO 則是針對成為模型摘要並附上連結的三、四個來源之一。兩者有很多共通點(可被索引、效能、有用的內容),但也有各自的失誤,是傳統 SEO 從未衡量過的。

實務上的差異是:一個對 Google 完美無瑕的網站,如果封鎖了負責引用的機器人、對該機器人回傳 403,或其文字只在用戶端渲染,那麼對 AI 引擎來說可能是隱形的。反過來說:Google 聲明,除了良好的 SEO 做法之外,要出現在 AI Overviews 或 AI Mode 中沒有任何額外要求(Google Search Central,AI 功能)。也就是說:在 Google 的生態系中,AEO 主要是不要弄壞任何東西;在 OpenAI/Anthropic/Perplexity 的生態系中,則有你必須管理的特定指令。

傳統 SEOAEO/回答引擎
目標在 SERP 中的排名成為答案中被引用的來源
重要的機器人Googlebot、BingbotOAI-SearchBot、Claude-SearchBot、PerplexityBot、Bingbot、Googlebot
內容單位頁面自成一體的段落
關鍵技術訊號可被索引機器人可存取+不靠 JS 的 HTML 內容
指標排名、點擊、CTR在答案中出現的比例、引用次數
截取控制—nosnippet、max-snippet、data-nosnippet

AI 機器人分成三個家族,搞混的代價很高

爬蟲有三種類型,每一種都透過 robots.txt 中各自的 token 來控制:訓練、搜尋/引用,以及由使用者觸發的抓取。封鎖訓練用的機器人是完全合理的商業決定——你不想免費餵養模型;封鎖搜尋用的機器人,則意味著當有人詢問你所販售的東西時,助理無法讀取你。幾乎所有從論壇複製來的「反 AI」robots.txt,都在無意間同時封鎖了兩者。

這是值得放在眼前的表格,並附上各供應商的官方文件:

User-agent供應商用途封鎖它會讓你失去引用嗎?
GPTBotOpenAI模型訓練不會
OAI-SearchBotOpenAI為 ChatGPT 搜尋建立索引會
ChatGPT-UserOpenAI由使用者觸發的造訪會(OpenAI 提醒 robots.txt 規則可能不適用)
OAI-AdsBotOpenAI驗證 ChatGPT 廣告的著陸頁不會
ClaudeBotAnthropic訓練不會
Claude-SearchBotAnthropic為搜尋結果建立索引會
Claude-UserAnthropic使用者向 Claude 提問時的造訪會
PerplexityBotPerplexity在結果中建立索引並附上連結會
Perplexity-UserPerplexity由使用者觸發的造訪(依其文件,會忽略 robots.txt)會
Google-ExtendedGoogleGemini 的訓練與 grounding不影響 Google 搜尋
BingbotMicrosoftBing 索引(以及使用它的產品)會

資料來源:OpenAI,機器人文件;Anthropic,網頁爬取;Perplexity,機器人;Google,常見爬蟲。查閱日期為2026年10月26日。

存取控制示意圖:部分 AI 爬蟲穿過敞開的門,其他的則被關閉的屏障擋下
存取控制示意圖:部分 AI 爬蟲穿過敞開的門,其他的則被關閉的屏障擋下

有三個細節,幾乎沒有人處理得好:

  1. 各 token 彼此獨立。 對 GPTBot 設定 Disallow,不會影響 OAI-SearchBot;ClaudeBot 也不會影響 Claude-SearchBot。每個代理都需要自己的群組。
  2. 使用者觸發的抓取適用不同規則。 OpenAI 的文件說明,由於是由人發起,robots.txt 規則可能不適用於 ChatGPT-User;Perplexity 則直接說 Perplexity-User 通常會忽略它們。只靠 robots.txt 來「關門」,效果並不一致。
  3. Google-Extended 不是 AI Overviews 的開關。 Google 的文件說明,該 token 管理的是 Gemini 的訓練與 grounding,且「不影響網站被收錄於 Google 搜尋,也不會被用作排名訊號」。若要限制 Google 在其 AI 功能中顯示的內容,控制手段是 nosnippet、data-nosnippet、max-snippet 與 noindex。

如果你的文字要等執行 JavaScript 才存在,對 AI 來說你的頁面可能是空的

第二常見的隱形原因是用戶端渲染。不執行 JavaScript 的機器人,看到的是伺服器回傳的 HTML;如果你的網站是沒有伺服器端渲染的 SPA(React、Vue、Angular),那份 HTML 可能是一個空的 <div id="root"> 加三個 script 標籤。Googlebot 會渲染;但並非所有 AI 爬蟲都有相同的行為,也沒有文件說明它們會這麼做。

測試分兩步,不需要付費工具:

# 1) 沒有 JavaScript 的機器人看到什麼:計算原始 HTML 的字數
curl -sL -A "OAI-SearchBot/1.4" https://tudominio.com/una-pagina \
  | sed -e 's/<[^>]*>/ /g' | tr -s ' \n' ' ' | wc -w

# 2) 換掉 user-agent 之後,它回傳的是 403 還是 200?
curl -s -o /dev/null -w "%{http_code}\n" -A "PerplexityBot" https://tudominio.com/
curl -s -o /dev/null -w "%{http_code}\n" -A "Mozilla/5.0" https://tudominio.com/

如果第一個數字只有兩位數,而實際頁面有一千字,問題就在這裡。如果第二個指令對機器人 user-agent 回傳 403、對瀏覽器的卻回傳 200,那就是你的 CDN 或 WAF 在執行一個你從未設定過的封鎖:這是最常見的無聲失誤,因為它不會出現在任何 SEO 工具中。

同一頁面近乎空白的原始 HTML 與充滿內容的渲染後 DOM 的比較
同一頁面近乎空白的原始 HTML 與充滿內容的渲染後 DOM 的比較

如果原始 HTML 是空的,依成本由低到高該怎麼做:

  • 對你希望被引用的頁面使用伺服器端渲染或靜態化(Next.js、Nuxt、Astro,或在邊緣預先渲染)。這是真正的解決辦法。
  • 對關鍵內容做選擇性預先渲染:第一個回答區塊、H1、聯絡資料與 JSON-LD 放進初始 HTML,其餘的稍後再 hydrate。
  • 絕對不要提供機器人與使用者所見不同的內容版本:那是 cloaking,違反 Google 的垃圾內容規範。

如果你的頁面只在接受同意橫幅之後才顯示內容,機器人看到的就是那個橫幅。爬蟲不會按下「接受」:它們擷取的是初始狀態。註冊牆、地理定位的插頁式視窗,以及過於激進的反機器人保護,也是如此。

這不代表要移除同意機制——你有 GDPR 的義務要履行——而是可被索引的內容必須存在於橫幅後面的 HTML 中,而不是取決於是否接受。用覆蓋層擋住 <body> 的橫幅與 AEO 相容;而讓伺服器無法送出內容的橫幅則不相容。

llms.txt:Google 怎麼說,以及你實際上能期待什麼

llms.txt 是社群提出的一種做法:在網域根目錄放一個檔案,內含網站的 Markdown 索引,供模型使用。它不是標準(並非來自 IETF 或 W3C),而 Google 已明確表示不使用它:其 AI 功能指南指出,要出現在 AI Overviews 或 AI Mode 中,「你不需要建立新的機器可讀檔案、給 AI 用的文字檔案或標記」,而 John Mueller 在2026年1月否認 Google 某些網域上出現該檔案就代表支持(Search Engine Roundtable,2026年1月20日)。

實務結論:加上它只要十分鐘,也不會弄壞任何東西,但它不是提升能見度的槓桿,當然也無法取代上述各項。如果你決定要有,就要做對(一份真正的重要網址索引,並持續維護),而且不要把它算作 AEO 已完成的工作。

也沒有能讓你出現在 AI 答案中的「神奇 schema」

Google 說得很明確:要出現在 AI Overviews 或 AI Mode 中,不需要新增任何特殊的結構化資料(Google,AI 功能)。JSON-LD 仍然值得做,是出於另一個原因:消除歧義。附有 sameAs 的 Organization、附有 author 與 datePublished 的 Article、題目照人們實際寫法的 FAQPage、附有 offers 與 aggregateRating 的 Product,會告訴任何系統你是什麼實體以及你主張什麼,不必讓它從版面中去推斷。

所以請把標記當作資料衛生,而不是能見度的小技巧:

頁面類型確實有幫助的 JSON-LD有決定性差異的欄位
企業首頁Organizationname、url、logo、sameAs、contactPoint
部落格文章Article/BlogPostingheadline、author、datePublished、dateModified
產品頁Productoffers.price、availability、brand、gtin
在地服務頁面LocalBusinessaddress、openingHours、areaServed
常見問題FAQPage原樣的問題+完整的答案

如何撰寫可被引用的內容:答案優先與自成一體的段落

回答引擎引用的不是頁面:它引用的是段落。有效的模式是把完整的答案放在每個區段的前兩、三句,讓那個片段單獨拿出來也能被理解,不依賴前一段,也不依賴「如前所述」。接著,在下面才是展開說明、資料與細節。

具體的規則,而不是泛泛而談:

  • 一個標題=一個問題或一項可驗證的主張。「價格」無法被引用;「在西班牙做一次 AEO 稽核要花多少錢」就可以。
  • 自成一體。 每個區段都必須自己解決自己的問題,不含指向外部的代名詞。如果複製第一段單獨閱讀時看不懂,就重寫它。
  • 資料要附來源與日期。 模型與人工審閱者都會捨棄沒有出處的數字。「68%」若沒說明由誰在何時衡量,就毫無價值。
  • 凡是可比較的,就用表格。 它是最能在擷取過程中倖存的格式。
  • 明確的實體。 至少有一次用全名寫出你的品牌、城市、產品與競爭對手;不要假設能從上下文推斷出來。
  • 可見的日期。 真實的 dateModified,以及文字中的一個日期。新鮮度很重要。

你能期待多少流量?很少,但性質不同

現有的數字都指向同一件事:回答引擎減少了點擊,而且每個被爬取的頁面所帶回的流量,遠低於傳統搜尋引擎。Pew Research Center 針對 900 位美國成年人的 68,879 次 Google 搜尋衡量了實際行為(2025年3月的資料):出現 AI 摘要時,使用者點擊結果的比例為造訪次數的 8%,沒有出現時則為 15%;點擊摘要內部連結的比例為造訪次數的 1%(Pew Research Center,2025年7月22日)。

資料數字來源與日期
有 AI 摘要時點擊結果造訪次數的 8%Pew Research Center,2025年7月22日(2025年3月資料)
沒有 AI 摘要時點擊結果造訪次數的 15%Pew Research Center,2025年7月22日
點擊摘要本身的連結造訪次數的 1%Pew Research Center,2025年7月22日
在結果頁之後結束工作階段有摘要 26%,沒有則 16%Pew Research Center,2025年7月22日
取得一次造訪的難度,相較傳統 GoogleOpenAI ×750,Anthropic ×30,000Cloudflare,2025年7月1日
預估2026年傳統搜尋量的降幅−25%Gartner,新聞稿,2024年2月19日

對這張表有兩種坦誠的解讀。第一:如果你的商業計畫仰賴來自 ChatGPT 的大量點擊,這些數字今天並不支持。第二:引用本身具有品牌與偏好的價值——當有人問「在瓦倫西亞哪家代辦事務所適合我」時,以推薦來源出現,即使沒有點擊也有分量——而不出現的成本是不對稱的,因為你的競爭對手是在場的。順帶一提,Gartner 的預測是在2024年2月發布的,應該把它當作它本來的樣子:一項預測,而不是量測到的事實。

如何用 7 個步驟稽核你的網站是否適合 AI 引擎

這是完整的順序,依重要性排列。步驟 1 到 3 是淘汰制:如果失敗,其餘都無關緊要。

  1. robots.txt,逐個代理檢查。 開啟 https://tudominio.com/robots.txt,針對上表的每個 token 評估該特定網址,並遵守優先順序(特定群組勝過 *;在 Allow 與 Disallow 之間,規則模式較長者勝出)。
  2. 以機器人 user-agent 取得的實際回應。 用 curl -A 檢查狀態碼。找出 403、429、奇怪的重新導向,以及 WAF 的 JavaScript 驗證挑戰。
  3. 截取指令。 檢查標頭中的 X-Robots-Tag 與 <meta name="robots">:遷移時遺留下來的 noindex、nosnippet 或 max-snippet:0,會在沒人察覺的情況下限制你自己。
  4. 原始與渲染後的比較。 計算沒有 JavaScript 的 HTML 字數,並與渲染後的頁面比較。記下缺少哪些區塊。
  5. 可擷取的結構。 只有一個 H1、標題層級不跳級、每個區段在第一段就回答自己的問題、用表格取代比較性的段落。
  6. 身分與結構化資料。 有效的 JSON-LD、真實的日期、可辨識的作者、附有 sameAs 的 Organization。
  7. 衡量與重複。 在分析工具中把 AI 流量分開(助理的 referrer 是可辨識的),並在每次部署後重複稽核,以看出前後差異。
三步驟流程:貼上網址、閱讀附有分數的報告,並把程式碼修補貼到網站上
三步驟流程:貼上網址、閱讀附有分數的報告,並把程式碼修補貼到網站上

哪些事情無法確定(並對任何向你保證的人保持警惕)

沒有人能保證你會被 ChatGPT 引用,也沒有人能像衡量 Google 排名那樣,衡量「你在回答引擎中的名次」。生成式答案不是確定性的:同一個問題問兩次,可能引用不同的來源,而且供應商並未公開可查詢的索引或排名 API。任何「在 ChatGPT 排第 3」的說法,往好處想也只是一次抽樣。

可以嚴謹衡量的是:

  • 可存取性:特定機器人是否能下載特定網址。這是二元的,可以驗證。
  • 可擷取性:你有多少內容不靠 JavaScript 就存在,以及它的結構如何。
  • 抽樣出現率:同一個問題問 N 次,回報你的品牌出現在多少比例的答案中,並始終附上日期與重複次數。這是指標,不是排名。

如果某個工具或代理商向你保證以保證的數字「出現在 ChatGPT 中」,問題不在於工具:問題在於那個承諾。

Aeopro:同樣的檢查,針對一個網址,整合在一份報告中

手動對一個頁面做完這 7 個步驟需要幾個小時;對整個網站則要好幾天。AIsToHire 的 AEO 稽核應用程式 Aeopro,自動化的正是這套流程:你貼上一個網址,它會回傳 99 項確定性檢查,附兩個分數——AEO(占整體結果的 70%)與傳統 SEO(30%)——而每個類別的權重都公開在應用程式內,讓你能追溯每一分的來源。

與你剛讀到的內容相對應的部分:

需要檢查的項目Aeopro 的做法
逐個代理檢查 robots.txt將你的 robots.txt 與 11 個 AI 機器人交叉比對,區分訓練用與回答用的機器人,並顯示造成每項封鎖的確切那一行
機器人的實際回應以機器人 user-agent 探測你的網站,抓出 403、WAF 牆,以及 noindex/nosnippet 指令
原始與渲染後的比較下載頁面兩次(原始 HTML 與渲染後的 DOM),告訴你有多少比例的內容不需 hydrate 就能取得,並列出缺少的區塊
修正失敗的項目99 項規則中有 44 項附有可產生的修補:完整的 JSON-LD、為你的內容撰寫的 TL;DR 與 FAQ、以答案優先格式改寫的區段、llms.txt 與 meta。robots.txt 修補不使用 AI 組成,每個機器人都有一個開關
在答案中的出現率能見度測試:針對你所屬產業的三個可編輯問題,各問三次,附上你品牌的出現比例、語氣,以及取代你出現的競爭對手——一律以附日期的抽樣呈現,絕不當作絕對的是或否
部署後重複檢查重新分析並顯示前後差異,並有規則目錄的版本紀錄,讓分數在數個月後仍能被解釋

確定性報告與重新分析不會消耗 Token:你可以一再稽核。只有由 AI 撰寫的動作才會花費,而且一律是你按下時才逐項執行。你可以在 Aeopro 頁面,AIsToHire 的 AEO 稽核與 AI 能見度工具查看。

常見問題

為什麼 ChatGPT 不引用我的網站?

依頻率排序:因為你的 robots.txt 封鎖了 OAI-SearchBot(通常是無意中,因為整批封鎖「AI」)、因為你的伺服器或 WAF 對機器人 user-agent 回傳 403、因為你的內容要等執行 JavaScript 之後才存在、因為沒有任何段落能自成一體地回答問題,或者單純因為對該主題而言,其他來源更常被引用。前三項原因是技術性的,幾分鐘內就能檢查出來。

如果我封鎖 GPTBot,我就不會出現在 ChatGPT 了嗎?

不一定。GPTBot 是訓練用的爬蟲;為 ChatGPT 搜尋建立索引的是 OAI-SearchBot。它們在 robots.txt 中是獨立的 token,所以你可以拒絕餵養訓練,同時仍然能被引用。真正會讓你從答案中消失的,是封鎖 OAI-SearchBot(OpenAI 文件)。

我需要 llms.txt 檔案嗎?

並非必要,而且截至今天,沒有公開證據顯示主要供應商在正式環境中使用它。Google 表示,要出現在其 AI 功能中不需要給 AI 用的文字檔案或特殊標記,而 John Mueller 在2026年1月否認 Google 支持它。加上它無傷大雅;認為這樣就算做完 AEO,才有害。

我怎麼知道我的網站在沒有 JavaScript 時看起來如何?

用 curl -sL https://tudominio.com | sed -e 's/<[^>]*>/ /g' | wc -w 下載原始 HTML,並將字數與你在瀏覽器中看到的內容比較。如果差距達一個數量級,你的內容就取決於用戶端渲染。在 Aeopro 中,這項比較已經做好,兩份文字並排顯示,並附上缺少區塊的清單。

AEO 會取代 SEO 嗎?

不會。SEO 仍然是基礎:如果你沒被索引,速度又不快、內容又沒用,就不可能有 AEO。Google 自己的說法是:良好的 SEO 做法仍然適用於其 AI 功能,沒有額外的要求。AEO 增加了一層:對非 Googlebot 的機器人可存取、不靠 JavaScript 即可擷取的內容,以及自成一體的段落。

如果我被 ChatGPT 引用,能獲得多少流量?

比你希望的少,而且從一開始就該接受這一點。Pew 衡量到 Google AI 摘要內部的連結只占造訪次數的 1% 被點擊,而 Cloudflare 在2025年7月估算,透過 OpenAI 取得一次造訪,比傳統搜尋引擎困難約 750 倍。引用的價值更多在於品牌與偏好,而不是直接的點擊。

能保證出現在 AI 的答案中嗎?

不能,而且沒有任何誠實的工具會保證。生成式答案在每次執行間都會變動,供應商也沒有公開可查詢的排名。能夠保證的,是消除今天將你排除在外的技術性封鎖,並以抽樣方式衡量出現率,附上日期與重複次數。

應該多久重複一次稽核?

在每次動到範本、robots.txt、CDN 或 WAF 的部署之後,以及每一到兩個月做一次例行檢查:機器人的名稱與指令每年會變動好幾次。2025 與 2026 年新增了許多 token——OAI-SearchBot、Claude-SearchBot、OAI-AdsBot——在許多人撰寫自己的 robots.txt 時,它們還不存在。

結論:先移除封鎖,再為了被引用而寫作

今天的 AEO,是 20% 的寫作與 80% 的不要礙事。在重寫任何一個段落之前,先確認負責引用的機器人能下載你的頁面、你的伺服器沒有對它們回傳 403,而且你的內容在沒有 JavaScript 時也存在;這三件事,說明了稽核中看到的大多數隱形狀況。之後才輪到自成一體的段落、表格、乾淨的 JSON-LD 與真實的日期。

如果你想在不花一個下午的情況下看到一個網址的完整面貌,AIsToHire 的 AEO 稽核工具 Aeopro 會執行全部 99 項檢查,告訴你造成每個問題的 HTML 確切片段,並在其中 44 項為你產生可直接貼上的修補:用 Aeopro 稽核網站。

把你網站的網址貼到 Aeopro,一分鐘內確認負責引用來源的機器人能不能讀取你、是什麼阻止了它們,以及確切的修正方式。

把你網站的網址貼到 Aeopro,一分鐘內確認負責引用來源的機器人能不能讀取你、是什麼阻止了它們,以及確切的修正方式。

↑ 回到頂端