← 返回觀點
/智慧方案FDE團隊

AI 引用測試先固定四件事,再比較不同標題

每輪的問題、來源或讀者背景一變,勝出的標題可能也會跟著換。固定問題、候選來源、評分方式與紀錄,結果才有比較基礎。

AIEgentWrX人機協作導入
AI 引用測試先固定四件事,再比較不同標題

官網文章改了標題,ChatGPT 這次有引用,下次卻沒有;換成 Claude,結果又不一樣。內容團隊測過幾次後,很容易認定 AI 比較偏好某種寫法,接著就把整批文章的標題一起改掉。不過,如果每次提問的方式、候選來源和使用者背景都不同,團隊根本無法確認結果是受到標題影響,還是測試條件已經變了。

我們認為,企業不用急著追逐最新的標題技巧,應該先建立一套可以重複執行、比較測試結果,而且由專人負責核准的 AI 引用測試流程。每次都用同一組問題、來源和評分方式測試,並留下模型、版本、日期和完整回答;等累積到足以支持決策的結果後,再決定是否改版。

一次模擬結果,還不能當成排名規則

《數位時代》整理的研究提醒企業,測試條件一變,結果就可能跟著改變。Every 評估主管 Mike Taylor 在 2026 年 10 月執行 2,484 次獨立對話,涵蓋 OpenAI 與 Anthropic 的 4 個模型;每次都開啟全新對話,AI 只會看到一個標題版本,也不會記得前一次測試的內容。這項研究比較不同的標題、副標和使用者條件,觀察 AI 最後選擇哪些來源。

其中一篇提示工程(prompt engineering)文章完全沒有修改內文,只調整標題和副標。在特定測試條件下,被引用的次數從 2/240 增加到 240/240。研究也發現,標題如果先寫清楚讀者可以學到什麼方法、得到什麼成果,表現會比先談痛點或作者資歷的版本好;不過,只在舊標題加上年份,並沒有改善該組測試的結果。

這組數字看起來很驚人,但研究使用的是固定候選來源和模擬搜尋結果,並未驗證修改標題後,AI 搜尋帶來的實際流量是否會增加,也沒有直接測試 Google AI 模式與 Perplexity。因此,主管看到引用率提高時,要先確認提高的只是模擬環境中的引用率,還是真實平台上的引用與網站造訪也跟著增加。團隊要分開記錄兩種結果,也不能因為某個標題在一次測試中勝出,就直接把它訂成全公司的標題規則。

先固定四件事,測試結果才能互相比較

建議先挑一個官網主題試做,例如設備保養、採購比價或品質異常處理,不要一開始就測整個網站。不同主題面對的讀者、候選來源和判斷標準差很多,先把一套流程完整跑過,團隊才會知道哪些欄位最常漏填,以及哪些結果需要內容和業務主管一起確認。

固定問題。 準備 3 至 5 個真實讀者會問的問題,並寫清楚讀者的職務、產業和工作情境。例如,不要只問「怎麼挑供應商」,可以改成「製造業採購主管要比較兩家設備供應商,應先查哪些交期與維修條件?」研究中提供的讀者資訊愈完整,AI 愈容易判斷文章是否適合這位讀者。因此,企業測試時也要固定人物設定,不要每一輪都換一種問法。

固定候選來源。 每題準備 5 至 8 筆搜尋結果,包括自家文章、同業網站、媒體報導和論壇內容,並保存當次使用的標題、摘要、網址和內文版本。每一輪只改一項,例如只改標題,其他內容都維持不變;否則測試結果出現差異時,團隊也找不出真正的原因。

固定評分方式。 除了記錄文章有沒有被引用,還要檢查 AI 選了哪兩篇、引用理由是否符合問題、摘要有沒有誤解內文,以及答案是否適合原先設定的讀者。引用次數可以直接計算,但文章被引用,不代表引用的內容就是正確的,最後仍要交給熟悉內容的人確認。

固定測試紀錄。 每次都要留下模型供應商、模型名稱、能取得的版本資訊、測試日期、提示內容和完整回答。重新測試時,要開啟全新的獨立對話,避免前一輪內容影響下一輪。團隊可以先建立一張任務卡,把這四類資訊設為必填欄位,再開始比較不同的標題版本,不要先改文章,之後才回頭補紀錄。

各模型分開比較,通過人工審查後再發布

原研究只比較 OpenAI 與 Anthropic 的 4 個模型,但已經足以說明一項管理問題:不同模型的結果不能全部混在一起計算平均數。建議至少選擇兩家不同供應商的模型,分別用相同的問題、候選來源和評分方式測試,報告也要逐一列出各模型的結果。如果某個版本只在單一模型上的表現較好,可以先持續觀察;等到不同模型、不同批次都得到相近結果,再考慮納入內部準則。

企業也可以把審查通過的標題規則整理成 AI 技能(AI Skill),例如檢查標題有沒有寫出讀者的問題、適用對象和可以學到的方法,以及標題是否符合內文。這麼做是為了讓同仁每次都採用同一套檢查方式,但最後仍由人決定文章標題。單一內容團隊可以先試用這套規則,確認不會誤導讀者後,再送交審查,納入共用技能。

如果使用 EgentWrX,團隊可以把引用測試建立成能重複執行的任務卡,再把「整理候選來源、依模型分批測試、產出比較結果、主管核可」串成工作流程,並在進入下一個步驟前暫停,等待人員確認。同一個平台可以切換 Anthropic、OpenAI 或地端模型(on-premises model),團隊不必為每種模型各建一套作業流程,但報告仍要分別標示模型和測試日期。

最後負責核可的人,不能只看哪個版本被引用最多,還要確認標題沒有超出內文、一般讀者看得懂,並另外觀察原有的搜尋排名和點擊表現。企業可以先挑一個主題、建立任務卡,跑完兩家模型的第一輪測試,再由內容和業務主管共同決定是否改版。比起一次修改全站標題,這種做法更容易找出真正有效,而且團隊能說清楚原因的寫法。

常見問題

測試要跑幾次才可以決定改標題?
沒有一個固定次數適用所有企業。企業應先確保每個版本都用相同的問題、候選來源和人物設定重複測試,並分開記錄各模型的結果;等到不同批次都呈現一致的差異,而且人工檢查沒有發現錯誤引用後,再討論是否改版。
候選來源要不要每次更新?
同一輪版本比較期間不要更新,否則團隊無法確認差異來自標題,還是候選來源已經改變。完成一輪後,可以另開一個新批次更新搜尋結果,但要保留舊清單、標註日期,也不要把兩個批次的結果直接合併計算。
引用率提高,就代表網站流量會增加嗎?
不代表。原研究使用固定候選來源和模擬搜尋結果,並未測量真實 AI 搜尋產品帶來的網站流量。企業應該把模擬測試的引用、真實平台的引用和網站造訪分成不同指標,發布後再觀察實際變化。
標題檢查規則可以直接交給 AI Agent 嗎?
可以先由 AI Agent 檢查並提出不同版本,但發布前仍要交給人員核可。檢查時要確認標題是否回答讀者的問題、寫明適用對象、說清楚讀者可以學到什麼,並核對內文是否真的支持這些說法,以免為了提高引用率而誤導讀者。
30 分鐘,一起盤點哪些工作適合先交給 AI

想讓每位同仁都有自己的 AI 分身?

顧問會盡快與您聯繫。

ISO/IEC 27001:2022 資訊安全管理驗證