← 返回觀點
/智慧方案FDE團隊

團隊改好新模型的提示詞後,要測到什麼程度才能正式使用?

一份報價答案看起來沒問題,還不足以確認所有必要條件都保留了。用欄位齊全、缺交期與資料矛盾的案例測試,留下結果再決定是否更新技能與任務。

AIEgentWrX導入人機協作
團隊改好新模型的提示詞後,要測到什麼程度才能正式使用?

團隊準備換用新模型,打開整理報價資料用的提示詞(prompt),也就是交代 AI 該怎麼工作的指令,卻發現裡頭滿是再三叮嚀:檢查完還要再檢查、每個欄位都得填滿。這些要求可能是當初出了錯,才一條一條加上去的;如今換了模型,該原封不動沿用,還是全部重寫?

智慧方案建議,更新模型時,也要一併檢查提示詞,但驗收時不要只看字數減少了多少。先分清楚哪些是公司仍須遵守的業務規則,哪些是過去為了讓模型照做而加上的提醒,再用同一批資料比較修改前後的結果;真正要確認的是,該遵守的條件有沒有漏掉。

先分清楚:哪些是公司規定,哪些只是反覆叮嚀?

INSIDE 報導指出,過去為舊模型寫的全大寫強調詞與反覆提醒,換到新模型後,可能增加 token 用量,甚至干擾結果。報導介紹的 Claude Code 指令 /doctor prompt-audit,可以檢查 CLAUDE.md、skills、agents 與 commands 裡過時的指令,也會標出已失效的路徑,以及不同檔案之間互相衝突的規則;在使用者確認前,工具只會列出問題與修改建議,不會更動檔案。

不過,這不代表語氣強烈的句子都該刪掉。我們建議先挑一項目前確實有人在做,也有人能判斷結果對不對的工作,例如整理報價資料,再把相關指令逐條列出,註明寫在哪裡、用來處理什麼業務需求,以及為什麼要保留。可以先依照以下原則分類:

  • 仍須遵守的業務要求:例如公司規定要列明幣別、稅別與報價有效期限,就應保留這些要求,不能因為換了模型就省略。
  • 需要寫清楚的檢查方式:如果指令只要求反覆檢查,卻沒說要查什麼,建議改成具體的檢查項目,例如核對品名與料號是否一致、缺少交期時是否列出待確認事項。
  • 需要測試才能決定去留的舊措辭:全大寫或重複提醒的句子,可以先列入考慮刪改的清單,但要記下當初是為了避免什麼錯誤,再測試刪除後會不會又出現同樣的問題。

每條要求都應請業務負責人確認依據。如果團隊說不出為什麼要保留,就先註明尚待釐清,不要直接認定是必要規則,也不要未經確認就刪除。

規則寫在不同地方,也要一起檢查

報導提到不同檔案裡的規則可能互相矛盾,企業檢查工作指令時,也應留意這個問題。假設整理報價資料的技能(skill,也就是可重複套用的固定做法)要求列出缺少的資料,任務指令卻要求自行補齊所有欄位,團隊就得先決定缺資料時究竟該怎麼處理,不能只刪掉幾句強調語氣的文字。

建議繼續以同一項工作為範圍,把規則不一致的地方整理成清單,逐筆記下規則寫在哪裡、哪些內容互相衝突、目前應依照哪項業務規定,以及由誰負責確認。如果公司規定,缺少交期時要先向業務確認,就應同時修改技能與任務指令,寫清楚要列出哪些缺少的資料、交給誰確認,以及確認前哪一步還不能完成。

另外,指令裡引用的資料夾、範本與操作指令,也要逐一核對。如果文件已經搬到別處,或範本已經停用,即使文字沒有矛盾,團隊還是得更新指令中的引用位置。因此,這一輪檢查要留下修改清單,讓後續負責的人能追蹤處理進度,並請負責人確認,所有引用同一條規則的地方都已列入清單。

用同一批資料,確認修改後有沒有漏掉條件

建議先保留原始指令,再讓新模型分別使用修改前、修改後的版本,處理同一批有代表性的資料。除了提示詞之外,資料、工具與執行設定都盡量維持一致,才不會因為同時改了太多地方,事後無法確定結果為什麼不同。

以整理報價資料為例,測試資料應包括欄位齊全、缺少交期、資料內容互相矛盾等情況。業務負責人要先寫清楚,每種情況應該怎麼處理,再依照以下項目檢查結果:

  • 必要條件有沒有漏掉:幣別、稅別與報價有效期限是否齊全,不能因為文字讀起來更順,就忽略少了哪些必要資訊。
  • 缺少的資料有沒有如實列出:資料沒有交期時,是否依規定列為待確認事項,而沒有自行填入日期。
  • 格式與確認步驟是否符合要求:同仁能否依照既定欄位繼續處理、需要業務確認的內容是否標示清楚。

重要的情況建議多測幾次,並保留每次輸入的資料、使用的指令版本與輸出結果。如果修改後漏掉必要條件,就先縮小修改範圍,再重新測試;不要只因為其中一份答案看起來不錯,就換掉正式使用的指令。

測試通過後,再更新技能與任務

測試通過的做法,建議整理成可以重複使用的技能或任務指令,不要只留在某次對話裡。以 EgentWrX 為例,團隊可以把固定做法與規則寫進技能,也能透過任務的版本與發佈政策,管理修改後的工作指令。

團隊可以先建立任務的新版本,記下修改理由與測試結果,再請業務負責人確認必要條件是否齊全、IT 確認引用路徑是否有效及操作能否正常執行,確認完成後再發佈。如果要讓同事自行建立的技能供全公司使用,還須送到後台審查佇列,經核准後才能開放;至於規則比對與測試案例,仍由團隊安排。

下一次換模型前,可以先選定試辦的工作與負責人,準備好規則清單及有代表性的資料,並事先約定,測試結果出現哪些不合格的情況,就暫時不替換原有指令。有了這些準備,團隊才能根據檢查與測試結果,決定哪些指令要保留、哪些措辭要修改,以及什麼時候可以更新正式使用的版本。

常見問題

換用新模型時,舊提示詞需要全部重寫嗎?
不必全部重寫,建議先逐條確認指令的業務用途,以及為什麼要保留。仍須遵守的報價條件、資料要求與確認步驟都應留下;至於反覆叮嚀和專為舊模型寫的措辭,可以先列入待測試的清單,比較修改前後的結果,再決定要不要刪改。
檢查工具建議刪除的指令,可以直接刪嗎?
不建議直接刪除,應先請業務負責人確認,刪改後會不會影響公司規定的執行,再安排測試。工具的建議不能代替業務判斷,尤其涉及缺少資料時該怎麼處理、哪些內容須經主管確認,更要留下確認紀錄。
舊提示詞應該由業務還是 IT 負責檢查?
建議由業務負責人與 IT 分工檢查,再由 AI 專案負責人彙整結果。業務確認指令中的條件與產出結果是否符合工作需求,IT 核對引用路徑是否有效、操作能否正常執行,最後由團隊根據測試結果,決定是否發佈新版本。
30 分鐘,一起盤點哪些工作適合先交給 AI

想讓每位同仁都有自己的 AI 分身?

顧問會盡快與您聯繫。

ISO/IEC 27001:2022 資訊安全管理驗證