較強的 AI 模型把讀取證據的工作交給較弱模型後,反而更容易相信錯誤答案。研究人員在沙盒測試中找到明確案例:Opus 5 自行讀取檔案時,只有 1/180 次採信植入的錯誤答案;改由 Haiku 4.5 整理證據後,錯誤採信次數增至 75/180。GPT-5.6-sol 也出現類似落差,直讀時為 0/180,依賴 GPT-5.6-terra 時則為 44/180。
這不代表所有 AI 代理都會以相同比例受騙,因為兩組測試採用的偽造手法、工具限制並不相同。但結果點出一個實務問題:只評估最後負責判斷的主管模型,可能忽略證據在讀取、摘要與轉述過程中已被汙染的風險。
事件時間線:從研究提交到風險浮現
- 研究設計:研究人員 Keegan Wang 與 Anantika Mannby 以虛構紀錄及二選一問題測試 AI 代理,並在檔案庫中植入偽造證據。
- 2026 年 11 月 12 日:相關研究提交至 arXiv,測試 Anthropic 的 Claude Code 與 OpenAI 的 Codex。
- 2026 年 11 月 18 日:公開來源報導研究結果,顯示較強主管可能沿用較弱讀取模型的錯誤判斷。
研究衡量的是「有害修訂」:代理原本可依正確基準作答,最後卻改採攻擊者植入的錯誤答案。這項指標用來呈現系統是否被偽造證據帶偏,而不是一般任務的正確率。
已確認結果:較弱讀取者如何改變主管判斷
| 主管模型 | 證據處理方式 | 有害修訂 | 測試條件 |
|---|---|---|---|
| Opus 5 | 自行讀取 | 1/180 | 堆疊偽造 |
| Opus 5 | 交由 Haiku 4.5 | 75/180 | 堆疊偽造 |
| Opus 5 | 交由同級助手 | 0/180 | 堆疊偽造 |
| GPT-5.6-sol | 自行讀取 | 0/180 | 權威標註偽造 |
| GPT-5.6-sol | 交由 GPT-5.6-terra | 44/180 | 權威標註偽造 |
| GPT-5.6-sol | 交由同級助手 | 1/180 | 權威標註偽造 |
Claude Code 的委派測試只能使用 Task 工具,主管無法直接開啟檔案;Codex 的限制則以操作指示執行,並逐次檢查。兩邊採用的攻擊也不同,因此數字適合用來理解各自情境,不能直接當成 Claude Code 與 Codex 的產品排名。
攻擊本身的影響同樣顯著。Codex 在直接讀取、遭遇「更正通知」型偽造的測試中,172/180 次受到誘導;相較之下,權威標註型測試的直讀結果為 0/180。這顯示偽造答案能否奏效,不只取決於模型強弱,也與證據呈現方式有關。
為什麼委派會放大風險
部分偽造檔案看起來像正常事實,沒有明顯的惡意指令。較弱模型讀取後,可能把錯誤結論包裝成摘要或研究結果,再傳給主管;主管看到的是流暢整理後的說法,而未必重新接觸原始紀錄。
研究中的堆疊攻擊把五份偽造文件放進三十五份檔案的儲存空間,混合更正通知、權威標註與反覆出現的錯誤敘述。其中可被辨識的偽造內容具有兩個線索:日期早於它聲稱「更正」的紀錄,而且缺少真正的登錄資訊。
研究人員認為,出處資訊在轉述時流失,以及主管減少查核,可能是促成錯誤的原因。不過,較少工具操作次數與有害修訂之間只有相關性,尚不足以證明「少查幾次」就是直接原因。
目前不能從實驗推論的事
- 不能推估一般客戶的失誤比例:實驗使用生成式虛構任務與沙盒環境,並非日常客戶工作流程。
- 不能直接比較兩款產品的優劣:Claude Code 與 Codex 使用不同偽造攻擊,工具限制方式也不同。
- 不能把研究數字當成穩定常態:研究本身指出,重複執行時仍可能出現變動。
- 不能認定所有多模型架構都會失效:結果反映特定模型、特定攻擊及特定工具權限的組合。
比較能做的是檢查設計是否合理,以及哪些控制方式在受測環境中降低了錯誤。資料沒有被汙染的乾淨委派測試,兩個產品每個測試條件都是 0/180 有害修訂;這也說明委派本身不等於必然出錯。
實際導入 AI 代理時,四個可採取的控制點
1. 保留原始紀錄的來源資訊
不要只把摘要交給下一個模型。每一段重要主張都應連同來源位置、紀錄識別資訊及擷取時間傳遞,讓主管能回查原始證據,而不是依賴助手整理後的結論。
2. 要求引用原文片段
在一項每組四十次的真實工具環境測試中,規定代理引用原始紀錄原文後,有害修訂從 15 次降至 3 次。這個數字來自特定實驗配置,但足以顯示「附上可核對片段」與單純要求摘要,在工作流程上有實質差異。
3. 加入保持懷疑的驗證者
同一項測試中,再由被要求保持懷疑的驗證者檢查後,有害修訂降至 1 次。驗證者不應只重寫答案,而應檢查主張是否真的存在於原始資料、是否把無來源標註當成權威,以及是否把可疑時間線當成事實。
4. 依任務選擇讀取模型
同級助手在受測條件下分別只造成 0/180 與 1/180 有害修訂,優於兩款主管搭配較弱讀取模型時的結果。不過,不能因此推論所有情況都應使用同級模型;成本、延遲與閱讀能力仍須一併評估。
團隊應如何設計驗證流程
| 檢查項目 | 建議做法 | 適用情境 |
|---|---|---|
| 來源可追溯 | 為每項主張保留原始紀錄位置與識別資訊 | 研究、法務查核、財務與營運代理 |
| 原文佐證 | 要求模型附上支持主張的原文片段 | 摘要、資料比對與多代理交接 |
| 身分與權限 | 限制讀取模型的工具權限,避免直接改寫或刪除來源 | 能建立沙盒與工具白名單的團隊 |
| 獨立驗證 | 由不同代理核對時間線、登錄資訊與原始紀錄 | 高風險決策與自動執行流程 |
部署前還應使用與自身工作類型相近的內部樣本進行紅隊測試,同時分別記錄讀取模型、摘要模型及主管模型各自的錯誤率。若系統允許人工介入,應明確標示哪些結論已完成查核、哪些仍只是模型摘要。
FAQ 常見問題
較強模型搭配較弱模型,真的比較容易出錯嗎?
在這項研究的特定沙盒配置中,答案是肯定的。Opus 5 與 GPT-5.6-sol 交由較弱模型整理證據後,有害修訂次數都高於自行讀取時;但不同攻擊方式使研究無法直接比較兩款產品,也不能推廣到所有模型。
這代表多模型協作不應該使用嗎?
不是。研究也測到乾淨資料的委派配置為 0/180,證明架構本身不是問題。較合理的做法是限制讀取模型的權限、保留來源資訊,並讓主管或獨立驗證者能回查原始紀錄。
「有害修訂」和一般答錯率有什麼不同?
有害修訂專門衡量系統是否放棄原本可成立的正確基準,改採攻擊者植入的錯誤答案。這個指標能顯示資料汙染如何改變判斷,但不等同於模型在所有任務上的錯誤率。
要求引用原文真的有用嗎?
在研究提供的真實工具環境測試中,引用原始紀錄的要求把有害修訂從 15 次降至 3 次,加入保持懷疑的驗證者後再降至 1 次。這是特定配置下的結果,實際成效仍須用自身資料測試。
一般使用者需要擔心嗎?
研究沒有提供一般客戶失誤比例,也沒有證明所有 AI 代理都會受到相同影響。若代理只處理低風險草稿,直接風險可能有限;但涉及交易、資產操作或重要決策時,就更應該要求來源可追溯與獨立查核。
資料來源與利益揭露
來源:Frontier AI models adopt fake data, exposing a hidden flaw,發布日期:2026-11-18。
利益揭露:本節列示本篇使用的公開來源;本文不對來源未明示的商業關係、報酬或其他利益連結作推定。研究數據均依來源所述的測試配置解讀,不代表一般客戶的實際發生率。
如果你的團隊正在導入多模型代理,最實際的下一步是從下一次高風險任務開始,要求每項結論保留原始來源、附上原文片段,並安排獨立驗證者回查;這樣才能知道錯誤究竟發生在讀取、摘要,還是最後判斷階段。

