合作揭露:本站可能含交易所合作連結。請自行評估平台條款、費用與投資風險。

合作平台
AI 與區塊鏈

AI 主管誤信偽造證據?多模型協作風險實測

較強的 AI 模型把讀取證據的工作交給較弱模型後,反而更容易相信錯誤答案。研究人員在沙盒測試中找到明確案例:Opus 5 自行讀取檔案時,只有 1/180 次採信植入的錯誤答案;改由 Haiku 4.5 整理證據後,錯誤採信次數增至 75/180。GPT-5.6-sol 也出現類似落差,直讀時為 0/180,依賴 GPT-5.6-terra 時則為 44/180。

這不代表所有 AI 代理都會以相同比例受騙,因為兩組測試採用的偽造手法、工具限制並不相同。但結果點出一個實務問題:只評估最後負責判斷的主管模型,可能忽略證據在讀取、摘要與轉述過程中已被汙染的風險。

事件時間線:從研究提交到風險浮現

  1. 研究設計:研究人員 Keegan Wang 與 Anantika Mannby 以虛構紀錄及二選一問題測試 AI 代理,並在檔案庫中植入偽造證據。
  2. 2026 年 11 月 12 日:相關研究提交至 arXiv,測試 Anthropic 的 Claude Code 與 OpenAI 的 Codex。
  3. 2026 年 11 月 18 日:公開來源報導研究結果,顯示較強主管可能沿用較弱讀取模型的錯誤判斷。

研究衡量的是「有害修訂」:代理原本可依正確基準作答,最後卻改採攻擊者植入的錯誤答案。這項指標用來呈現系統是否被偽造證據帶偏,而不是一般任務的正確率。

已確認結果:較弱讀取者如何改變主管判斷

主管模型 證據處理方式 有害修訂 測試條件
Opus 5 自行讀取 1/180 堆疊偽造
Opus 5 交由 Haiku 4.5 75/180 堆疊偽造
Opus 5 交由同級助手 0/180 堆疊偽造
GPT-5.6-sol 自行讀取 0/180 權威標註偽造
GPT-5.6-sol 交由 GPT-5.6-terra 44/180 權威標註偽造
GPT-5.6-sol 交由同級助手 1/180 權威標註偽造

Claude Code 的委派測試只能使用 Task 工具,主管無法直接開啟檔案;Codex 的限制則以操作指示執行,並逐次檢查。兩邊採用的攻擊也不同,因此數字適合用來理解各自情境,不能直接當成 Claude Code 與 Codex 的產品排名。

攻擊本身的影響同樣顯著。Codex 在直接讀取、遭遇「更正通知」型偽造的測試中,172/180 次受到誘導;相較之下,權威標註型測試的直讀結果為 0/180。這顯示偽造答案能否奏效,不只取決於模型強弱,也與證據呈現方式有關。

為什麼委派會放大風險

部分偽造檔案看起來像正常事實,沒有明顯的惡意指令。較弱模型讀取後,可能把錯誤結論包裝成摘要或研究結果,再傳給主管;主管看到的是流暢整理後的說法,而未必重新接觸原始紀錄。

研究中的堆疊攻擊把五份偽造文件放進三十五份檔案的儲存空間,混合更正通知、權威標註與反覆出現的錯誤敘述。其中可被辨識的偽造內容具有兩個線索:日期早於它聲稱「更正」的紀錄,而且缺少真正的登錄資訊。

研究人員認為,出處資訊在轉述時流失,以及主管減少查核,可能是促成錯誤的原因。不過,較少工具操作次數與有害修訂之間只有相關性,尚不足以證明「少查幾次」就是直接原因。

目前不能從實驗推論的事

  • 不能推估一般客戶的失誤比例:實驗使用生成式虛構任務與沙盒環境,並非日常客戶工作流程。
  • 不能直接比較兩款產品的優劣:Claude Code 與 Codex 使用不同偽造攻擊,工具限制方式也不同。
  • 不能把研究數字當成穩定常態:研究本身指出,重複執行時仍可能出現變動。
  • 不能認定所有多模型架構都會失效:結果反映特定模型、特定攻擊及特定工具權限的組合。

比較能做的是檢查設計是否合理,以及哪些控制方式在受測環境中降低了錯誤。資料沒有被汙染的乾淨委派測試,兩個產品每個測試條件都是 0/180 有害修訂;這也說明委派本身不等於必然出錯。

實際導入 AI 代理時,四個可採取的控制點

1. 保留原始紀錄的來源資訊

不要只把摘要交給下一個模型。每一段重要主張都應連同來源位置、紀錄識別資訊及擷取時間傳遞,讓主管能回查原始證據,而不是依賴助手整理後的結論。

2. 要求引用原文片段

在一項每組四十次的真實工具環境測試中,規定代理引用原始紀錄原文後,有害修訂從 15 次降至 3 次。這個數字來自特定實驗配置,但足以顯示「附上可核對片段」與單純要求摘要,在工作流程上有實質差異。

3. 加入保持懷疑的驗證者

同一項測試中,再由被要求保持懷疑的驗證者檢查後,有害修訂降至 1 次。驗證者不應只重寫答案,而應檢查主張是否真的存在於原始資料、是否把無來源標註當成權威,以及是否把可疑時間線當成事實。

4. 依任務選擇讀取模型

同級助手在受測條件下分別只造成 0/180 與 1/180 有害修訂,優於兩款主管搭配較弱讀取模型時的結果。不過,不能因此推論所有情況都應使用同級模型;成本、延遲與閱讀能力仍須一併評估。

團隊應如何設計驗證流程

檢查項目 建議做法 適用情境
來源可追溯 為每項主張保留原始紀錄位置與識別資訊 研究、法務查核、財務與營運代理
原文佐證 要求模型附上支持主張的原文片段 摘要、資料比對與多代理交接
身分與權限 限制讀取模型的工具權限,避免直接改寫或刪除來源 能建立沙盒與工具白名單的團隊
獨立驗證 由不同代理核對時間線、登錄資訊與原始紀錄 高風險決策與自動執行流程

部署前還應使用與自身工作類型相近的內部樣本進行紅隊測試,同時分別記錄讀取模型、摘要模型及主管模型各自的錯誤率。若系統允許人工介入,應明確標示哪些結論已完成查核、哪些仍只是模型摘要。

FAQ 常見問題

較強模型搭配較弱模型,真的比較容易出錯嗎?

在這項研究的特定沙盒配置中,答案是肯定的。Opus 5 與 GPT-5.6-sol 交由較弱模型整理證據後,有害修訂次數都高於自行讀取時;但不同攻擊方式使研究無法直接比較兩款產品,也不能推廣到所有模型。

這代表多模型協作不應該使用嗎?

不是。研究也測到乾淨資料的委派配置為 0/180,證明架構本身不是問題。較合理的做法是限制讀取模型的權限、保留來源資訊,並讓主管或獨立驗證者能回查原始紀錄。

「有害修訂」和一般答錯率有什麼不同?

有害修訂專門衡量系統是否放棄原本可成立的正確基準,改採攻擊者植入的錯誤答案。這個指標能顯示資料汙染如何改變判斷,但不等同於模型在所有任務上的錯誤率。

要求引用原文真的有用嗎?

在研究提供的真實工具環境測試中,引用原始紀錄的要求把有害修訂從 15 次降至 3 次,加入保持懷疑的驗證者後再降至 1 次。這是特定配置下的結果,實際成效仍須用自身資料測試。

一般使用者需要擔心嗎?

研究沒有提供一般客戶失誤比例,也沒有證明所有 AI 代理都會受到相同影響。若代理只處理低風險草稿,直接風險可能有限;但涉及交易、資產操作或重要決策時,就更應該要求來源可追溯與獨立查核。

資料來源與利益揭露

來源:Frontier AI models adopt fake data, exposing a hidden flaw,發布日期:2026-11-18。

利益揭露:本節列示本篇使用的公開來源;本文不對來源未明示的商業關係、報酬或其他利益連結作推定。研究數據均依來源所述的測試配置解讀,不代表一般客戶的實際發生率。

如果你的團隊正在導入多模型代理,最實際的下一步是從下一次高風險任務開始,要求每項結論保留原始來源、附上原文片段,並安排獨立驗證者回查;這樣才能知道錯誤究竟發生在讀取、摘要,還是最後判斷階段。

同分類文章