五大地表最強 AI 竟連「真假」都吵翻天！Lenz 研究：我們的事實查核系統正陷入危機

🚨 震驚！AI 也會「青菜蘿蔔各取所需」？

還記得在智慧型手機上刷到的那種「只要把新聞標題丟給 ChatGPT，就能得到答案」的懶人包嗎？如果你真的試過，可能已經發現——同一句話丟給五個頂尖 AI，回覆竟然能同時出現「真」「假」「誤導」三種截然不同的判決。這不是電影特效，而是 Lenz Research 最新發表的研究結論。研究者 Kosta Jordanov 把 1,000 條來自真實使用者的宣告，分別送給 GPT‑5.4、Claude Opus 4.7、Gemini 3 Pro、Gemini 3 Pro+Search 以及 Sonar Pro，想要看看這些「地表最強大腦」能否在同一件事上達成共識。

結果呢？在 672 條（約 67%）的宣告中，至少有一個模型選擇了與其他模型不一樣的標籤。其中 34% 甚至出現了「真」對「假」的極端衝突——一個模型說「真」，另一個卻直接判定「假」。這簡直比我們在社群上看到的那種「病毒影片」翻轉大賽還要誇張！

📊 研究到底做了什麼？

• 使用了 1,000 條實際使用者提交的事實查核宣告，而非一般 Benchmark 那種已知答案的考古題。這些資料是使用者自己在 Lenz Fact‑Check 平臺上請求驗證的，像是你我在 Line 或messenger上隨手複製的新聞片段。
• 每個模型只能從四個選項中選一：True（真）、Mostly True（略微真）、Misleading（誤導）、False（假）。
• 統計上採用了 Krippendorff’s Alpha（一致性指標），結果是 0.639。在學術界，通常 α<0.8 代表「 ضعيف」（不可靠）。也就是說，模型之間的共識根本達不到可信賴的門檻。
• 只有 328 條宣告（全體 32.8%）所有模型一致，而且在這些「全體同意」的案例裡，幾乎清一色是「True」或「False」的兩端；「Mostly True」只有 0 條，而「Misleading」更是隻有可憐的 4 條。這意味著 AI 只會在黑白分明的題目上妥協，中間的灰色地帶根本不敢碰。

🔍 為何這件事很重要？

因為現在越來越多人把 AI 當成「事實查核小幫手」。當你在瀏覽社群、新聞影片、甚至是在區塊鏈的區塊頭資訊上看到一段宣告，很多人的直覺反應就是貼給 ChatGPT、Claude 或是 Google 的 Gemini，看看它們怎麼說。問題來了——如果你得到的答案是「真」，但另一個 AI 說的是「假」，你該信哪一個？

研究者指出：「A majority of frontier models is not ground truth.」也就是說，這些 AI 的「多數意見」並不代表真相是多數。多數模型也許會在同一個宣告上達成共識，但那份共識仍然是錯誤的。這讓我想起以前在 Instagram 或 TikTok 上看到的那些「病毒挑戰」——大家都跟著做，最後才發現原來根本是假的。

⚡️ 我們該怎麼辦？

1️⃣ 別把單一 AI 當唯一裁判——最好一次跑兩到三個模型，然後比較它們的回答。如果三個裡面有兩個以上說「真」，那你可以稍微放心，但仍要回去查原始來源。

2️⃣ 使用可信的事實查核網站（例如 PolitiFact、FactCheck.org、或臺灣的 MyGoPen）搭配 AI 做雙重確認。不要把所有責任都交給「軟體」，要把自己當成「調查記者」。

3️⃣ 關注模型背後的訓練資料——研究提到這些claim根本不太可能出現在訓練集的「標準答案」裡，因為它們是使用者隨手提交的，沒有固定的標籤。這代表模型在訓練時只學會了「模擬」而不是「推斷」。未來我們期待 AI 能在更具挑戰性的事實面上，給出更可靠的判斷。

💡 小結：AI 並不是萬能的「真相雷達」

現在的 AI 已經被吹捧成「下一個世代的工具」，但當我們把它當事實查核的唯一依靠時，問題就暴露出來了——模型之間不僅無法達成共識，甚至連最基礎的「真」與「假」都經常出現 南轅北轍的答案。這告訴我們，未來在使用 AI 輔助的時候，保持批判性思考、多元交叉驗證才是王道！

若你想要更深入瞭解這個研究的完整報告，可以點選這裡檢視原始 PDF（英文）。記得，別讓一篇「AI 說真就信」的文章，輕易把你的智商拉進溝裡。