AI 仍然打不贏值班工程師：真正的原因是什麼？

AI 仍然打不贏值班工程師：真相在此揭開

在軟體系統的世界裡，我們常常聽見「AI 即將取代人類工程師」的豪語，特別是面對生產環境的突發故障時，更多人把 AI 視為萬 能的救援者。可是，當我們把這份期待放進真實的運作場景，結果往往比預期更殘酷。最近，Datadog 與 Carnegie Mellon 共同研發的 ARFBench（異常推理框架基準），用 63 起真實的生產事件與 750 條選擇題，讓我們看見 AI 與人類之間的距離究竟有多大。

ARFBench 的設計非常嚴謹，所有問題都取自工程師在 Slack 緊急討論串中實際發問的內容，涵蓋 142 種監控指標與 5.38 百萬筆資料點，每一題都由專家親手驗證，絕對沒有任何模擬資料。正是這種「真實場景」的特性，讓 ARFBench 成為衡量 AI 在異常診斷上真正能力的試金石。

三層問題的設計

• Tier I：圖表中是否存在異常？這是最基礎的是非題。
• Tier II：異常何時開始、嚴重程度與型別為何？需要時間軸與指標的對應。
• Tier III：跨指標推理——這張圖是否導致另一張圖的問題？這也是 AI 失分的關卡。

AI 模型的表現

在 ARFBench 的完整測試中，GPT‑5 取得了 62.7% 的準確率，領先所有現有模型；Gemini 3 Pro 為 58.1%，Claude Opus 4.6 為 54.8%，而 Claude Sonnet 4.5 僅有 47.2%。然而即使是表現最好的 GPT‑5，在最困難的 Tier III 跨指標題目上，F1 分數也只有 47.5%，遠遠低於人類的水準。隨機猜測的正確率為 24.5%，所以 AI 確實有學習，但距離「打敗」仍有一段差距。

人類的基準

領域專家的平均準確率達到 72.7%，而非領域的時間序列研究人員（沒有太多 observability 實戰經驗）仍可達到 69.7%。這說明即便沒有專業的 Observability 背景，人類在解讀圖表與時間順序時的天生直覺，仍是目前最強的模型無法完全匹配的。

混合模型的突破

Datadog 內部的時間序列預測模型 Toto 結合 Qwen3‑VL 32B，創造出了 Toto‑1.0‑QA‑Experimental，整體準確率達到 63.9%，勉強超越 GPT‑5，且在異常識別（Anomaly Identification）上領先所有模型至少 8.8 個百分點。這種「領域專用模型 + 大型視覺語言模型」的組合，顯示出針對特定任務微調後的潛力。

錯誤模式互補

研究報告指出，模型與人類的錯誤輪廓截然不同：模型常產生幻覺（hallucination），遺漏關鍵的 元資料（metadata），失去領域上下文；而人類則有時會誤讀精確的時間戳，或在複雜指令上失手。這種「錯誤不重疊」的特性，讓我們看到如果把雙方結合成為「Model‑Expert Oracle」——一個能夠始終選擇正確答案的完美裁判，整體準確率將提升至 87.2%，F1 分數也可達到 82.8%。這遠高於任何單一模型或人類單獨的表現，亦是未來人機協作的最佳目標。

為何 AI 仍無法完全取代值班工程師？

1️⃣ 缺乏深度的領域語境：AI 能夠從大量指標中找出規律，但對於系統的業務邏輯、使用者的特殊需求，這種「隱性知識」往往只存在於工程師的經驗裡。

2️⃣ 元資料的重要性：在緊急事件中，工程師會快速檢查日誌、配置、告警策略等元資料。這些訊息往往非結構化，AI 很難即時準確解析。

3️⃣ 跨指標推理的瓶頸：Tier III 的問題需要把多張圖表的因果關係串聯起來，這要求對系統行為有整體的「直覺」，而這正是人類擅長的。

由此可見，AI 目前更適合作為「助理」而非「主治」；它可以幫助快速篩選異常、提供候選答案，但最終的根因判定仍需要人類的上下文解讀與決策。

結論：合作的未來

ARFBench 告訴我們，AI 在異常診斷的能力已經有顯著提升，尤其在 Tier I 與 Tier II 上有不錯的表現；但在需要跨領域推理的Tier III，AI 仍然落後於人類專家。這不代表 AI 沒有價值，而是提醒我們：將 AI 當作「增強工具」而非「替代品」，才能將系統的穩定性提升至下一個層次。未來的成功關鍵，在於打造「模型‑人類協作」的閉環，讓每一次故障都能更快被捕捉、診斷並修復。如此一來，AI 與工程師的協同將把「系統可靠」的目標，推向更高的水平。