合作揭露:本站可能含交易所合作連結。請自行評估平台條款、費用與投資風險。

合作平台
產業快訊

AGI 真的來了嗎?最新 ARC 基準測試殘酷揭露:AI 巨頭全軍覆沒,距離真正智慧還有十萬八千里

科技巨頭的「AGI 幻覺」與現實的殘酷碰撞

各位關注科技趨勢的朋友們,上週我們見證了 AI 產業界最具戲劇性的一次「打臉」現場。Nvidia 執行長黃仁勳在 Lex Fridman 的 Podcast 節目上語氣平靜且自信地表示:「我認為我們已經實現了 AGI(通用人工智慧)。」這句話立刻在科技圈炸開了鍋,無數媒體與投資人陷入瘋狂。然而,就在短短兩天後,AI 研究領域中最嚴格、最不留情面的測試——最新版的人工智慧通用能力基準測試 ARC-AGI-3 正式發布,而結果只能用「慘不忍睹」來形容。

根據 ARC Prize 基金會公布的數據,目前市面上最頂尖的「前沿模型」(Frontier Models)在這個測試中全數鎩羽而歸,得分率甚至連 1% 都不到。具體來看:Google 的 Gemini 3.1 Pro 以 0.37% 領先群雄(如果這能算領先的話);OpenAI 的 GPT-5.4 得分為 0.26%;Anthropic 的 Claude Opus 4.6 拿下了 0.25%;而馬斯克旗下 xAI 的 Grok-4.20 則抱了個大鴨蛋,得分為零。與此形成強烈對比的是,從未受過特殊訓練的普通人類,在這個測試中的環境解決率是 100%。

ARC-AGI-3 究竟是什麼怪物?為什麼它能讓千億參數模型吃鱉?

這不是一個傳統的冷知識問答測試,也不是超高難度的程式碼撰寫考試,更不是什麼刁鑽的博士級學術題。老實說,現在的 AI 寫起軟體程式或生成行銷影片,能力早就超越了一般人。但 ARC-AGI-3 測試的是一種完全不同的東西,它直指 AI 產業至今仍極力掩飾的軟肋。

這個基準測試是由知名 AI 研究員 François Chollet 和 Mike Knoop 共同創立的基金會所打造。他們甚至為此成立了一個內部的遊戲開發工作室,從零開始打造了 135 個原創的「互動式環境」。測試的概念非常直接:把一個 AI 代理(Agent)丟進一個它從未見過的、類似小遊戲的未知世界中。沒有任何操作說明、沒有明確的最終目標、也沒有任何遊戲規則的文字描述。AI 代理必須自己在裡面探索、觀察規律、弄清楚自己「應該要做什麼」、制定一個計畫,並且成功執行它。

如果你覺得這聽起來就像是任何一個五歲小孩在拿到新玩具時都能做到的事,那麼你已經開始理解問題的核心所在了。如果你想測試自己是不是比這些最先進的 AI 還聰明,甚至可以直接去點擊他們網站上的連結玩玩看。一開始你會覺得有點莫名其妙,但通常幾秒鐘後,人類的直覺就會讓你立刻抓到訣竅。這,就是 AGI 中那個「G」(General,通用)的最完美詮釋:當你具備「通用能力」時,你能夠在沒有預先被訓練過的情況下,當場創造出新的知識(例如弄懂一個怪遊戲的規則)。

封殺「作弊」空間:為什麼這次 AI 巨頭束手無策?

過去幾個版本的 ARC 測試主要是靜態的視覺謎題(例如給你一個圖形規律,請預測下一個)。一開始,這些題目對 AI 來說很難。但隨後,各大 AI 實驗室使出了他們的殺手鐧:瘋狂砸下驚人的算力,把這些題目丟進龐大的訓練資料庫中。很快地,這些基準測試就被「破解」了。2019 年推出的 ARC-AGI-1 敗給了測試時訓練(test-time training)和推理模型;ARC-AGI-2 大約撐了一年,隨後被 Gemini 3.1 Pro 以 77.1% 的高分攻克。這揭露了一個事實:現在的 AI 實驗室非常擅長針對那些「可以被訓練」的基準測試進行優化,甚至可以說是「刷榜」。

但第三代版本徹底改變了遊戲規則。在 135 個測試環境中,有高達 110 個環境是被嚴格保密的。其中 55 個是半公開的 API 測試專用,另外 55 個則是為了競賽完全封鎖。這意味著:沒有資料庫可以背誦、沒有網頁可以爬取。當面對從未見過的全新遊戲邏輯時,你無法依賴暴力破解或死記硬背。

嚴苛的 RHAE 評分機制:不只看結果,更看「效率」

更殘酷的是,ARC-AGI-3 的評分機制並不是簡單的「過關 / 失敗」。他們採用了一種稱為 RHAE(相對人類行動效率,Relative Human Action Efficiency)的標準。基準線是人類第一次嘗試時,表現第二好的成績。如果一個 AI 完成任務所需的行動次數是人類的十倍,它在該關卡只能得到 1% 的分數,而不是 10%。

這個公式會針對「無效率」進行指數級別的懲罰。如果你在遊戲環境中漫無目的地閒晃、反覆走回頭路、或是靠瞎猜來碰運氣,分數就會被扣得一乾二淨。在長達一個月的開發者預覽期間,經過無數特製工具調校過的最強 AI 代理,極限也只能拿到 12.58%。而如果只使用官方 API、沒有額外客製化工具的那些最強大型語言模型(LLMs),更是連 1% 的門檻都跨不過去。

JSON 還是視覺?一場關於方法論的深度爭辯

當然,科學界總是有不同的聲音。這裡確實存在一個方法論上的爭論:ARC 的官方測試是透過餵給 AI 代理 JSON 程式碼,而不是視覺圖像。這引發了質疑:這究竟是測試方法的瑕疵,還是證明了現今的模型更擅長處理迎合人類閱讀習慣的資訊,而不是純粹的結構化原始資料?

報告中提到,杜克大學建立的一個客製化測試框架,曾在一個名為 TR87 的單一環境變體中,將 Claude Opus 4.6 的分數從 0.25% 飆升到 97.1%。這當然不代表 Claude 在整體的 ARC-AGI-3 拿了高分(官方成績仍是 0.25%),但這暗示了「輸入格式」可能會影響模型的表現。然而,Chollet 的團隊對此態度堅定。他們在論文中明確表示:「框架內容的感知方式和 API 格式,並不是限制前沿模型在 ARC-AGI-3 表現的因素。」換句話說,他們拒絕接受「AI 只是因為『看不懂』才失敗」的藉口,並堅持認為真正的巨大鴻溝依然在於「推理」與「通用化」的能力。

昂貴的自動完成機,還是真正的智慧?

這次 AGI 現實面的無情揭露,恰逢整個科技圈炒作機器運轉到最高速的時刻。除了黃仁勳的驚人言論,Arm 也把他們最新的資料中心晶片命名為「AGI CPU」;OpenAI 的 Sam Altman 更是多次暗示他們「基本上已經打造出 AGI」;微軟甚至已經在行銷一個專注於開發 ASI(超級人工智慧,AGI 的下一個進化階段)的實驗室。

這讓人有一種似曾相識的感覺。就像當年的區塊鏈與智慧型手機熱潮一樣,現在無論是什麼軟體專案或硬體設備,只要冠上 AGI 的名號,似乎就能立刻吸引目光與資金。這個詞彙的定義正在被無限拉伸,拉伸到只要符合「商業利益」,它就可以是任何東西。

但 François Chollet 的立場非常清晰且一針見血:如果一個沒有看過說明書的普通人類能輕易做到一件事,而你花費了幾十億美元打造的系統卻做不到,那麼你擁有的根本不是 AGI。你擁有的,只是一個非常昂貴、且需要大量外部協助的「高級自動完成(Autocomplete)系統」。

結語:路還很長,但我們終於有了正確的地圖

我們無可否認,現在的 AI 已經深刻改變了我們的生活與工作方式。它們是極度強大的工具,能處理巨量資料、生成精美圖片、撰寫複雜程式。但「無所不知的大容量資料庫」跟「具備通用推理能力的智慧體」,兩者之間仍有著本質上的跨時代差異。

ARC Prize 2026 目前已經在 Kaggle 平台上開跑,總共提供 200 萬美元的獎金,分為三個競賽組別,並要求所有獲勝的解決方案都必須開源。時間的倒數計時器已經啟動。但也許,正視目前 AI 模型的極限,才是我們真正邁向 AGI 的第一步。畢竟,就目前來看,機器距離真正的通用智慧,真的還差得遠呢。

🔍 關鍵字:AI分析、AGI、ARC基準測試、人工智慧、科技趨勢、大型語言模型

#AI分析 #AGI #ARC基準測試 #人工智慧 #科技趨勢 #大型語言模型

同分類文章