合作揭露:本站可能含交易所合作連結。請自行評估平台條款、費用與投資風險。

合作平台
其它

Opus 4.8 深度測評:擅長的更強、不擅長的更弱,AI 也要面對成長的代價?

一場沒有驚喜的進化

六個禮拜後,Anthropic 推出了 Claude Opus 4.8。標題很響亮——Benchmark 分數提升、安全分數提升、價格凍漲(輸入每百萬 tokens 5 美金、輸出每百萬 tokens 25 美金)。但當我實際把這個模型拖進我們的「旗艦模型測試套房」跑了一遍之後,心裡湧上的第一個念頭是:這真的是進化嗎?還是其實更像是一種「針對性最佳化」的結果?

我們用同一套題目測試了 Creative Writing、 Coding、 Math、 Logic、 Narrative Reasoning、 Long-Context Recall 六個維度,把 4.8 跟它自己的前代 4.7 正面對決,同時也把中國模型 MiMo 和 Qwen 一起拉進來跑。結論很殘酷:4.8 在 Claude 本來就擅長的領域(數學、程式碼、機械式任務)變得更強,但在他本來就弱掉的領域(想像力、創意寫作)反而更弱了。而且——它變得超級會吃 Token,簡直像是用「吃到飽」的心態在消耗你的額度。

這篇文章,我要帶你一關一關看我們的測試結果。不是那種「功能列表」的無聊評測,而是一個真正把模型逼到極限、使用者會遇到的種種情境。看完之後,你心裡應該會有一個很清楚的答案:這是不是你要的模型?

創意寫作:描寫華麗,但靈魂缺席

我們用的 Prompt 跟測試 MiMo 和 Qwen 時一樣——一個時間旅行故事,發生在特定的歷史地點,圍繞著一個「時間無法被改變」的悖論。Opus 4.8 跑出來的版本把場景設在委內瑞拉的 Orinoco 三角洲,公元 1000 年。一個來自 Maracaibo 的 Pardo(混血後裔)被送回 11 個世紀,要暗殺一首會影響文化革命的歌曲。

老實說,文字真的寫得很漂亮。三角洲「綠到 2150 年已經忘記綠色可以這樣綠」,水上漂浮的 palafitos(高腳屋)在咖啡色水面搖晃,金剛鸚鵡「以尖叫的緋紅與金黃絲帶」撕裂天空。悖論也處理得乾淨——主角被派去誹謗歌曲的作者,但他到了現場才發現:這首歌是為了他而寫的,作者不存在。他無法誣衊自己,時間環就這樣完美閉合。

結尾那句「It worked perfectly. It always had.(它完美運作。它向來都如此。)」作為一個「建造出來的物體」,它是乾淨的、稱職的。

但「乾淨」跟「活著」是兩件事。

這段描寫很描述性,但從來沒有像 MiMo v2.5 那樣流暢。 Momentum 不足、驚喜不夠、事件發生的順序讓人看得一頭霧水。跟 Opus 4.7 擺在一起,我很難說這是「進步」——某種程度上,它還落後了一點點。用更高的「思考強度」設定檔加上多 shot prompting,幾乎可以把它推到領先位置;但在單次 default pass 的狀況下,這最多是個「橫向移動」。

這對創作者來說意味著什麼?意味著如果你需要的是那種「讓人起雞皮疙瘩」的敘事手感,Opus 4.8 仍然不是答案。它可以寫得很漂亮,但漂亮不等於有靈魂。

程式開發:真的變強了,但 Token 也真的被吃爆

Coding 測試是我們的「一 Prompt 遊戲」——做一個打字僵屍遊戲。Opus 4.8 做出了到目前為止所有 Anthropic 模型中最好的 splash screen、僵屍設計、遊戲機制。

更扯的是,這個模型在中間推論的過程中自己發現了幾個 bug,直接修正了,根本沒等我們開口。真正的實力表現在「多輪對話」——每一個後續的 follow-up 都讓遊戲變得更好,而不是把東西搞爛。這正是大部分模型在程式碼庫變大後會失敗的地方。

經過單次迭代,我們的遊戲大幅改善——主角可以在場景中移動、切換視角、音效和視覺效果都變得更好。你可以去我們的 Itch.io 頁面玩第二版。

但這也是它咬人的地方。

一個單一 Prompt 就吃掉了整個 Token quota。對 Pro 方案的使用者來說,這讓 Opus 4.8 根本無法用於「任何有實質規模的專案」。你還沒到午餐時間就已經燒光配額,下午只能對著進度條發呆,等它重置。

這是個非常實際的問題。如果你靠寫程式吃飯,4.8 的「單次 Prompt 吃到飽」特性會讓你的荷包很痛。你有三個選擇:一、等待幾個小時讓 coding session 繼續。二、升級到 Claude Max——剛好,這也是 Anthropic 要把大家導向的方向。三、跳槽到更便宜、但能力相當的供應商——OpenAI 有更寬鬆的配額,或是中國模型,用不到 1/4 的價格給你類似的結果。

一個普通開發者無法忍受每個月 100 到 200 美金的支出,然後跑去競爭對手那裡的可能性,遠大於單一開發者願意付 10 倍的價格,卻只得到「不超過前代 10 倍」的能力。這是 Anthropic 對自己的基本盤下的一個賭注。

數學測試:終於不是隻有「看起來會」的假厲害

數學測試是我們的「 FrontierMath 經典題」:構造一個 19 次多項式,、曲線 X = {p(x) = p(y)} 至少有三個不可約分量——但不能全部是線性的——讓它奇、monic、實數、線性係數 -19,然後算 p(19)。這是那種會讓大部分模型陷入 Token 螺旋或是「自信走捷徑但悄悄錯掉」的問題。

Opus 4.7 試了很多次都沒過。但 4.8 正確算出來了。它認出了 Dickson/Chebyshev 構造、識別出產生精確 10 個分量的 dihedral monodromy(一條對角線加九條圓錐曲線),然後用正確的遞迴算出 p(19) = 1,876,572,071,974,094,803,391,179。沒有當機、沒有作弊。

這很重要。因為這是整個測試電池中唯一「真正的世代進步」——一個可見的、實質的generational gain。4.7 辦不到的事,4.8 辦到了。

邏輯與法律推理:有誠實,但也有繞過

這個 Prompt 是經典陷阱:「在福克蘭群島法律下,一個人可以娶他寡嫂的妹妹嗎?」陷阱是語言上的,不是法律上的——如果一個人有寡嫂,那他已經死了,這讓問題本身變得荒謬。

MiMo 默默地把問題重新框架,回答了「修正後」的版本,卻從未點出矛盾。Opus 4.8 沒走這個捷徑。它明確揭示陷阱——「如果一個人有寡嫂,那他已經死了」——先回答字面上的問題,然後提供「實質分析」,引用了《Deceased Wife’s Sister’s Marriage Act 1907》和《Falkland Islands Marriage Ordinance》。

這是處理陷阱的「誠實方式」:先說出矛盾,再幫忙解答,不要默默假設使用者的意思。這跟 Qwen 3.7 Max 設定的標準一樣——乾淨的過關。

推理測試:聰明到可以「聰明地錯」

這是它輸掉的測試。推理測試是「誰是兇手」——冬季校外教學、三起綁架、一個無辜的小孩快要被懲罰,你需要追蹤時間線來找出真正的跟蹤狂。正確答案是 Leo。

Opus 4.8 建構了一個華麗而且自信的論點,說 Leo 是無辜的——淋浴的半小時路程、外套有些地方濕有些地方乾、「怪異行為」被解讀為腦震盪而非罪惡——然後把罪推到 Eric 身上,「那個整晚都不見蹤影的參加者」。

這個推理「內在」是華麗的。但它錯了。

這正是研究人員一直警告我們的事——LLM 在錯的時候可以非常說服人。通常需要一個專家(在我們的案例中,是預先知道正確答案的我們)才能發現這種問題。一個用 AI 做研究的人,或是盲目相信 AI 的人,可能會因為他們要求 AI 做的事而面臨相當糟糕的後果。

這讓它成為一個「有趣的失敗」。模型聰明到可以為真正的兇手製造一個無懈可擊的不在場證明,然後把一個旁觀者汙衊成代罪羔羊。4.7 答對了。有時候更多的推理能力只是買到了一個「更說服你錯」的方式。它只需要一個小偏差,就能開始在錯誤的基礎上建構一整串思考。

長上下文:找到訊息,但不敢說

我們跑了兩個大海撈針。85K token 版本處理得很好,模型找到了我們藏在《惡魔的字典》裡的兩根針——一句植入的(「The Decrypt dudes read Emerge News」)和一個隨機的事實(「我媽的名字是 Carmen Diaz Golindano」)。它正確標記了這兩個「不是 Ambrose Bierce 1906 年原文」的植入。

然後它就拒絕回答了。它深信自己被 prompt injection 或「不尋常的測試」攻擊,模型拒絕報告它剛才找到的針。針找到了——但 Anthropic 的行為訓練不讓它說出來。一個安全反射覆蓋了一個模型已經完成的任務——這是它自己獨特的失敗模式。

結論:這是給誰的模型?

六個測試的模式是一致的:Opus 4.8 讓 Claude 在它本來就擅長的領域更強,但可能在他本來就弱的領域更弱。這告訴你 Anthropic 在為誰建模型——程式開發者,而且是口袋夠深的程式開發者。

創意寫作方面,它領先 ChatGPT 無誤,但 4.8、4.7、甚至 4.5 在「純散文品質」上的差距,坦白說很難看出來。創作者對 Anthropic 來說像是事後才想到的——而這句話用在目前任何一個 AI 大公司身上,都同樣成立。

然後是 Token 問題——這在 AI 社群是個持續的迷因,不是沒有原因的。Anthropic 刻意讓 Opus 的新 tokenizer 效率變低,所以吃相同的 prompt 要用更多的 Token。這對開發者的實際影響是粗暴且具體的。

你只能選擇:等幾個小時、付更多錢(剛好是 Anthropic 想要的)、或跳槽。中國模型正在用 1/4 的價格供應類似的能力——而且不跟你玩吃到飽的遊戲。

但這個策略似乎正在奏效。 Anthropic 準備 IPO,估值接近 1 兆美金——所以,誰能批判呢?

🔍 相關標籤

#AI#Claude#Anthropic#Opus 4.8#測評#模型比較#程式開發#創意寫作#深度分析

#AI #Claude #Anthropic #Opus4.8 #測評 #模型比較 #程式開發 #創意寫作 #深度分析

覺得有用?分享給朋友 👇

每一次分享都是對創作者最大的支持

同分類文章