合作揭露:本站可能含交易所合作連結。請自行評估平台條款、費用與投資風險。

合作平台
其它

Claude Opus 4.8 評測:擅長的更強,不擅長的更弱

六週後,Anthropic 推出了 Claude Opus 4.8。Benchmark 分數提升了,安全評分也提升了,但價格仍維持在每百萬輸入 tokens 5 美元、輸出 tokens 25 美元。聽起來像是個小升級,對吧?但當我們把這隻新模型拖進實驗室,用一樣的測試題目折騰它——創意寫作、 coding 、數學、邏輯、敘事推理、長上下文記憶——並把它跟自家兄弟 Opus 4.7 以及那些中國來的便宜模型正面對決時,情況開始變得有趣了。

簡單結論先說:4.8 在 Claude 本來就擅長的領域更強了(數學、 coding 、機械式任務),但在自己本來就弱的方向上——創意寫作、想像力——反而稍微退步了。更糟糕的是,它現在吃 tokens 的胃口大到像是自己在霸凌自己。

創意寫作:還是少了那口氣

測試題目跟我們給 MiMo 和 Qwen 的一樣:穿越時空的故事,要扣住作者的文化背景,發生在特定的歷史地點,圍繞著「時間無法被改變」的悖論。Opus 4.8 選了委內瑞拉——大概因為它會側寫使用者,知道我來自委內瑞拉。AI 把場景設在公元1000年的奧裡諾科三角洲,一個來自馬拉開波的pardo 叫做 José Lanz(我的名字),被送回11個世紀前要去暗殺一首歌。

文筆是生猛的。三角洲是「2150年已經忘了綠可以這麼綠」的綠,芭拉依託斯在咖啡色水面搖晃,金剛鸚鵡用「尖叫的猩紅與金色絲帶」撕開天空。悖論也乾淨落地:主角被派去詆毀一首歌曲的創作者——那首歌引發了文化革命,創造了他所在數千年後的極權社會——但他到了才發現:沒有創作者。那個創作這首歌的人是為了他而創作的,歌曲是關於他,而詆毀自己?迴圈完美閉合。結尾是「它完美運作了。它一直以來都是」。作為一個構築物,它是乾淨且稱職的。

但乾淨跟「活著」是兩回事。描寫到位,但從來不像 MiMo v2.5 那樣流暢——少了那股 momentum ,少了驚喜,也少了那種「事件從一開始就讓人霧裡看花」的魅力。跟 Opus 4.7 並排很難說這是進步;若有,也只是落後一點點。高強度的思考設定加上多輪 prompt 或許能把它推向前排——但在單次預設的 prompt 下,這是橫向移動,最多。

Coding :這才是它的舒適圈

我們的 coding 測試是標準的一 prompt 遊戲開發。Opus 4.8 做了一款打字殭屍遊戲——《Typing Dead》——挺不錯的。是我們在這個測試裡從任何 Anthropic 模型拿到最好的 splash screen 、最好的殭屍設計、最好的機制。

模型在推理中途自己抓到幾個 bug 並且修了起來,都沒等我們開口。而它真正的實力在多輪 prompt :每一次後續都讓遊戲更精進而不是壞掉——這正是大多數模型在程式碼庫變大後會崩潰的失敗模式。這明顯是 Anthropic 最佳化的方向。

一次迭代後,我們的遊戲大幅改善:主角在場景中移動、切換視角、改善音效與視覺效果等。你可以去我們的 Itch.io 玩第二版。

但這也是它咬人的地方。一次 prompt 吃光了我們整個 token quota ——就一個 prompt 。對於 Pro 方案的使用者來說,這讓 Opus 4.8 實際上不適合任何有規模的專案。你會在午餐前燒完配額,然後整個下午看著進度條等重置。

數學:真正的世代飛躍

數學測試是我們的 FrontierMath 招牌題:建一個19次多項式,曲線 X = {p(x) = p(y)} 至少有 three 個不可約分量——但不是全部線性——要是奇數、首項係數為1、實數、線性係數 −19,然後算 p(19)。這是那種會讓大多數模型陷入 token 旋渦或自信走捷徑但悄悄出錯的問題。

Opus 4.8 正確算出來了。它認出了 Dickson/Chebyshev 結構,識別出產生 exactly 10 個分量的二面體單值性——一條對角線加九條圓錐曲線——然後用正確的遞迴算出 p(19) = 1,876,572,071,974,094,803,391,179。沒有當機,沒有敷衍。這很重要,因為 Opus 4.7 試了無數次都沒到這裡。這是整個測試中最清楚可見的世代增益。

邏輯 trap :誠實,但不見得有效

經典 trap 題:「在福克蘭群島法律下,一個人娶他寡婦的姊妹是否合法?」陷阱是語言學的,不是法律的——如果一個人有寡婦,那他已經死了,這讓問題本身是廢話。

MiMo 低調地重新框架問題,回答了修正後的版本,從未點出矛盾。Opus 4.8 沒走捷徑。它明確揭露陷阱——「如果一個人有寡婦,他就死了」——先回答字面問題,然後提供實質分析,引用了《1907年亡妻姊妹結婚法》與《福克蘭群島婚姻條例》。這是處理誠實的方式:說出矛盾,然後還是幫忙,而不是默默假設使用者的意思。這跟 Qwen 3.7 Max 設的標準一樣,4.8 乾淨透過——好的推理,好的透明度。

推理:說服力太強的錯誤

這是它輸掉的一題。推理測試是個誰犯的罪——冬季學校旅行,三起綁架,一個無辜的孩子即將被處罰,還有一條時間線你必須實際追蹤才能指出真正的跟蹤者是誰。正確答案是 Leo。

Opus 4.4 建立了一個華麗且自信的案例,說 Leo 是無辜的——半小時走到淋浴間的路程,那件夾克有些地方濕有些地方乾,「奇怪行為」解讀為腦震盪而非內疚——然後把罪推到 Eric 身上,「那個整晚都沒人知道去向的與會者」。推理內在是華麗的。但它錯了。

這正是研究人員警告過我們的事。LLM 在犯錯時也極其說服力。通常需要專家(在我們這種已經知道正確答案的情況下)才能發現問題。一個用 AI 做研究的人,或一個盲目信任 AI 的人,可能會根據他們要求 AI 做的事情面臨相當糟糕的後果。

這讓它成為一個有趣的失敗。模型夠聰明,能為真正的兇手構建一個滴水不漏的不在場證明,並把一個旁觀者栽贓到他身上。Opus 4.7 答對了。有時候更多的推理能力只是買到一個更說服你犯錯的方式。它只需要一個小偏差,就能在錯誤的基礎上開始建構一整串思考。

長上下文:有看沒有到

我們跑了兩個大海撈針。300K token 版本壓根無法啟動——模型在上下文大小下崩潰,根本無法處理。別說百萬 token marketing 了,當你給它真正的重現實負載,它就直接躺平。那似乎只是為了 API。

85K 版本處理得還行,模型找到了我們埋在《惡魔詞典》裡的兩根針:一行植入的(「Decrypt 大叔讀 Emerge News」)和一個隨機的事實(「我媽的名字是 Carmen Diaz Golindano」)。它正確標記兩者都是不在 Ambrose Bierce 1906年文字中的插入物。

然後它拒絕回答。堅信自己被 prompt injection 或某種「非典型測試」轟炸,模型選擇不報告它剛正確找到的內容。針找到了——但 Anthropic 的行為訓練不讓它說。這是另一種奇特的失敗:一個安全反射蓋過了模型已經完成的任務。

這一切告訴我們什麼?

橫跨六個測試的模式是一致的:Opus 4.8 讓 Claude 在它本來就擅長的領域更強,在它本來就弱的領域可能更弱。這告訴你 Anthropic 在為誰建造——工程師,特別是有錢的工程師。創意寫作舒適地領先 ChatGPT 沒錯,但 4.8、4.7、甚至 4.5 在純散文品質上的差距是小到看不見的。

創意寫作者對 Anthropic 來說像是事後諸葛亮,而這對任何大型 AI 公司來說都是真的。

然後是 token 問題,這在 AI 社群是個流行梗不是沒有原因。Anthropic 刻意讓 Opus 的新 tokenizer 效率變低,所以處理同樣的 prompt 要吃更多 tokens。對開發者的實際影響是粗暴且具體的。它讓你三個選項:一、等好幾個小時才能繼續 coding session 。二、升級到 Claude Max——剛好就是 Anthropic 似乎在把所有人導向的方向。三、跳槽到更便宜、同樣有能力的供應商——OpenAI,有更長的配額,或是中國模型,價格不到四分之一但結果類似。

一個普通工程師無法接受每月100到200美元,更可能跳槽去競爭對手,而不是為了一個不見得比前代強10倍的模型付10倍的錢。這是 Anthropic 對自己使用者基數下的注。

然而策略似乎正在奏效。Anthropic 看起來準備上市,估值逼近1兆美元——所以誰能說三道四?

但如果你問我:一個每吃一個 prompt 就像在吸毒的模型,一個在創意寫作上明顯不在意的模型,一個正在把使用者推向更貴方案的策略——這不是一個「為開發者而生」的故事。這是一個「為營收而生」的故事。而有時候,這兩件事並不一樣。

🔍 相關標籤

#AI#Claude Opus 4.8#Anthropic#評測#深度分析#科技趨勢#OpenAI#LLM

#AI #ClaudeOpus4.8 #Anthropic #評測 #深度分析 #科技趨勢 #OpenAI #LLM

覺得有用?分享給朋友 👇

每一次分享都是對創作者最大的支持

同分類文章