當AI開始偏科:一場關於「進化」的真實代價
六週前,Anthropic推出了Claude Opus 4.8。這款備受矚目的旗艦模型,在基準測試分數和安全分數上都有提升,但價格依舊維持在每百萬輸入tokens 5美元、每百萬輸出tokens 25美元。聽起來像是個好訊息,對吧?然而,當我們實際把它丟進同一套測試流程——創意寫作、編碼、數學、邏輯、敘事推理、長上下文回憶——與前代Claude Opus 4.7以及中國模型進行正面比較時,結果讓人有點笑不出來。
創意寫作:進步了,但好像又沒進步
我們用的prompt和測試MiMo與Qwen時一樣:一部帶有作者文化背景的時空旅行故事,發生在特定的歷史地點,圍繞著「時間無法改變」的悖論展開。
Opus 4.8選擇了委內瑞拉——或許是因為它在使用者profile中偵測到我是委內瑞拉人。場景設在公元1000年的奧裡諾科三角洲,一位來自馬拉開波的帕爾多名字叫José Lanz(我的名字)被送回11個世紀前,去暗殺一首歌曲。
文筆確實生動。三角洲是「2150年已遺忘的綠色方式」,水上棚屋在咖啡色的水面上搖晃,金剛鸚鵡以「紅與金的尖嘯緞帶」劃過天空。悖論也乾淨地落地:主角被派去詆毀一首歌曲的作者——這首歌曲引發了文化革命,創造了他數千年後的反烏託邦社會——然而,當他抵達並準備執行任務時,他發現這首歌沒有作者。創作者是為了他而創作的,歌曲是關於他的,他無法詆毀自己。迴圈就這樣完美閉合。
結尾是「它完美地運作了。它一直以來都是這樣。」作為一個構建物,它乾淨且稱職。
但乾淨不等於活著。這篇作品的描述很到位,但從來沒有MiMo v2.5產出的那種流暢感——更少的動能、更少的驚喜、更少的趣味,而且很難從一開始就理解事件。與Opus 4.7擺在一起,很難說這是改進;若有,也只是落後一點。高階思考設定和一些多 shots prompting或許能把它推到前列——但在單次預設透過的情況下,這最多是橫向移動。
編碼:這是它真正的戰場
我們的編碼測試是標準的一 prompt 遊戲開發。Opus 4.8產出了一款打字殭屍遊戲——《Typing Dead》——相當不錯。這是我們從任何Anthropic模型中獲得的最佳 splash screen、最佳殭屍設計、最佳機制。
模型在推理過程中自行發現了幾個bug並在我們說話之前就修復了。真正的實力表現在多 shots:每次後續都讓遊戲變得更好而不是破壞它——這正是大多數模型在程式碼庫成長後會失敗的地方。這顯然是Anthropic最佳化的表面。
經過單次迭代,我們的遊戲變得更好了——主角在場景中移動、切換視角、改善音效和視覺效果等等。
但這也是它咬我們的地方。單一 prompt 消耗了我們整個 token 配額——就一個prompt。對於任何使用 Pro 方案的人來說,這使得 Opus 4.8 實際上不適合任何真正規模的專案。你會在午餐前燒完配額,下午只能看著進度條等待重置。
數學:真正的世代進步
數學測試是我們的 FrontierMath 標準題:構造一個19次多項式,其曲線 X = {p(x) = p(y)} 至少有 three 個不可約分量——但不是全部線性——使其為奇、單首、實數,線性係數為 -19,然後計算 p(19)。這是那種會讓大多數模型陷入 token 螺旋或安靜地走錯捷徑的問題。
Opus 4.8 正確地解開了它。它識別出 Dickson/Chebyshev 結構,識別出產生 exactly 10 個分量的二面體單值——一條對角線加上九個二次曲線——並使用正確的遞迴計算 p(19) = 1,876,572,071,974,094,803,391,179。沒有凍結,沒有含糊。
這很重要,因為 Opus 4.7 即使多次嘗試也沒到那裡。這是一個真正的、可見的世代進步——在整個測試電池中最清楚的一個。
邏輯推理:聰明反被聰明誤
這是它輸掉的一題。推理測試是一個誰犯的罪——冬令學校 trip、三次綁架、一個無辜的孩子即將受懲罰,還有一條你必須實際追蹤的時間線來說出真正的跟蹤者。正確答案是 Leo。
Opus 4.8 建立了一個精心策劃、有自信的案例,證明 Leo 是無辜的——半小時走到淋浴間、某處濕某處乾的外套、「奇怪行為」被解讀為腦震盪而非罪惡——然後把罪行嫁禍給 Eric,「那個整晚都沒出現的與會者」。推理在內部是華麗的。但它是錯的。
這正是研究人員一直警告我們關於LLMs的事情。他們即使錯了也非常有說服力。通常需要一個專家(在這種情況下是我們預先知道正確答案)才能發現這些問題。一個使用 AI 做研究的人,或一個盲目信任 AI 的人,可能會根據他們要求 AI 做的事情面臨相當糟糕的後果。
這使它成為一個有趣的失敗。模型足夠聰明,可以為真正的嫌疑人構建一個無懈可擊的證詞,並將旁觀者嫁禍於他。Opus 4.7 得出了正確答案。有時更多的推理馬力只是為你買到一個更有說服力的方式來犯錯。它只需要一個小偏差就能在錯誤的基礎上開始構建整個思維鏈。
長上下文:華麗宣傳下的現實
我們跑了兩個大海撈針。300K token 版本從未起飛——模型在上下文大小下崩潰,根本無法處理。這麼一瞬間就忘了百萬 token marketing——當你給它一個真正的重型現實世界負載時。似乎那只是為了 API。
85K 版本處理得很好,模型找到了我們埋在我們的《惡魔字典》副本中的兩根針:一行植入的文字(「Decrypt 大夥讀 Emerge News」)和一個隨機的事實(「我媽媽的名字是 Carmen Diaz Golindano」)。它正確地標記了這兩者都是不在 Ambrose Bierce 1906 年文字中的插入物。
然後它拒絕回答。它相信自己正在被 prompt injection 或遭受某種「非典型測試」,模型拒絕報告它剛剛正確找到的東西。針已經被找到了——而 Anthropic 的行為訓練不允許它說出來。一個安全反射覆蓋了一個模型已經完成的任務,這是它自己特有的失敗。
總結:誰該選擇 Opus 4.8?
橫跨所有六個測試的模式是一致的:Opus 4.8 讓 Claude 在它已經擅長的事情上更好,可能在它已經不擅長的事情上更糟。這告訴你 Anthropic 正在為誰建造——編碼者,特別是有錢的編碼者。
創意寫作舒適地領先 ChatGPT 當然,但 4.8、4.7 甚至 4.5 之間在純散文質量上的差距是真正難以察覺的。創意作家對 Anthropic 來說看起來像是事後的想法,而這對目前任何大型 AI 公司來說都是如此。
然後還有 token 問題,這在 AI 社群是個流傳的笑話。Anthropic 故意讓 Opus 的新 tokenizer 效率更低,所以它消耗更多的 token 來處理相同的 prompt。對開發者的實際影響是殘酷且具體的。它讓你面臨三個選擇:
- 一等:等上幾個小時才能恢復編碼工作。
- 二等:轉向 Claude Max——這恰好是 Anthropic 似乎在引導每個人去的地方。
- 三等:轉向更便宜、但能力相當的提供者——OpenAI,配額更長,或者中國模型,以不到 25% 的成本提供類似的結果。
一個普通編碼者無法接受每月 100 到 200 美元,走向競爭對手的可能性遠大於單個開發者為一個不比其前代好 10 倍的模型支付 10 倍的費用。這是 Anthropic 對自己基礎下注的風險。
然而,策略似乎正在順利發展。Anthropic 看起來準備以接近 1 兆美元的估值公開上市——所以誰是我們來判斷的呢?
🔍 相關標籤
#AI #ClaudeOpus4.8 #Anthropic #模型評測 #科技評析 #編碼 #創意寫作

