小米MiMo橫空出世！推理速度狂飆15倍，直接碾壓ChatGPT與Claude

一場AI推理速度的寧靜革命正在上演

大多數人對小米的印象，還停留在那個做便宜智慧型手機的中國品牌。頂多再加上一臺有趣的空氣清淨機或電動滑板車。誰會把這種「價效比之王」跟AI推理速度世界紀錄聯想在一起？

但就在這個星期一早上，小米用行動證明瞭：他們不只會做硬體，更能在AI戰場上掀起波瀾。

突破性的數字：每秒1000+ tokens是什麼概念？

小米最新發布的MiMo-V2.5-Pro-UltraSpeed，在單一8-GPUcommodity node上就跑出了每秒超過1000個tokens的恐怖速度，峰值甚至逼近1200。

讓我翻譯給你聽：這不是實驗室裡的理論值，這是在一般硬體上、真實可部署的效能。

對比一下你現在用的服務，你就知道差距有多大：

• ChatGPT背後的GPT-5.5：大約68 tokens/秒
• Claude Opus 4.6：約71 tokens/秒（用較小的Haiku模型可以到98）
• Gemini Flash：192 tokens/秒
• 小米MiMo UltraSpeed：1000+ tokens/秒

換算下來，MiMo的速度是ChatGPT的約15倍，是Claude的約14倍。這不是小幅領先，這是碾壓。

技術解密：小米到底做了什麼？

大家都在問：到底是什麼魔法能讓速度提升這麼多？答案分成三個部分：

1. FP4量化：把模型「減肥」但不影響智力

一般AI模型跑在完整的8-bit或16-bit精度上，就像開著一輛大卡車在跑山路，每一個計算都是負擔。小米的做法是：把expert layers（這佔了1兆引數的大部分）壓縮到只剩4-bit。

這就像把卡車改裝成輕量化賽車，負擔變輕，速度自然飆升。但代價呢？通常會損失一些輸出品質。

小米的聰明之處在於「精準外科手術」：只壓縮expert layers，其他部分維持完整精度。根據他們的說法，品質損失接近零。

2. DFlash投機解碼：一次猜完一整串

傳統的投機解碼（speculative decoding）是：小模型先猜幾個token，然後大模型去驗證。小米跳過了這個「一個一個猜」的過程，直接在單一forward pass中填滿整塊masked positions。

在coding任務中，大模型平均一次驗證就接受6.3個token out of 8。翻成白話：別人還在一步一步爬樓梯，小米已經用電梯直接衝上去了。

3. TileRT：沒有縫隙的計算管線

TileRT是小米專門為這一切打造的工具。它的核心概念是：讓整個計算管線持續駐留在GPU記憶體中，沒有operator launch的開銷，沒有執行間隙。

這就像工廠的流水線從來不用關機重開，永遠保持運作狀態。

小米把這整套方法稱為「extreme model-system codesign」。翻譯成白話就是：不是靠硬體厲害，是軟體和模型一起最佳化，產生1+1>2的效果。

對手們怎麼說？

在AI推理速度這個賽道上，Cerebras和Groq本來是兩大山頭：

• Cerebras做了比餐盤還大的晶片，44GB on-chip memory，硬生生用硬體暴力解決頻寬問題。他們在Meta的Llama 3.1 405B上跑了969 tokens/秒——確實厲害，但那可是4050億引數的模型，比小米的小將近一半。
• Groq的LPU架構在300-750 tokens/秒之間，視模型大小而定。

但問題來了：這些都是客製化晶片，你想租都租不到。小米呢？用的一般是AWS上就能租到的commodity GPU。軟體最佳化做到這個程度，才是真正的殺手鐧。

這意味著什麼？

速度改變一切。當推理速度從60 tokens/秒提升到1000 tokens/秒，很多以前「不可能」的應用場景突然變得可行：

• 並行推理路徑：不用等一個答案跑完，可以同時跑十幾二十條推理線
• 欺詐偵測：即時分析交易行為，毫秒級回應
• 交易訊號生成：市場變化瞬間反應，不用等模型慢慢吐字
• 即時Agent迴圈：AI助手不再是一問一答，而是可以連續對話、快速迭代

以前60 tokens/秒的延遲是瓶頸，現在1000 tokens/秒暢通無阻。

價格與可用性

小米這次不是做免費宣傳的。他們把UltraSpeed定價為標準MiMo-V2.5-Pro的3倍，但產出是10倍。

標準版的費用大約是$0.43 input / $0.87 output per million tokens。相較之下，Opus要$5 input / $25 output。這個價差…你算看看。

API試用期間是6月9日到23日，採取申請制，優先給企業和專業開發者。FP4-DFlash的checkpoint已經開源在Hugging Face上，想玩的可以去拿。

我在想什麼

老實說，我原本也沒預期小米能在這個賽道超車。畢竟他們給人的印象一直是「CP值很高，但不是最頂尖」。

但這一次不一樣。MiMo-V2.5-Pro在coding benchmarks上已經追上Claude Opus，現在UltraSpeed又把速度拉開到另一個檔次。

這告訴我們幾件事：

1. AI的戰場不只是模型大小，部署速度同樣重要
2. 軟體最佳化的空間比我們想像的大得多
3. 中國公司不只會做硬體copy，在AI核心技術上也開始有話語權

接下來的幾個月，我會持續關注這個進展。如果你正在做AI相關的產品或服務，這個速度提升可能會改變你的技術選型。

想親自測試？現在去Hugging Face上下載FP4-DFlash checkpoint，還有兩個禮拜的API試用可以申請。速度這種東西，親身體驗過就知道。

—
我是說真的，這個數字讓我重新思考了「什麼是可行的」。