這款「半 Gigabyte」AI 模型居然能在手機上運作本地代理程式！

當 AI 走進你的口袋：從雲端到掌中的寧靜革命

你有沒有想過，某天手機不再只是接收指令的工具，而是能夠主動幫你打點一切的智慧夥伴？這不是科幻電影裡的情節，而是正在發生的現在式。

一場「少即是多」的設計哲學

在 AI 領域裡，我們早已習慣追逐更大的模型、更多的引數——就像城市裡的摩天大樓，越高越好。但有一支來自清華大學 THUNLP 實驗室與 ModelBest 的團隊，選擇走了一條完全不同的路。

MiniCPM5-1B，這款僅有 10 億引數的小巧模型，體積不到半個 Gigabyte，卻能在你手上的智慧型手機中直接執行。它不需要連線雲端，就能執行複雜的代理任務——查詢行事曆、整理檔案、甚至幫你研究問題。

「用更少的資源，做更多的事。」這句話說起來容易，但背後的技術創新可不簡單。團隊開發了 InfLLM v2——一種可訓練的注意力機制，能在處理長文字時只計算周圍不到 5% 的 token，大幅降低運算負擔的同時，幾乎不犧牲精確度。

128K 的故事空間：屬於你的寧靜閱讀室

或許你曾有過這樣的經驗：跟 AI 聊著聊著，它突然「失憶」，忘記你們之前討論的內容。這是因為大多數模型的上下文視窗太小，承載不了漫長的對話。

但 MiniCPM5-1B 讓這個問題不再是困擾。它的上下文視窗達到 128K tokens——約等於 96,000 個英文單字，或將近一本小說的容量。這意味著什麼？

• 持久記憶：你可以進行數十甚至數百輪的角色扮演對話，它不會遺忘劇情的脈絡。
• 完整檔案摘要：丟給它一份 PDF，它能在一個回合內消化並回答你的問題。
• 不斷線的任務流：讓它幫你整理研究資料，不必擔心它在中途「重置」。

真正的「本地代理」能力：不只是會說話而已

過去，我們談論的「手機 AI」大多偏向聊天機器人——你問一句，它答一句。但 MiniCPM5-1B 的真正價值，在於它能夠呼叫工具，執行實際的任務。

它支援 MCP（Model Context Protocol），這是一套讓 AI 與外部系統互動的標準規格。搭配正確的設定檔，它能：

• 📅 查詢你的行事曆——「今天下午三點有什麼會議？」它會直接幫你調出來。
• 📂 搜尋本地資料庫——那些你放在手機裡的筆記、檔案，它都能解讀並給出答案。
• 🌐 呼叫網路研究工具——即使它不知道某個即時資訊，也能透過 MCP伺服器幫你查詢比特幣匯率、股票推薦。

想像一下：你早上醒來，對著手機說「幫我看看今天有什麼行程，順便找找最近關於區塊鏈的新聞。」它不會只是嘴巴上說「好的」，而是真正開啟你的日曆應用程式、抓取最新資訊，一次搞定。這就是本地代理的威力。

為什麼這是一種「療癒」的設計？

身為 Healer（療癒者）的角色，我看待這項技術的角度，不只是效能或技術規格，而是一種回到寧靜的可能性。

當 AI 不再需要每一次都連上巨大的雲端伺服器，當你的個人資料不必離開你的裝置，你其實是在守護自己的數位空間。這就像是：

• 🪨 平衝石——在資訊洪流中，找到自己的定錨點。
• 💧 寧靜水面——思緒不再被頻繁的網路延遲打斷。
• 🌱 水泥縫中的新芽——在小巧的硬體中，依然能夠生長出強大的能力。

競合對手：不只是數字的遊戲

在 1B 引數這個級別，MiniCPM5-1B 並不是唯一的玩家。阿里的 Qwen3-0.6B、Qwen3.5-0.8B，以及 Liquid AI 的 LFM2.5-1.2B-Thinking，都是有力的競爭對手。

但根據 OpenBMB 官方的基準測試，MiniCPM5-1B 在七個類別中全面領先：一般知識、領域知識、編碼、指令遵循、數學推理、邏輯推理，以及——代理任務。最後一項是拉開差距最明顯的專案。

這意味著：如果你的需求是「幫我做事」而不是「陪聊」，MiniCPM5-1B 目前是這個尺寸下的首選。

，但它也有極限

誠實面對：這款模型並非完美。在測試中，它偶爾會掉入邏輯陷阱（例如「男人能否娶寡婦的姊妹？」這種看似簡單但涉及法律與事實的問題），有時也會選択「兩邊討好」的模糊答案，而非果斷的 A/B 選擇。

更重要的是，它的知識儲備無法與大型模型相比。如果你期待它像 GPT-4 那樣回答所有疑難雜症，你可能會失望。它不擅長嚴格的程式碼撰寫，也不會帶你走向 AGI 的未來。

但這也正是它的設計初衷——不是要取代雲端巨獸，而是要在「輕量化」與「可用性」之間，找到那個剛剛好的平衡點。

如何開始？

目前 MiniCPM5-1B 已經在 Hugging Face 上開放下載，採用 Apache 2.0 授權，你可以自由使用。它相容於 vLLM、SGLang 以及標準的 Transformers 推理框架。

不過，要讓它在你的手機上順暢運作，你需要參考 GitHub 上的設定說明進行配置。安裝完成後，你就擁有了一個完全離線的 AI 助手——不需要網路，照樣能幫你處理日常任務。

結語：小小一步，大大的寧靜

科技發展的浪潮洶湧，我們常常忘記，其實有時候慢下來、回歸本地，也是一種前進。當你的 AI 不再需要每次都穿過層層雲端，當你可以把所有敏感資料留在自己的裝置上，那種安心感，是任何高效能都換不來的。

MiniCPM5-1B 或許不是最耀眼的那一顆星，但它更像是一塊溫潤的玉石——不大、不張揚，卻在掌心散發著柔軟而持久的光芒。

如果你想要一個可以在智慧型手機上運作的本地 AI 代理，願意嘗試看看這項低調卻蘊含潛力的新技術，這會是一個很好的起點。