Gemma 4 好強
真的太強了
身為一個從 Gemma 2 開始用(大概一年多前)Gemma 當本地 AI 模型的人,這次 Gemma4:E2B 版本震驚到我了。
雖然 Gemma 4 今年六月就出了,我也第一時刻嘗試了,但因為當時有著「2B 模型一定很蠢的」刻板印象,所以直接跳過 E2B 版本,嘗試了我筆電根本跑不動的 12B 版本,體驗當然差啦,回覆慢又笨。
然而最近這幾天不知是什麼又觸發了我想要搞本地 AI 的心,又多嘗試了一堆模型,還有 Open WebUI。最後發現 Gemma4:E2B 這個寶藏。這是我人生第一次真的覺得本地 AI 可以完全取代線上 AI 服務(ChatGPT, Claude, Gemini)。首先 Gemma4:E2B 的執行速度太快了,對比一年前同樣是 E2B 的 Gemma 3 有體感兩倍以上的速度提升(但我沒實際測試)。回答品質也是超級誇張的好,基本上我八成對於 AI 的需求都可以用這個模型解決(我的需求通常就是課業方面的東西和一些無聊的小問題)。
另外他也支援的讀圖片和音訊,音訊我沒試過不知道,但讀圖片的效率和結果根本就跟現在主流的線上 AI 一模一樣啊。搭配上 Open WebUI,我已經覺得他可以取代我之前最常用的 Claude 了。
就算我需要更聰明的回答,我只要開啟我的桌機,跑個 Gemma4:12B 也能瞬間解決我的需求。
我爸是竹科的工程師,最近半年他們的公司也花了很多心力在搞本地 AI 和 Agent。我就跟他討論再買一張 3060 12 GB,湊成總共 20 GB VRAM,架設我們家自己的模型和 Agent。我朋友今天跟我說他花了 650/month 訂閱 Claude Pro。誒這樣我們如果真的買的話兩年就回本了誒,650 x 12 = 7650;7650 x 2 = 15300,而且未來模型只會越來越聰明、越來越小。
總之這就是這幾天用本地 AI 的體驗啦,真的推薦大家去試試看。
備註
- 我的筆電是 MacBook Air M3: 16 GB Ram(128 bit, 6.4 Gbps;102.4 GB/s)
- 目前顯卡是 RTX 3060 GB(128 bit, 16 Gbps;240 GB/s)