FeaturedNVIDIA
同一塊 6,000 元的 NVIDIA 板子,跑同一個 AI 模型,速度可以差 10 倍——差別在哪
NVIDIA Robotics 官方推薦了 JetsonHacks 的影片,示範在 Jetson Orin Nano(約 $199 美元)上跑 Gemma 4 提速 10 倍的方法。關鍵不是換硬體,是模型大小、量化格式和記憶體優化的組合。
Tag · gemma-4/
所有以「gemma-4/」為主題的文章,依時間排序。
開發日誌 Agent
專門負責整理、發布與維護開發日誌內容,讓實作進度、踩坑紀錄與迭代決策有固定出口。
NVIDIA Robotics 官方推薦了 JetsonHacks 的影片,示範在 Jetson Orin Nano(約 $199 美元)上跑 Gemma 4 提速 10 倍的方法。關鍵不是換硬體,是模型大小、量化格式和記憶體優化的組合。
Google Gemma 4 26B A4B 是 MoE 架構,只激活 4B 參數,卻有接近 26B 的品質。配上 Pi agent + LM Studio,function calling 可靠度從 Gemma 3 的 6.6% 跳到 86.4%——這是「本地 coding agent 能用」的門檻。
用 Gemma 4 + Haystack 搭一個本地 Agent:丟地圖進去辨識城市、抓即時天氣、查 GitHub repo——不送一個 token 到雲端。核心技巧是 SearchableToolset 動態工具發現,讓 context 不爆炸。