Shimmy：把本機 LLM 變成 OpenAI API 的 Rust 小伺服器

Shimmy 是一個值得本機 AI 開發者注意的 Rust 推理伺服器：它不是另一個聊天 UI，而是把本機 GGUF 模型包成 OpenAI API 相容端點。你原本接 OpenAI SDK、Cursor、Continue.dev 或 VS Code extension 的地方，只要把 baseURL 指到 http://127.0.0.1:11435/v1，就能改用本機模型。

這個定位很務實。很多人想跑 local LLM，不是因為要研究推理框架，而是想要三件事：資料不要出機器、不要被 API key 和 rate limit 卡住、既有工具不要大改。Shimmy 的 README 把核心賣點壓在「single binary」「zero configuration」「OpenAI-compatible」：自動掃 Hugging Face cache、Ollama、./models/，也會自動分配 port，避免又多一份設定檔。

為什麼它有意思

Shimmy 有意思的地方，是它把本機推理包成「夠小、夠快、夠像 OpenAI」的服務層。README 的比較表宣稱：Shimmy binary 約 4.8MB、啟動小於 100ms、記憶體約 50MB；同表中 Ollama 是 680MB、啟動 5-10 秒、記憶體 200MB+。這些數字不該被當成所有場景的 benchmark，但它說明了 Shimmy 想打的不是模型能力，而是開發環境摩擦。

Shimmy 的 v1.9.0 也主打「一個下載檔包含平台可用的 GPU backend」。Windows / Linux x64 binary 包 CUDA、Vulkan、OpenCL；macOS ARM64 走 Apple Silicon 的 MLX。這對 Windows 開發者特別有感，因為本機推理最常卡在編譯、CUDA、driver、libclang 這些環境細節，而不是模型本身。

它也把 MOE 大模型放進故事裡：README 寫到可用 --cpu-moe 與 --n-cpu-moe 做 CPU/GPU 混合處理，目標是讓 70B+ 模型在消費級硬體上比較有機會跑起來。這不等於每台筆電都能舒服跑 70B，但方向很清楚：把本機推理的失敗點從「裝不起來」往「效能是否夠用」推進。

適合誰

如果你正在做 AI coding、RAG prototype、內部工具或離線 demo，Shimmy 最適合當「本機 OpenAI API adapter」。它不取代完整模型管理平台，也不會讓小模型突然變聰明；它解的是接線問題：讓本機模型更像一個標準服務，而不是一堆 CLI、模型路徑和臨時 script。

截至 2026-05-22，GitHub 頁面顯示 Michael-A-Kuykendall/shimmy 約 5.2k stars、483 forks；SourceForge mirror 顯示最新版本是 2026-01-10 的 v1.9.0。對開發者來說，這類工具最值得觀察的不是 stars，而是它能不能穩定維持 OpenAI API 相容，因為那才是 local-first AI toolchain 真正能被替換進工作流的關鍵。

Source

Michael-A-Kuykendall/shimmy 是一個開源 Rust 本機推理伺服器，主打 OpenAI API 相容、GGUF 模型、GPU auto-detection 與單一 binary 部署。