Featuredllm
Ternary Bonsai:1.58-bit 量化、8B 模型壓進 1.75GB、iPhone 跑 27 tok/s——PrismML 把邊緣推論的極限又往前推
PrismML 發布 Ternary Bonsai:用 {-1, 0, +1} 三值權重將 8B 模型壓縮到 1.75GB(9x smaller than 16-bit),M4 Pro 跑 82 tok/s,iPhone 17 Pro Max 跑 27 tok/s,benchmark 平均 75.5 分,Apache 2.0 開源。