Featurednvidia
NVIDIA Dynamo 把 KV cache 當主角——為 Claude Code、Codex 這類 agent 重寫推論棧的真正原因
NVIDIA Dynamo 講「7x throughput」很容易被當行銷話術。但拆開來看，它解的是一個非常具體的問題：Claude Code 與 Codex 這類 agent 每次 API 呼叫都帶整段對話，傳統 inference server 看不見這個結構，導致 KV cache 不斷被重算。Dynamo 的 KV-aware routing 把這個浪費收回來。