KV cache 每 token 890 字节：DeepSeek 如何压缩注意力内存

DeepSeek-V4.1-Flash 规格中，内存比参数量更值得关注。模型卡指出，全局 KV cache 每个 token 占用 890 字节，约为 DeepSeek-V4-Flash 的四分之一。官方说明从基础设施角度描述了同一效果：HBM 内存需求降至四分之一，SSD 需求降至上一代的八分之一。

这在智能体任务中至关重要，因为模型需要反复读取长上下文。缓存命中占据了计算成本的大部分，而 KV cache 必须物理存储。当上下文达到数十万 token 时，缓存不再是实现细节，而是服务器吞吐量和成本的主要瓶颈。

三套机制，而非单一技巧

压缩通过几种独立方法实现。第一种是 SWA Bounded Replay：注意力窗口缺失的状态仅通过重放窗口末尾的 token 来恢复，无需持久化写入 SSD，KV 的持久足迹降至改动前的约八分之一。

第二种是 Comprossed Sparse Attention 2（CSA2）。它为每个注意力层分配三种模式之一：Full、Reindex 或 Reuse。各层共享主 KV 和索引器键，稀疏注意力索引被复用。在解码器中，分层稀疏索引器将更深层的索引限制在由第一层 Full 模式构建的候选池内，索引成本不再随上下文长度增长。

第三种是将主 KV 以 FP4 格式存储：数值采用 E2M1 表示，每 16 个通道配一个 E4M3 缩放因子。这三项结合，才实现了每 token 890 字节。

实际影响

更小的 KV 占用意味着同一服务器可容纳更多并行会话和更长上下文，内存与磁盘间的数据传输量也减少。官方说明承诺降低服务成本并将节省让利于用户，同时引入高峰与非高峰定价机制。DeepSeek 将其描述为“pushing the limits of KV cache compression”，竞争焦点不再是参数规模，而是谁以更低的成本维持长上下文内存。

中文科技媒体 IT之家指出，V4.1-Flash 已部署于国内超算网络。在此场景下，降低 HBM 和 SSD 需求是同时服务大量用户的前提。