八张 PCIe 卡，输入吞吐量提升 6.87 倍：软件弥补硬件短板

“模型能跑”与“模型能跑出可观吞吐量”之间的差距，如今往往比两代显卡的代际差异还要大。量子位报道了是石科技（METASTONE）的案例。这家公司专注于优化，既不修改模型结构，也不更换硬件。

这类卡通常面临两个问题：卡间缺乏高速互联，且不在主流框架的官方支持矩阵中。框架不会报错，而是悄悄绕过加速路径，回退到通用的慢速实现。在八张纯 PCIe 卡上，V4.1-Flash 发布当天的基线版本输入吞吐量为每秒 1932 个 token。团队补齐了缺失的算子内核，修复了稀疏注意力的快速预处理路径，替换了稠密 GEMM 操作中较慢的 FP8 内核，并扩大了 PCIe 上快速 IPC 通信的覆盖范围。吞吐量随之升至每秒 5850 个 token。这是第一阶段，被称为“模型与硬件协同”。

第二阶段：通信、显存与缓存

核心工作从这里开始。工程师将注意力算子与投影算子融合，把计算隐藏在集合通信的空隙中，并根据 PCIe 的实际带宽重写了通信逻辑。预填充阶段和生成阶段的并行策略被分别调优。最后，动态调整了静态显存占比、KV 缓存容量及显存复用机制。输入吞吐量从 5850 提升至每秒 13274 个 token，总提升幅度为 6.87 倍，同时保持对一百万 token 上下文的支持。

同一套方法在其他模型上同样有效。DeepSeek-V4-Flash 的输入吞吐量从每秒 14546 个 token 升至 22584 个，提升 1.55 倍。GLM5.3 从 3236.78 升至 6222.72，提升 1.92 倍。首个 token 的 P95 延迟从 141.6 秒降至 46.6 秒，上下文上限从 27 万扩展至 105 万 token。仅第一阶段，就在多个模型上带来了 20% 到 33% 的性能增长。

相对顶级硬件的水平

作者如实提供了参照数据。在相同并发水平下，B300 的输入吞吐量约为这台八卡机器的 4.9 到 5.6 倍（基于 DeepSeek-V4-Flash 对比）；在 GLM-5.3 上，该比值为 3.5 到 4.7 倍。差距并未消失，但明显小于仅凭规格参数得出的印象。在视频生成方面，基于 MiniMax H3 模型，使用参考图生成 15 秒视频的速度提升了 2.48 倍。该方法也在国产 GPU 上得到验证。在那里，需要显式启用 NSA 稀疏注意力，并关闭专为 NVIDIA 和 AMD 平台编写的机制。

有些比较不关注峰值规格，只关注机房中实际运行硬件上每个 token 的生成成本。对于这类比较，上述数据提供了有价值的参照。