AI加速器的内存墙：d-Matrix、微软与3D DRAM的推进

模型权重持续增长，KV缓存随上下文长度与批大小的乘积而扩张。ServeTheHome在报道d-Matrix于9月14日Hot Chips 2026的演讲时给出了计算：64个用户、1M上下文，意味着约935 GB的KV缓存。权重与缓存叠加，既是容量问题，也是带宽问题，且两者都在增长。

SRAM能满足带宽需求，但规模极小。一对Corsair SRAM加速卡在约1 ns延迟下可达300 TB/s，容量却仅约4 GB。6T SRAM单元比DRAM单元大10倍，GB规模下漏电达数十瓦。SRAM适合投机解码中的草稿模型，不适合承载前沿模型权重。

HBM解决了容量，没解决带宽

HBM解决了容量问题，带宽却捉襟见肘。引脚速率和每个基底的I/O宽度提升缓慢，堆叠数量受限于封装可用的岸线，每封装约8到16个堆叠。d-Matrix指出，NVIDIA Vera Rubin和AMD Instinct MI455等HBM4封装的实际带宽上限约为20 TB/s。

高带宽伴随高功耗。按2.4 pJ/bit计算，100 TB/s通过HBM需消耗约1.92 kW，尚未计入互连流量。据ServeTheHome报道，当前封装既缺乏岸线空间，也缺乏功耗预算，无法用HBM达到SRAM级带宽。

d-Matrix的方案是将计算直接堆叠在DRAM裸片之上。堆叠带来散热挑战，数百瓦热量需穿过温度敏感的DRAM堆叠中的TSV散出，同时面临IR压降导致的供电挑战。d-Matrix称，功率密度不超过0.5 W/mm2的1-Hi逻辑在上堆叠可液冷，使DRAM温度保持在100 C以下。

该公司将3D DRAM置于能耗阶梯的中间位置。片上SRAM约50 fJ，计入芯片级能耗后，2.5D HBM4系统为2.5到5 pJ。垂直3D IO约0.3到0.4 pJ，比HBM低10倍，因其为无PHY的毫米级路径，而非厘米级中介层走线。堆叠层数少于HBM，意味着裸片更大、良率更高。

时间花在解码上

Prefill并行处理大量提示词token，受计算吞吐限制。Decode逐token生成，通常受内存带宽限制。在高GQA和投机解码下，注意力机制可能转为计算受限，而MoE即使在较小批大小下仍受内存限制。Decode才是需要巨大带宽的阶段。

Decode主导实际运行时间，内存受限部分因此最关键。d-Matrix强调，大部分推理时间花在Decode阶段，提升Decode带宽即可改善整体推理性能。每卡32GB、4位权重和8位KV缓存下，d-Matrix的设计可容纳于单个机架。72卡scale-up可承载Kimi K3等前沿模型的1M上下文，解耦和多机架架构可超越单个Raptor机架。

该实现名为Raptor。台积电N4逻辑裸片通过36 um面对面堆叠置于3D DRAM裸片之上，d-Matrix称此工艺成熟、低成本、高量产、高良率。每个张量引擎每次访问需128B flit，32B bank每次列访问提供32B，故每通道需4个bank。裸片共有840个bank，扣除72个备用后剩768个，分布在256个通道上，每通道仅3个bank。每通道3个bank时，单次访问返回96B，发送128B flit需两次访问，取回192B，在接近33 TB/s时浪费约33%带宽。

流式分块回收了这部分浪费。d-Matrix让一次部分32B访问在三个flit间共享，4次96B访问对应3个128B flit，384B输入匹配384B输出。过取降为零，无需移位网络。以0.37 pJ/bit传输100 TB/s，仅I/O功耗即达296 W，传统DBI可节省20%。流式翻转无需额外引脚即可实现这20%节省，它比较相邻flit并在必要时取反，每个flit附带一个元数据位随ECC传输。

微软的Maia 200走另一条路

微软在Hot Chips 2026上介绍了第二代Maia 200加速器，ServeTheHome于8月26日报道。这颗3nm芯片拥有1400亿晶体管、六个HBM3e堆叠、7TB/s HBM带宽和750瓦TDP，在820mm2 SoC裸片上提供1万TFLOPS FP4性能。它采用软件定义本地访问的数据流架构，数据流在编译期确定，数据访问限于计算单元内部。无scale-out网络：微软幻灯片显示，统一以太网上一个scale-up域包含128个机架和6000颗芯片。

两种不同押注，一个共同约束。无论将DRAM堆叠在逻辑之下，还是将HBM与软件定义数据流配对，两种设计均受限于比特在内存间搬运的成本。