单台服务器600TB！NVIDIA疯狂吞噬全球NAND供应

NVIDIA Vera Rubin平台的量产爬坡正在挤压TLC NAND闪存供应，512Gb TLC NAND现货价格在6月回落后重新升至21美元。

NVIDIA为Vera Rubin平台引入了上下文存储扩展技术（Context Memory eXtension，CMX），用于处理AI模型注意力层生成的KV缓存。

CMX在HBM和传统后端网络存储之间构建了一个中间存储层，底层是大量TLC闪存，通过NVIDIA BlueField-4 DPU连接到Rubin GPU集群，通过Spectrum-X以太网实时处理KV缓存。

硬件规模上，单台2U CMX服务器容纳600TB TLC闪存，四颗DPU各管理150TB上下文存储。多台CMX服务器组成一个部署集群后，存储总容量可达9600TB即9.6PB。这意味着每一个Rubin集群都要消耗近10PB的TLC闪存，对NAND供应的挤压效应可想而知。

与此同时，AI工作负载对高密度高性能企业级SSD的需求也在同步攀升，进一步加剧TLC NAND的供应紧张。

目前NVIDIA消耗的TLC NAND大部分通过长期合同锁定，但需求的绝对规模正在收紧现货市场，512Gb TLC NAND现货价在6月曾跌破21美元，如今重新站上这一关口，后续走势仍有待观察。

另外此前有传言称NVIDIA可能削减每颗GPU的HBM4E容量以保利润率，但美国银行近日否认了这一消息。美国银行认为任何潜在的降规格都只是应对短期供应紧张的临时措施，而非永久性的低容量SKU。