吞吐量30倍提升！NVIDIA秀Blackwell性能：打破MLPerf记录居第一

NVIDIA在官网表示，在最新的MLPerf V5.0基准测试中，NVIDIA的Blackwell平台取得了令人瞩目的成绩。

MLPerf是一个衡量人工智能硬件、软件和服务性能的标准化基础测试平台，它由图灵奖得主大卫·帕特森联合谷歌、斯坦福、哈佛大学等顶尖企业和学术机构成立，是权威性最大、影响力最广的国际AI性能基准测试。

最新更新的MLPerf 添加了Llama 3.1 405B，这是最大和最难以运行的开放权重模型之一。

NVIDIA表示，虽然许多公司在其硬件上运行MLPerf基准测试以衡量性能，但只有NVIDIA及其合作伙伴提交并发布了Llama 3.1 405B基准测试的结果。

具体来看，GB200 NVL72系统通过连接72个NVIDIA Blackwell GPU，作为一个单一的超大GPU运行，在Llama 3.1 405B基准测试中，与H200 NVL8相比，实现了高达30倍的吞吐量提升。

据介绍，在生产环境中，推理部署通常受到两个关键指标的延迟限制：首次响应时间（TTFT）和每个输出令牌的时间（TPOT）。

新的Llama 2 70B Interactive基准测试将TPOT缩短了5倍，TTFT降低了4.4倍，模拟了更快的用户体验。

在这一测试中，NVIDIA使用8个Blackwell GPU的DGX B200系统，性能比使用8个H200 GPU的系统高出三倍，为这一更具挑战性的Llama 2 70B基准测试设定了新的高标准。