11 月 20 日消息,微软昨日(11 月 19 日)发布博文,宣布以开发者预览方式,推出基于 USB4 的远程直接内存访问(RDMA)体验,实现多台 Windows 11 电脑合力跑 AI 模型体验。
注:RDMA 是让一台电脑能够高效地向另一台电脑中获授权的内存区域读写数据,减少操作系统和 CPU 在数据搬运过程中的介入,主要优势是低延迟、高吞吐和较低的 CPU 占用。


根据官方描述,两台或多台符合要求的电脑通过 USB4 线缆连接后,无需另购专用 RDMA 网卡或配置交换机,可借助兼容的推理框架,调动各自的内存和 GPU 算力,共同运行一个 AI 模型。

在延迟方面,微软测试显示,在单次传输数据量较小的情况下,电脑间通信的往返延迟约为 28 至 50 微秒,仅为同一 USB4 链路上传统以太网 UDP 方式的四分之一。

初步测试中,微软使用三台各配 128GB 统一内存的 AMD 迷你电脑,通过 40Gbps USB4 连接,运行 4 位量化的 2350 亿参数 Qwen3 模型,生成速度约为每秒 18.5 个词元;AMD 自测约为 22 个。


在三台搭载 AMD Ryzen AI Max+ 395 处理器的迷你电脑上,通过 USB4 实现 RDMA 性能:
测试方模型与量化方式上下文长度 / 生成词元数解码速度(词元 / 秒)提示词处理速度(词元 / 秒)AMDQwen3-235B-A22B,4 位量化(Q4_K_M)1,600 / 2,04821.98117.98英特尔则以四台各配 64GB 内存的酷睿 Ultra Series 3 电脑运行 GPT-OSS-120B,在约 1000 词元上下文下达到每秒 54.2 个词元。
电脑数量(台)上下文长度(词元)首个词元生成时间(秒)解码速度(词元 / 秒)31K1.149.441K1.254.232K2.949.442K3.251.7

【来源:IT之家】


