209G 数据中心级 AI 塞进 48G 统一内存，网友用 MacBook Pro 跑通 Qwen3.5-397B 模型

3 月 20 日消息，开发者 Dan Woods 近期在一台配备 M3 Max 芯片和 48GB 统一内存的 MacBook Pro 上，成功运行了 209GB 超大 AI 模型（Qwen3.5-397B，通常只有数据中心才能承载），并实现超 5.5 Token / 秒的速度。

援引博文介绍，Qwen3.5-397B 模型占用磁盘空间约为 209GB（压缩后为 120GB），通常需要将数百亿个参数加载到大容量高速内存中，因此远超普通笔记本电脑的内存极限。

Woods 为了攻克 48GB 内存无法装载 209GB 模型的物理限制，借鉴了苹果公司在 2023 年发布的论文《闪存中的大语言模型》。该研究提出了一种创新方案：将模型参数存储在高速固态硬盘（NVMe SSD）中，并利用推理成本模型引导，按需将数据以更大、更高效的数据块传输至内存。

Woods 指出该方案之所以能成功落地，很大程度上归功于苹果芯片独特的统一内存架构。该架构打破了传统壁垒，允许 CPU、GPU 和内存进行极为紧密的协同工作。

同时，Woods 还利用了 Qwen 模型采用的“混合专家（MoE）”架构特性。由于 MoE 模型在生成每个 Token 时只需激活部分参数，他将每次激活的“专家”数量从 10 个精简至 4 个。

开发者 Simon Willison 分析认为，这种妥协在极大降低内存需求的同时保留了模型核心性能，让活跃权重可以直接从闪存中读取。

值得一提的是，Woods 并未完全依靠人工编写这些复杂的底层优化代码。他将苹果的论文输入给 AI 助手 Claude Code，并通过自动化研究模式运行了 90 次实验。

最终，AI 自动生成了高度优化的 MLX Objective-C 和 Metal 代码（直接运行在苹果芯片上的底层计算语言）。目前，该项目的测试结果与详细的技术论文均已在 GitHub 上开源发布。