美团发布 LongCat-AudioDiT 音频生成模型：说话人相似度指标提升至 0.818，现已开源

4 月 2 日消息，美团昨天发布 LongCat-AudioDiT 音频生成模型，彻底抛弃梅尔谱等中间表示，直接在波形潜空间进行基于扩散模型的文本转语音（TTS），号称“突破零样本 TTS 音色克隆上限”。

据介绍，业界主流 TTS 引擎长期受困于“多阶段”的复杂流程：先预测中间声学特征（如梅尔频谱），再依赖一个独立的神经声码器将特征“翻译”成最终波形。这种流程本质上是在两个不同空间里“传话”，必然会累积误差，导致最终合成的声音丢失了高保真、个性化的细节。

而 LongCat-AudioDiT 的核心架构逻辑非常简单，只用一个波形变分自编码器（Wav-VAE）和一个扩散 Transformer（DiT），在波形隐空间里完成声音的压缩、建模与重建。拥有高效的下采样与多尺度建模、非参数捷径稳定训练以及对抗式多目标训练等多维度创新。

同时，该模型的骨干网络基于 Transformer，集成全局自适应层归一化（Global AdaLN）、QK-Norm + RoPE 稳定注意力训练等多项结构优化。还能够通过双重约束机制修复流匹配 TTS 的“训练-推理”不匹配问题。

性能方面，该模型的 3.5B 版本在 Seed-ZH 测试集的说话人相似度（SIM）指标提升至 0.818，Seed-Hard 测试集达到 0.797，超过了 Seed-TTS、CosyVoice3.5、MiniMax-Speech 等知名模型。

目前该模型已经开源，附 1B/3.5B 参数版本链接如下：

论文：https://arxiv.org/abs/2603.29339v1

GitHub：https://github.com/meituan-longcat/LongCat-AudioDiT

HuggingFace：https://huggingface.co/meituan-longcat/LongCat-AudioDiT