美团发布LongCat-AudioDiT音频生成模型：说话人相似度指标提升至0.818，现已开源

IT之家 4 月 2 日消息，美团昨天发布 LongCat-AudioDiT 音频生成模型，彻底抛弃梅尔谱等中间表示，直接在波形潜空间进行基于扩散模型的文本转语音（TTS），号称“突破零样本 TTS 音色克隆上限”。

据介绍，业界主流 TTS 引擎长期受困于“多阶段”的复杂流程：先预测中间声学特征（如梅尔频谱），再依赖一个独立的神经声码器将特征“翻译”成最终波形。这种流程本质上是在两个不同空间里“传话”，必然会累积误差，导致最终合成的声音丢失了高保真、个性化的细节。

而 LongCat-AudioDiT 的核心架构逻辑非常简单， 只用一个波形变分自编码器（Wav-VAE）和一个扩散 Transformer（DiT） ，在波形隐空间里完成声音的压缩、建模与重建。拥有高效的下采样与多尺度建模、非参数捷径稳定训练以及对抗式多目标训练等多维度创新。

同时，该模型的骨干网络基于 Transformer，集成全局自适应层归一化（Global AdaLN）、QK-Norm + RoPE 稳定注意力训练等多项结构优化。还能够通过双重约束机制修复流匹配 TTS 的“训练-推理”不匹配问题。

性能方面，该模型的 3.5B 版本在 Seed-ZH 测试集的说话人相似度（SIM）指标提升至 0.818，Seed-Hard 测试集达到 0.797， 超过了 Seed-TTS、CosyVoice3.5、MiniMax-Speech 等知名模型 。

关键词 :

美团 TTS

新浪科技公众号

“掌”握科技鲜闻 （微信搜索techsina或扫描左侧二维码关注）

“不好看就退票”服务，能救电影院吗？

微信封禁自家“兄弟”红包，打的什么牌？

华住，比携程还会捞金？

美国成功了！人类50多年后重返月球轨道 宇航员出发前曾留遗嘱

我没被潜规则！青岛保时捷女销售再夺第一季度销冠：否认每台提成1万、去年收入超200万

陈光标要送张雪价值1300万的劳斯莱斯！后者公开回应了

央视曝光澳洲优思益全链条造假系假洋牌 与辉同行2500万带货业绩陷争议

张雪身价上亿还在用两千多块钱坏手机：没给自己买过一个豪华的东西

华为畅享90 Pro Max明天首销：麒麟8系加持 1699元起

梦回P20时代！华为Pura 90系列回归渐变色：最美Pura来了

美国绕月火箭宇航员一度与地面失联 星链卫星故障再引担忧

奇瑞00后女员工实名举报高管性骚扰 涉事总经理江文波被罢免 熊洪斌接任

刚刚，阿尔忒弥斯2号成功发射，人类时隔54年重返月球

主题：美团