跳到正文

StyleTTS 2

以风格扩散与对抗训练做文本转语音的模型

访问官网

StyleTTS 2 是什么

StyleTTS 2 被介绍为一款文本转语音模型,使用大型语音语言模型(SLMs)进行风格扩散与对抗训练,资料称其实现人级别的 TTS 合成。它通过扩散模型把风格建模为潜在随机变量,无需参考语音即可生成最适合文本的风格。

你可以用它做什么

  • 无需参考语音,生成适合文本的风格
  • 用扩散模型把风格建模为潜在随机变量
  • 用大型预训练 SLMs 作为判别器
  • 用可微持续时间建模进行端到端训练

模型说明

  • 资料称该模型实现人级别的 TTS 合成
  • 原文点名 WavLM 等预训练 SLMs 作为判别器
  • 原文称在单说话人 LJSpeech 上超越人类录音,在多说话人 VCTK 上与之匹配
  • 原文称在 LibriTTS 上训练时优于先前公开的零样本扩展模型

优点与缺点

✓ 我们认可的地方

  • 无需参考语音即可生成适合的风格
  • 端到端训练把判别器与持续时间建模结合

! 需要留意的地方

  • 风格输出由扩散模型生成,不依赖参考语音
  • 训练依赖预训练 SLMs 与可微持续时间建模

常见问题

什么被建模为潜在随机变量?

资料说明风格由扩散模型这样建模,以生成最适合文本的风格。

哪个预训练模型被列为判别器?

原文点名 WavLM 等大型预训练 SLMs 作为判别器。

最后评测: 2026-11-15

更多 AI 音频工具 工具

查看全部 →

评测方法