跳到正文

NaturalSpeech 3

以分解编解码器与扩散模型实现零样本语音合成

访问官网

NaturalSpeech 3 是什么

NaturalSpeech 3 被介绍为一个零样本语音合成系统,通过分解内容、韵律、音色和声学细节等属性并分别生成,提升语音合成的质量、相似性和韵律。系统采用带分解向量量化(FVQ)的神经编解码器解耦语音波形,并用分解扩散模型按提示生成各子空间属性。

你可以用它做什么

  • 在零样本设定下合成语音
  • 在文本到语音转换任务中生成自然流畅的语音
  • 通过属性操作调整语音的持续时间、韵律和音色
  • 把系统集成到语音识别系统中

它是怎么搭起来的

  • 神经编解码器用分解向量量化处理语音波形
  • 内容、韵律、音色和声学细节分别生成
  • 分解扩散模型生成各子空间的属性
  • 每个子空间属性按对应的提示生成

优点与缺点

✓ 我们认可的地方

  • 语音的不同属性分别生成
  • 各子空间属性按对应提示生成

! 需要留意的地方

  • 生成依赖分解后的属性子空间
  • 神经编解码器依赖对波形的分解向量量化

常见问题

属于哪种语音合成?

资料说明它是一个零样本语音合成系统。

分解了哪些语音属性?

资料列出内容、韵律、音色和声学细节。

最后评测: 2026-11-15

更多 AI 音频工具 工具

查看全部 →

评测方法