跳到正文

Make-An-Audio 2

用扩散模型实现文本到音频生成

访问官网

Make-An-Audio 2 是什么

该技术被介绍为在预训练大型语言模型帮助下把文本转成音频的扩散模型。

你可以用它做什么

  • 用预训练 LLM 解析输入文本
  • 用结构化编码器学习语义对齐
  • 通过扩散去噪器生成音频

技术要点

  • 前馈 Transformer 去噪器处理变长音频
  • LLM 把音频标签数据转成音频文本集
  • 时间信息从解析后的文本中提取

优点与缺点

✓ 我们认可的地方

  • 去噪器针对变长音频生成做了设计
  • 用 LLM 缓解时间数据稀缺问题

! 需要留意的地方

  • 资料记录的输入是自然语言文本
  • 生成流程要经过多个编码器阶段

常见问题

由谁开发?

资料列出浙江大学、字节跳动和香港中文大学的研究人员。

结构化编码器做什么?

功能列表说明它辅助去噪过程中的语义对齐学习。

最后评测: 2026-11-15

更多 AI 音乐创作 工具

查看全部 →

评测方法