跳到正文

audio2photoreal

从音频合成照片级逼真的交谈人物

访问官网

audio2photoreal 是什么

audio2photoreal 被介绍为一个从音频生成照片级逼真 avatar 的开源项目,包含可从音频合成交谈中人类形象的 PyTorch 实现。它让研究人员和开发者训练自己的模型,用于语音驱动的 avatar 合成。

你可以用它做什么

  • 从音频生成逼真的人类 avatar
  • 使用项目提供的预训练模型与数据集访问
  • 使用内含的人脸与人体模型
  • 由语音输入渲染逼真的 avatar

模型说明

  • 内含人脸扩散模型
  • 内含人体扩散模型
  • 内含人体 VQ VAE 模型
  • 内含人体引导变换器模型

资料列举的案例

  • 用自己收集的语音数据训练模型,生成自定义角色的 avatar
  • 利用历史人物的语音资料合成逼真的虚拟形象
  • 把角色配音适配到 3D 游戏和虚拟空间

优点与缺点

✓ 我们认可的地方

  • 训练代码与测试代码一并提供
  • PyTorch 实现以开源形式提供

! 需要留意的地方

  • avatar 渲染由音频输入驱动
  • 训练自己的模型依托项目提供的代码

常见问题

项目生成什么?

资料描述的是从音频合成交谈中的照片级逼真人类 avatar。

包含哪些模型?

资料列出人脸扩散模型、人体扩散模型、人体 VQ VAE 模型与人体引导变换器模型。

最后评测: 2026-11-15

更多 AI 图像生成 工具

查看全部 →

评测方法