跳到正文

LatentSync

用潜在扩散模型做音频驱动的唇部同步

访问官网

LatentSync 是什么

LatentSync 被介绍为字节跳动开发的唇部同步框架,用潜在扩散模型建模复杂的音视频关联。它直接利用 Stable Diffusion,不需要任何中间运动表示。

你可以用它做什么

  • 用扩散模型建模音视频关联
  • 用 TREPA 增强帧的时间一致性

应用场景

  • 虚拟主播视频由语音生成唇部动作
  • 动画公司为配音角色匹配唇部动画
  • 影视特效团队修复镜头中的唇部同步

优点与缺点

✓ 我们认可的地方

  • 数据处理脚本涵盖修复、重采样与人脸对齐
  • U-Net 与 SyncNet 训练脚本开源

! 需要留意的地方

  • 使用要先准备环境并下载检查点
  • 推理通过脚本运行并需调整参数

常见问题

基于什么模型?

资料提到 Stable Diffusion,以及基于音频条件的潜在扩散模型。

代码是否开放?

资料说明训练与推理脚本以及模型检查点均开源提供。

最后评测: 2026-11-15

更多 AI 视频生成 工具

查看全部 →

评测方法