LatentSync 是什么
LatentSync 被介绍为字节跳动开发的唇部同步框架,用潜在扩散模型建模复杂的音视频关联。它直接利用 Stable Diffusion,不需要任何中间运动表示。
你可以用它做什么
- 用扩散模型建模音视频关联
- 用 TREPA 增强帧的时间一致性
应用场景
- 虚拟主播视频由语音生成唇部动作
- 动画公司为配音角色匹配唇部动画
- 影视特效团队修复镜头中的唇部同步
优点与缺点
✓ 我们认可的地方
- 数据处理脚本涵盖修复、重采样与人脸对齐
- U-Net 与 SyncNet 训练脚本开源
! 需要留意的地方
- 使用要先准备环境并下载检查点
- 推理通过脚本运行并需调整参数
常见问题
基于什么模型?
资料提到 Stable Diffusion,以及基于音频条件的潜在扩散模型。
代码是否开放?
资料说明训练与推理脚本以及模型检查点均开源提供。
最后评测: 2026-11-15