跳到正文

VideoReTalking

用音频驱动唇形同步编辑说话头部视频

访问官网

VideoReTalking 是什么

VideoReTalking 被介绍为一个根据输入音频编辑真实世界说话头部视频面部、产生高质量唇形同步输出视频的系统,即使情感不同也可工作。它把目标分解为表情编辑、音频驱动的唇形同步与面部增强三个连续任务,并在顺序管道中处理。

你可以用它做什么

  • 根据输入音频编辑说话头部视频的面部
  • 生成唇形同步的输出视频
  • 按相同表情模板编辑每一帧的表情
  • 对合成面部做增强以提高照片逼真度

处理流程

  • 表情编辑网络按相同表情模板修改每一帧的表情
  • 具有规范表情的视频与给定音频一起输入唇形同步网络
  • 身份感知的面部增强网络与后处理提高合成面部的照片逼真度
  • 三个基于学习的模块在顺序管道中处理,无需用户干预

应用场景

  • 电影制作人编辑电影中的角色对白
  • 广告公司制作口型与音频匹配的广告
  • 电视剧制作人编辑电视剧中的角色对白

优点与缺点

✓ 我们认可的地方

  • 所有模块可在顺序管道中处理
  • 三个步骤无需用户干预

! 需要留意的地方

  • 输入为真实世界的说话头部视频与给定音频
  • 流程按三个基于学习的任务顺序执行

常见问题

输出是什么?

资料说明由说话头部视频与输入音频产生高质量的唇形同步输出视频。

三个任务是什么?

资料列出用表情编辑网络生成规范表情视频、音频驱动的唇形同步,以及提高照片逼真度的面部增强。

最后评测: 2026-11-15

更多 AI 视频生成 工具

查看全部 →

评测方法