跳到正文

Motion-I2V

两阶段的可控图像到视频生成框架

访问官网

Motion-I2V 是什么

Motion-I2V 被介绍为一种一致且可控的图像到视频生成框架,它把 I2V 分解为两个阶段并采用显式运动建模,而不是直接学习复杂的图像到视频映射。

你可以用它做什么

  • 生成一致且可控的图像到视频结果
  • 用基于扩散的预测器推断运动场
  • 把参考图像特征传播到合成帧
  • 借助稀疏轨迹精确控制运动轨迹和运动区域

两阶段设计

  • 第一阶段提出基于扩散的运动场预测器,专注推断参考图像像素的轨迹
  • 第二阶段提出运动增强时间注意力,增强视频潜在扩散模型中有限的一维时间注意力
  • 第一阶段预测的轨迹用于指导参考图像特征向合成帧传播
  • 资料称即使存在大运动和视角变化,也能生成更一致的视频

应用场景

  • 一位摄影爱好者用一组风景照片生成连贯且可控的视频作品
  • 一家广告公司制作具有特定视觉效果的产品宣传视频
  • 一位艺术家把静态艺术作品转化为带动态效果的视频展示

优点与缺点

✓ 我们认可的地方

  • 可精确控制运动轨迹和运动区域
  • 资料称在大运动和视角变化下仍能生成更一致的视频

! 需要留意的地方

  • 方法把图像到视频生成分解为两个阶段
  • 运动控制依赖稀疏轨迹控制网络的训练

常见问题

这个框架做什么?

资料描述的是一致且可控的图像到视频生成框架。

运动是怎么处理的?

第一阶段由基于扩散的运动场预测器推断像素轨迹,第二阶段使用运动增强时间注意力。

最后评测: 2026-11-15

更多 AI 视频生成 工具

查看全部 →

评测方法