ActAnywhere 是什么
ActAnywhere 被介绍为一个主体感知的视频背景生成模型,利用并专门定制了大规模视频扩散模型来完成这一任务。它以一系列前景主体分割和一张条件图像为输入,生成与条件帧相一致的连贯视频,同时实现现实的前景和背景交互。
你可以用它做什么
- 根据输入的前景主体分割序列生成符合条件图像的视频背景
- 让生成的背景与前景主体运动和外观相协调
- 以合成的包含主体的帧或仅包含背景的帧作为条件图像
- 生成具有不同摄像机运动的视频背景
使用示例
- 用包含人物运动的视频分割序列与海边图片生成人物在海边奔跑的合成视频
- 用包含舞蹈动作的视频分割与古代宫殿图片生成舞蹈在宫殿里进行的效果
- 用汽车行驶的视频分割与高楼大厦图片生成汽车在城市街景行驶的效果
模型说明
- 利用大规模视频扩散模型并针对该任务专门定制
- 模型在大规模人机交互视频数据集上进行训练
- 资料称大量评估表明该模型性能明显优于基准
- 资料称可泛化到各种分布样本,包括非人类主体
优点与缺点
✓ 我们认可的地方
- 使用针对该任务定制的大规模视频扩散模型
- 输出被描述为实现现实的前景与背景交互
! 需要留意的地方
- 输入需要一系列前景主体分割
- 生成依赖描述所需场景的条件图像
常见问题
模型以什么为输入?
资料说明是一系列前景主体分割,以及描述所需场景的图像。
训练数据是什么?
资料说明模型在大规模人机交互视频数据集上训练。
最后评测: 2026-11-15