跳到正文

Diffusion as Shader

用 3D 跟踪视频作为控制输入生成视频

访问官网

diffusion-as-shader 是什么

该模型被介绍为视频生成控制模型,用 3D 跟踪视频在同一架构内驱动多种控制任务。

你可以用它做什么

  • 准备文本提示、图像或动画网格
  • 完成深度图与对象分割等预处理
  • 由 3D 跟踪输入生成视频

需要留意什么

  • 资料点名 Depth Pro 与 SAM 等预处理工具
  • 相机运动轨迹由使用者指定
  • 时间一致性是资料写明的改进目标

优点与缺点

✓ 我们认可的地方

  • 3D 跟踪视频增强生成视频的时间一致性
  • 资料提到少量数据微调即可获得控制能力

! 需要留意的地方

  • 文本提示、图像或网格需使用者准备
  • 深度图、对象分割等预处理要先行完成

常见问题

控制输入是什么?

资料点名 3D 跟踪视频作为控制输入。

由谁开发?

资料写明由包括香港科技大学在内的多所高校研究团队共同开发。

最后评测: 2026-11-15

更多 AI 视频生成 工具

查看全部 →

评测方法