diffusion-as-shader 是什么
该模型被介绍为视频生成控制模型,用 3D 跟踪视频在同一架构内驱动多种控制任务。
你可以用它做什么
- 准备文本提示、图像或动画网格
- 完成深度图与对象分割等预处理
- 由 3D 跟踪输入生成视频
需要留意什么
- 资料点名 Depth Pro 与 SAM 等预处理工具
- 相机运动轨迹由使用者指定
- 时间一致性是资料写明的改进目标
优点与缺点
✓ 我们认可的地方
- 3D 跟踪视频增强生成视频的时间一致性
- 资料提到少量数据微调即可获得控制能力
! 需要留意的地方
- 文本提示、图像或网格需使用者准备
- 深度图、对象分割等预处理要先行完成
常见问题
控制输入是什么?
资料点名 3D 跟踪视频作为控制输入。
由谁开发?
资料写明由包括香港科技大学在内的多所高校研究团队共同开发。
最后评测: 2026-11-15