Tora 是什么
Tora 被介绍为一种轨迹导向的扩散变换器视频生成模型,通过集成文本、视觉和轨迹条件对视频内容的动态做精确控制。其设计利用 DiT 的可扩展性,允许在不同持续时间、纵横比和分辨率下生成视频内容。
你可以用它做什么
- 用轨迹提取器 TE 把任意轨迹编码为分层的时空运动补丁
- 用空间-时间扩散变换器保存连续帧之间的运动信息
- 用运动引导融合器 MGF 把多级运动条件注入 DiT 块
- 生成不同分辨率以及更长持续时间的视频
使用示例
- 生成飘动的玫瑰与雪山背景的自然景观视频
- 创建水下飞翔的海鸥与五彩斑斓珊瑚礁的虚拟场景
- 制作沙漠中红色氦气球上升的商业广告
上手流程
- 确定视频内容的轨迹和动态要求
- 用轨迹提取器 TE 将轨迹编码为时空运动补丁
- 通过空间-时间扩散变换器生成视频的初始草图
- 利用运动引导融合器 MGF 把运动条件注入 DiT 块
优点与缺点
✓ 我们认可的地方
- 文本、视觉与轨迹条件一同集成
- 支持不同持续时间、纵横比与分辨率
! 需要留意的地方
- 运动控制依赖输入的轨迹条件
- 生成流程经过 TE、DiT 与 MGF 多个环节
常见问题
使用哪些条件?
资料列出文本、视觉和轨迹条件,并说明三者用于运动控制。
主要组件有哪些?
轨迹提取器、结合 3D 视频压缩网络的空间-时间扩散变换器,以及运动引导融合器。
最后评测: 2026-11-15