跳到正文

Tora

以轨迹导向的扩散变换器控制视频运动

访问官网

Tora 是什么

Tora 被介绍为一种轨迹导向的扩散变换器视频生成模型,通过集成文本、视觉和轨迹条件对视频内容的动态做精确控制。其设计利用 DiT 的可扩展性,允许在不同持续时间、纵横比和分辨率下生成视频内容。

你可以用它做什么

  • 用轨迹提取器 TE 把任意轨迹编码为分层的时空运动补丁
  • 用空间-时间扩散变换器保存连续帧之间的运动信息
  • 用运动引导融合器 MGF 把多级运动条件注入 DiT 块
  • 生成不同分辨率以及更长持续时间的视频

使用示例

  • 生成飘动的玫瑰与雪山背景的自然景观视频
  • 创建水下飞翔的海鸥与五彩斑斓珊瑚礁的虚拟场景
  • 制作沙漠中红色氦气球上升的商业广告

上手流程

  • 确定视频内容的轨迹和动态要求
  • 用轨迹提取器 TE 将轨迹编码为时空运动补丁
  • 通过空间-时间扩散变换器生成视频的初始草图
  • 利用运动引导融合器 MGF 把运动条件注入 DiT 块

优点与缺点

✓ 我们认可的地方

  • 文本、视觉与轨迹条件一同集成
  • 支持不同持续时间、纵横比与分辨率

! 需要留意的地方

  • 运动控制依赖输入的轨迹条件
  • 生成流程经过 TE、DiT 与 MGF 多个环节

常见问题

使用哪些条件?

资料列出文本、视觉和轨迹条件,并说明三者用于运动控制。

主要组件有哪些?

轨迹提取器、结合 3D 视频压缩网络的空间-时间扩散变换器,以及运动引导融合器。

最后评测: 2026-11-15

更多 AI 视频生成 工具

查看全部 →

评测方法