跳到正文

W.A.L.T

由文本、图像或关键帧生成实景视频

访问官网

W.A.L.T 是什么

W.A.L.T 被介绍为一个基于 transformer 的实景视频生成方法,通过把图像和视频联合压缩到统一的潜在空间,实现跨模态的训练与生成。补充信息也将其描述为基于变分扩散模型的实景视频生成方法。

你可以用它做什么

  • 生成实景视频
  • 生成图像
  • 由文本描述生成视频
  • 在图像与视频两种模态间训练与生成

方法说明

  • 采用基于 transformer 的架构
  • 图像和视频被压缩进同一个潜在空间
  • 窗注意力机制提高内存和训练效率
  • 资料提到在多个视频与图像生成基准测试上做比较

应用场景

  • 生成高保真视频
  • 生成动画
  • 生成视频预览

优点与缺点

✓ 我们认可的地方

  • 图像与视频共用一个潜在空间
  • 用窗注意力机制提升内存和训练效率

! 需要留意的地方

  • 方法建立在 transformer 与压缩后的统一潜在空间之上
  • 列出的输入是文本描述、图像或几帧关键帧

常见问题

核心技术是什么?

资料提到基于 transformer 的方法、统一的潜在空间和窗注意力机制。

资料列了哪些输入?

示例列出文本描述、图像,以及视频的几帧关键帧。

最后评测: 2026-11-15

更多 AI 视频生成 工具

查看全部 →

评测方法