跳到正文

UniAnimate

面向人物图像动画的统一视频扩散框架

访问官网

UniAnimate 是什么

UniAnimate 被介绍为用于人物图像动画的统一视频扩散模型框架,把参考图像、姿势指导和噪声视频映射到共同的特征空间,以降低优化难度并保证时间上的连贯性。该框架能处理长序列,通过迭代复用首帧条件策略生成高度一致的一分钟视频。

模型说明

  • 使用 CLIP 编码器和 VAE 编码器提取参考图像的潜在特征
  • 把参考姿势的表示纳入最终参考指导,以学习参考图像中的人体结构
  • 用姿势编码器编码目标驱动的姿势序列,并沿通道维度与噪声输入连接
  • 用 VAE 解码器把生成的潜在视频映射到像素空间

应用场景

  • 电影制作中生成高质量的人物动画
  • 游戏开发中生成连贯的人物动作序列
  • 虚拟现实体验中创建逼真的人物动态效果

上手流程

  • 准备一张参考图像和一系列目标姿势序列
  • 借助 CLIP 与 VAE 编码器取得参考图像的潜在特征
  • 把参考姿势的表示与潜在特征结合,形成参考指导
  • 通过姿势编码器对目标姿势序列编码,并与噪声视频结合

优点与缺点

✓ 我们认可的地方

  • 用 CLIP 与 VAE 编码器提取参考图像的潜在特征
  • 由 VAE 解码器把潜在视频映射到像素空间

! 需要留意的地方

  • 运行前需准备参考图像与目标姿势序列
  • 时间 Transformer 被描述为计算密集型

常见问题

它如何保证长视频的连贯性?

资料说明框架把参考图像、姿势指导和噪声视频映射到共同特征空间,以确保时间上的连贯性。

时间模块有哪些选择?

统一视频扩散模型中的时间模块可以是时间 Transformer 或时间 Mamba。

最后评测: 2026-11-15

更多 AI 视频生成 工具

查看全部 →

评测方法