跳到正文

Story-to-Motion

把长文本故事转成可控角色动画

访问官网

Story-to-Motion 是什么

Story-to-Motion 被介绍为一个全新的任务,接受一个故事并生成与文本描述相符的动作和轨迹,利用现代大型语言模型作为文本驱动的运动调度器。

你可以用它做什么

  • 从长文本中合成无限可控的角色动画
  • 用大型语言模型从长文本提取一系列(文本、位置)对
  • 结合经典运动匹配、运动语义与轨迹约束做文本驱动的运动检索
  • 用渐进式掩蔽变换器解决不自然姿势与滑步

应用场景

  • 游戏开发中根据游戏剧情文本生成角色动画
  • 影视制作中根据剧本自动生成角色动作
  • 动画设计师从文本中合成角色动画

模型说明

  • 大型语言模型充当文本驱动的运动调度器
  • 过渡动作的常见问题包括不自然姿势和滑步
  • 资料列出轨迹跟随、时间动作组合、动作混合三个子任务
  • 原文称其在评估中胜过以往的动作合成方法

优点与缺点

✓ 我们认可的地方

  • 故事文本同时驱动动作与轨迹
  • 运动检索结合经典匹配、语义与轨迹约束

! 需要留意的地方

  • 运动调度依赖大型语言模型处理长文本
  • 过渡动作问题由专门的掩蔽变换器处理

常见问题

输入是什么?

资料说明它接受一个故事,并生成与文本描述相符的动作和轨迹。

评估了哪些子任务?

资料列出轨迹跟随、时间动作组合和动作混合三个子任务。

最后评测: 2026-11-15

更多 AI 视频生成 工具

查看全部 →

评测方法