跳到正文

Video Language Planning

面向复杂长期任务的视觉规划

访问官网

Video Language Planning 是什么

Video Language Planning 被介绍为一种通过训练视觉语言模型与文本到视频模型,实现复杂长期任务视觉规划的算法。

你可以用它做什么

  • 训练视觉语言模型与文本到视频模型
  • 生成详细的多模态规划
  • 合成长期视频规划
  • 把规划转化为真实机器人动作

使用示例

  • 将物体堆叠在桌子中央
  • 将水果放入顶层抽屉
  • 将积木按颜色分组

优点与缺点

✓ 我们认可的地方

  • 生成的视频规划可转化为真实机器人动作
  • 规划覆盖从多物体重排到双臂灵巧操作

! 需要留意的地方

  • 输入需要长期任务指令与当前图像观察
  • 把规划转为动作需要目标条件策略

常见问题

输入是什么?

资料点名长期任务指令和当前图像观察。

输出是什么?

简介说明是由视频与语言组成的详细多模态规划。

最后评测: 2026-11-15

更多 AI 编程工具 工具

查看全部 →

评测方法