Video Language Planning 是什么
Video Language Planning 被介绍为一种通过训练视觉语言模型与文本到视频模型,实现复杂长期任务视觉规划的算法。
你可以用它做什么
- 训练视觉语言模型与文本到视频模型
- 生成详细的多模态规划
- 合成长期视频规划
- 把规划转化为真实机器人动作
使用示例
- 将物体堆叠在桌子中央
- 将水果放入顶层抽屉
- 将积木按颜色分组
优点与缺点
✓ 我们认可的地方
- 生成的视频规划可转化为真实机器人动作
- 规划覆盖从多物体重排到双臂灵巧操作
! 需要留意的地方
- 输入需要长期任务指令与当前图像观察
- 把规划转为动作需要目标条件策略
常见问题
输入是什么?
资料点名长期任务指令和当前图像观察。
输出是什么?
简介说明是由视频与语言组成的详细多模态规划。
最后评测: 2026-11-15