跳到正文

Octopus

把视觉与文本目标转成代理可执行代码

访问官网

Octopus 是什么

Octopus 被介绍为一款基于环境反馈的视觉语言编程工具,可解析代理的视觉与文本目标,把它们转成动作序列和可执行代码。

你可以用它做什么

  • 解析代理的视觉和文本任务目标
  • 制定复杂的动作序列
  • 生成可执行代码

应用场景

  • 在模拟器中完成日常家务任务
  • 在复杂视频游戏中完成任务
  • 从任务目标得到可执行代码

优点与缺点

✓ 我们认可的地方

  • 资料描述带环境反馈的 RLEF 训练
  • 模型架构、模拟器与数据集开源

! 需要留意的地方

  • 所述场景是 OctoVerse 实验环境
  • 训练数据依赖 GPT-4 驱动的探索代理

常见问题

生成什么?

资料说明产出动作蓝图与相应可执行代码。

训练数据怎么做?

资料说明由 GPT-4 控制探索代理生成训练数据。

最后评测: 2026-11-15

更多 AI 编程工具 工具

查看全部 →

评测方法