跳到正文

OpenVLA

用一个开源视觉-语言-动作模型控制多台机器人

访问官网

OpenVLA 是什么

OpenVLA 被介绍为一个开源的视觉-语言-动作(VLA)模型,在 Open X-Embodiment 数据集的 970k 机器人剧集上预训练,检查点与 PyTorch 训练流程完全开源。

你可以用它做什么

  • 控制 Franka Panda 机器人完成桌面上的物体摆放
  • 部署在 WidowX 机器人上执行物体操作和环境交互
  • 在 Google 机器人上用自然语言指令操作物体
  • 无需额外训练即可开箱控制多个机器人平台

上手流程

  • 从 HuggingFace 下载 OpenVLA 模型的检查点
  • 设置 PyTorch 训练环境并装好所有依赖项
  • 按具体机器人平台和任务需求微调 OpenVLA
  • 利用 LoRA 或其他参数高效方法优化模型性能

模型说明

  • 预训练使用 Open X-Embodiment 数据集的 970k 机器人剧集
  • Prismatic-7B VLM 包含融合视觉编码器、投影器和 Llama 2 7B 语言模型
  • LoRA 微调时仅更新 1.4% 的参数
  • 资料列出视觉、运动、物理和语义方面的泛化任务

优点与缺点

✓ 我们认可的地方

  • 无需额外训练即可开箱控制多台机器人
  • 检查点与 PyTorch 训练流程完全开源
  • 通过参数高效微调适应新的机器人设置

! 需要留意的地方

  • 资料说明新机器人平台与任务需要微调
  • 上手需搭建装好依赖的 PyTorch 训练环境

常见问题

LoRA 微调多少参数?

资料说明仅微调 1.4% 的参数。

检查点从哪里来?

检查点可从 HuggingFace 下载,PyTorch 训练流程也完全开源。

最后评测: 2026-11-15

更多 AI 编程工具 工具

查看全部 →

评测方法