跳到正文

Magma

融合视觉、语言与动作的多模态基础模型

访问官网

magma 是什么

Magma 被介绍为微软研究团队的多模态基础模型,把视觉、语言和动作结合用于规划。它经大规模视觉语言数据预训练。

你可以用它做什么

  • 按指令完成网页或移动应用操作
  • 从视觉输入规划机器人抓取与放置
  • 理解视频内容并回答相关问题

主要特点

  • SoM と ToM 技術
  • 对未见任务的零样本适应
  • 图像、视频与语言的多模态输入

开始使用

  • 从官网或 GitHub 仓库获取模型与代码
  • 按任务选择合适的预训练模型版本
  • 需要时用少量标注数据微调
  • 把图像、视频或文本指令传给模型

优点与缺点

✓ 我们认可的地方

  • 具备空间智能与动作规划
  • 支持视频问答与空间推理

! 需要留意的地方

  • 特定任务可用少量标注数据微调
  • 需按任务选择预训练模型版本

常见问题

由谁推出?

资料写明是微软研究团队。

列出哪些任务?

UI 导航、机器人操作和视频问答。

最后评测: 2026-11-15

更多 大模型 API 平台 工具

查看全部 →

评测方法