跳到正文

MMStar

评估视觉语言模型多模态能力的基准集

访问官网

MMStar 是什么

MMStar 被介绍为一个用于评估大型视觉语言模型多模态能力的基准测试集。

你可以用它做什么

  • 在多个任务上评估模型
  • 发现数据泄露问题
  • 为模型改进提供指导

基准设计

  • 对样本进行人工审查
  • 覆盖 6 个核心能力
  • 增加泄露与增益指标

优点与缺点

✓ 我们认可的地方

  • 资料说明提出两个新指标
  • 资料说明基准测试了 16 种模型

! 需要留意的地方

  • 资料说明样本需具备视觉依赖性
  • 泄露指标建立在样本设计之上

常见问题

有多少样本?

资料说明包含 1500 个精心挑选的样本。

除准确率外增加什么?

资料说明增加了数据泄露与多模态增益两个指标。

最后评测: 2026-11-15

更多 大模型 API 平台 工具

查看全部 →

评测方法