分类 AI模型评测
MMStar 是什么
MMStar 被介绍为一个用于评估大型视觉语言模型多模态能力的基准测试集。
你可以用它做什么
- 在多个任务上评估模型
- 发现数据泄露问题
- 为模型改进提供指导
基准设计
- 对样本进行人工审查
- 覆盖 6 个核心能力
- 增加泄露与增益指标
优点与缺点
✓ 我们认可的地方
- 资料说明提出两个新指标
- 资料说明基准测试了 16 种模型
! 需要留意的地方
- 资料说明样本需具备视觉依赖性
- 泄露指标建立在样本设计之上
常见问题
有多少样本?
资料说明包含 1500 个精心挑选的样本。
除准确率外增加什么?
资料说明增加了数据泄露与多模态增益两个指标。
最后评测: 2026-11-15
更多 大模型 API 平台 工具
查看全部 →-
302.AI 把数百个大模型收在一个 API 后面的聚合云平台 开发者工具 API 集成 多模型平台 模型部署 大模型 API 平台 -
360智脑开放平台 360 大模型 API 平台 API 集成 多模型平台 知识库问答 企业自动化 大模型 API 平台 -
4o Image API 图像生成 API 网关 免费 工具 免费增值 工具 开发者工具 API 集成 大模型 API 平台 -
AI-Flow 无代码的多模型工作流 工作流自动化 开发者工具 API 集成 知识库问答 大模型 API 平台 -
AI/ML API 一个网关接入众多模型 开发者工具 API 集成 多模态 多模型平台 大模型 API 平台 -
Amazon Bedrock 带安全扫描的 AWS 代码建议 免费 工具 代码助手 集成开发环境 应用搭建器 大模型 API 平台