跳到正文

PARTNR

含 10 万个自然语言任务的多智能体基准

访问官网

PARTNR 是什么

PARTNR 被介绍为 Meta FAIR 发布的大规模基准测试,包含 100,000 个自然语言任务,用于多智能体推理和规划研究。

你可以用它做什么

  • 在任务集上测试多智能体系统
  • 用 LLMs 大规模生成任务
  • 与真实人类伙伴一起评估代理

应用场景

  • 研究人员测试复杂环境中的协调能力
  • 教育工作者讲解多智能体规划
  • 开发者优化与人类协作的代理

优点与缺点

✓ 我们认可的地方

  • 模拟循环用于减少任务错误
  • 资料给出人类解决 93% 任务、LLMs 解决 30%

! 需要留意的地方

  • 所述局限涉及任务协调与错误恢复
  • 资料强调空间、时间与异构智能体约束

常见问题

包含多少任务?

资料说明包含 100,000 个自然语言任务。

报告了什么差距?

资料说明人类能解决 93% 的任务,而 LLMs 仅能解决 30%。

最后评测: 2026-11-15

更多 大模型 API 平台 工具

查看全部 →

评测方法