跳到正文

promptbench

统一的大语言模型评估 Python 包

访问官网
分类 AI模型

promptbench 是什么

这是一个基于 Pytorch 的 Python 包,用友好的 API 评估大型语言模型。它被定位为语言模型评估的统一开源库。

主要功能

  • 模型性能的快速评估
  • 提示工程与动态评估
  • 用 DyVal 生成评估样本

优点与缺点

✓ 我们认可的地方

  • 已有数据集和模型可快速上手评估
  • 可以自行定制数据集和模型

! 需要留意的地方

  • 使用方式建立在 Pytorch 的 Python 包之上
  • 自定义数据集需要使用者自行定义

常见问题

它基于什么构建?

一个基于 Pytorch 的 Python 包。

能用自己的数据吗?

卡片说明可以轻松定制自己的数据集和模型。

最后评测: 2026-11-15

更多 大模型 API 平台 工具

查看全部 →

评测方法