跳到正文

Promptfoo

用测试用例库评估与比较 LLM 提示词

访问官网

Promptfoo 是什么

Promptfoo 被介绍为一个用于评估 LLM prompt 质量和进行测试的库,可帮助创建测试用例、设置评估指标,并与现有的测试和 CI 流程集成。它还提供 Web Viewer,用于比较不同的 prompt 和模型输出。

你可以用它做什么

  • 创建测试用例列表
  • 使用内置的评估指标或自定义指标
  • 比较不同的 prompt 和模型输出
  • 与现有的测试和 CI 流程集成

示例用途

  • 评估 LLM 生成的文本是否准确
  • 测试不同 prompt 对模型输出的影响
  • 比较不同模型在相同 prompt 下的表现

优点与缺点

✓ 我们认可的地方

  • 可与现有测试和 CI 流程集成
  • 评估指标既可内置也可自定义

! 需要留意的地方

  • 评估从自行定义的测试用例与指标开始
  • 比较对象是 prompt 与模型输出

常见问题

它评估什么?

资料说明用于评估 LLM prompt 质量,并对 prompt 与模型输出进行测试。

能接入现有流程吗?

资料说明可与现有的测试和 CI 流程集成。

最后评测: 2026-11-15

更多 AI 编程工具 工具

查看全部 →

评测方法