Promptfoo 是什么
Promptfoo 被介绍为一个用于评估 LLM prompt 质量和进行测试的库,可帮助创建测试用例、设置评估指标,并与现有的测试和 CI 流程集成。它还提供 Web Viewer,用于比较不同的 prompt 和模型输出。
你可以用它做什么
- 创建测试用例列表
- 使用内置的评估指标或自定义指标
- 比较不同的 prompt 和模型输出
- 与现有的测试和 CI 流程集成
示例用途
- 评估 LLM 生成的文本是否准确
- 测试不同 prompt 对模型输出的影响
- 比较不同模型在相同 prompt 下的表现
优点与缺点
✓ 我们认可的地方
- 可与现有测试和 CI 流程集成
- 评估指标既可内置也可自定义
! 需要留意的地方
- 评估从自行定义的测试用例与指标开始
- 比较对象是 prompt 与模型输出
常见问题
它评估什么?
资料说明用于评估 LLM prompt 质量,并对 prompt 与模型输出进行测试。
能接入现有流程吗?
资料说明可与现有的测试和 CI 流程集成。
最后评测: 2026-11-15