Deepmark AI 是什么
Deepmark AI 被介绍为一款基准工具,可在自己的数据上按任务特定指标评估大型语言模型。
你可以用它做什么
- 在自定义数据集上评估模型
- 测试准确性与可靠性
- 分析成本、延迟与失败率
预集成的 API
- 列出 GPT-4 与 GPT-3.5 Turbo
- 列出 Anthropic、Cohere 与 AI21
- 包含相关性与失败率指标
优点与缺点
✓ 我们认可的地方
- 支持自定义数据集
- 多个模型 API 已预集成
! 需要留意的地方
- 资料说明指标为任务特定
- 评测在使用者自己的数据上进行
常见问题
列出哪些 API?
资料列出 GPT-4、Anthropic、GPT-3.5 Turbo、Cohere 和 AI21。
列出哪些指标?
可靠性、准确性、成本、相关性、延迟与失败率。
最后评测: 2026-11-15