跳到正文

Deepmark AI

用自己的数据为 LLM 做基准评测

访问官网

Deepmark AI 是什么

Deepmark AI 被介绍为一款基准工具,可在自己的数据上按任务特定指标评估大型语言模型。

你可以用它做什么

  • 在自定义数据集上评估模型
  • 测试准确性与可靠性
  • 分析成本、延迟与失败率

预集成的 API

  • 列出 GPT-4 与 GPT-3.5 Turbo
  • 列出 Anthropic、Cohere 与 AI21
  • 包含相关性与失败率指标

优点与缺点

✓ 我们认可的地方

  • 支持自定义数据集
  • 多个模型 API 已预集成

! 需要留意的地方

  • 资料说明指标为任务特定
  • 评测在使用者自己的数据上进行

常见问题

列出哪些 API?

资料列出 GPT-4、Anthropic、GPT-3.5 Turbo、Cohere 和 AI21。

列出哪些指标?

可靠性、准确性、成本、相关性、延迟与失败率。

最后评测: 2026-11-15

更多 AI 编程工具 工具

查看全部 →

评测方法