跳到正文

Turtle Benchmark

基于海龟汤的防作弊大模型基准测试

访问官网

Turtle Benchmark 是什么

Turtle Benchmark 被介绍为基于「Turtle Soup」游戏的基准测试,通过消除背景知识需求,评估大型语言模型的逻辑推理与上下文理解,并给出可量化结果。

你可以用它做什么

  • 比较模型在特定推理任务上的表现
  • 测试模型能否准确回答用户问题
  • 用作讲解模型评估的教学工具

如何开始使用

  • 进入项目目录
  • 把 .env.example 重命名为 .env 并加入密钥
  • 执行 python evaluate.py 做 2-shot 评估

优点与缺点

✓ 我们认可的地方

  • 通过简单命令行即可评估
  • 资料称结果客观且无偏见

! 需要留意的地方

  • 需在 .env 文件中加入 API 密钥
  • 默认执行 2-shot 评估命令

常见问题

它衡量什么?

资料列出大型语言模型的逻辑推理与上下文理解能力。

包含多少数据?

资料说明有 32 个独特故事与 1537 个人工标注标签。

最后评测: 2026-11-15

更多 AI 编程工具 工具

查看全部 →

评测方法