Turtle Benchmark 是什么
Turtle Benchmark 被介绍为基于「Turtle Soup」游戏的基准测试,通过消除背景知识需求,评估大型语言模型的逻辑推理与上下文理解,并给出可量化结果。
你可以用它做什么
- 比较模型在特定推理任务上的表现
- 测试模型能否准确回答用户问题
- 用作讲解模型评估的教学工具
如何开始使用
- 进入项目目录
- 把 .env.example 重命名为 .env 并加入密钥
- 执行 python evaluate.py 做 2-shot 评估
优点与缺点
✓ 我们认可的地方
- 通过简单命令行即可评估
- 资料称结果客观且无偏见
! 需要留意的地方
- 需在 .env 文件中加入 API 密钥
- 默认执行 2-shot 评估命令
常见问题
它衡量什么?
资料列出大型语言模型的逻辑推理与上下文理解能力。
包含多少数据?
资料说明有 32 个独特故事与 1537 个人工标注标签。
最后评测: 2026-11-15