跳到正文

TAG-Bench

面向数据库问答的基准测试

访问官网

TAG-Bench 是什么

TAG-Bench 被介绍为一个用于评估和研究自然语言处理模型回答数据库查询的基准。它建立在 BIRD Text2SQL 之上,并加入对世界知识或语义推理的要求。

你可以用它做什么

  • 用复杂数据库查询衡量模型
  • 优化查询处理系统
  • 在课堂中演示数据库问答

上手流程

  • 创建 conda 环境并安装依赖
  • 下载 BIRD 数据库并转换为 Pandas DataFrames
  • 为表创建索引并修改查询文件

优点与缺点

✓ 我们认可的地方

  • 支持用 Pandas DataFrames 模拟数据库环境
  • 资料说明提供详细的设置指南

! 需要留意的地方

  • 资料推荐用 GPU 创建表索引
  • 部分查询需要数据库之外的知识

常见问题

包含多少查询?

资料说明基于 BIRD Text2SQL 提供 80 个复杂查询。

支持哪些评估方法?

资料列出手写 TAG、Text2SQL、Text2SQL+LM、RAG 以及检索加 LM 排名。

最后评测: 2026-11-15

更多 大模型 API 平台 工具

查看全部 →

评测方法