标签 AI 模型
TAG-Bench 是什么
TAG-Bench 被介绍为一个用于评估和研究自然语言处理模型回答数据库查询的基准。它建立在 BIRD Text2SQL 之上,并加入对世界知识或语义推理的要求。
你可以用它做什么
- 用复杂数据库查询衡量模型
- 优化查询处理系统
- 在课堂中演示数据库问答
上手流程
- 创建 conda 环境并安装依赖
- 下载 BIRD 数据库并转换为 Pandas DataFrames
- 为表创建索引并修改查询文件
优点与缺点
✓ 我们认可的地方
- 支持用 Pandas DataFrames 模拟数据库环境
- 资料说明提供详细的设置指南
! 需要留意的地方
- 资料推荐用 GPU 创建表索引
- 部分查询需要数据库之外的知识
常见问题
包含多少查询?
资料说明基于 BIRD Text2SQL 提供 80 个复杂查询。
支持哪些评估方法?
资料列出手写 TAG、Text2SQL、Text2SQL+LM、RAG 以及检索加 LM 排名。
最后评测: 2026-11-15
更多 大模型 API 平台 工具
查看全部 →-
302.AI 把数百个大模型收在一个 API 后面的聚合云平台 开发者工具 API 集成 多模型平台 模型部署 大模型 API 平台 -
360智脑开放平台 360 大模型 API 平台 API 集成 多模型平台 知识库问答 企业自动化 大模型 API 平台 -
4o Image API 图像生成 API 网关 免费 工具 免费增值 工具 开发者工具 API 集成 大模型 API 平台 -
AI-Flow 无代码的多模型工作流 工作流自动化 开发者工具 API 集成 知识库问答 大模型 API 平台 -
AI/ML API 一个网关接入众多模型 开发者工具 API 集成 多模态 多模型平台 大模型 API 平台 -
Amazon Bedrock 带安全扫描的 AWS 代码建议 免费 工具 代码助手 集成开发环境 应用搭建器 大模型 API 平台