跳到正文

TOFU

面向机器遗忘评测的基准数据集

访问官网
分类 AI模型

TOFU 是什么

TOFU 被介绍为虚构遗忘任务的基准数据集,用不存在的作者生成的问答对,评估大型语言模型对微调信息的遗忘表现。

你可以用它做什么

  • 在不同遗忘集比例上执行遗忘
  • 评估微调之后的遗忘性能
  • 比较不同模型移除信息的差异

模型说明

  • 数据集使用 200 位虚构作者
  • 问答格式适配聊天模型
  • 代码库以 Llama2 聊天和 Phi-1.5 为对象

优点与缺点

✓ 我们认可的地方

  • 资料列出适用于 Llama2、Mistral、Qwen
  • 代码库可适配其他模型

! 需要留意的地方

  • 数据集中的作者为虚构生成
  • 代码库首先针对 Llama2 聊天和 Phi-1.5

常见问题

数据集里有什么?

资料说明是由 200 位不存在的作者虚构生成的问答对。

点名哪些模型?

资料点名 Llama2、Mistral、Qwen 和 Phi-1.5。

最后评测: 2026-11-15

更多 大模型 API 平台 工具

查看全部 →

评测方法