跳到正文

multi-token prediction

单次前向传播预测多个未来令牌

访问官网
分类 AI模型

multi-token-prediction 是什么

该模型被介绍为 Facebook 的研究技术,在单次前向传播中生成多个令牌以加快生成速度。

你可以用它做什么

  • 用于非商业研究的训练与推理
  • 用随附的 Tokenizer 编码输入数据

上手流程

  • 安装 torch、fairscale、fire 和 sentencepiece
  • 解压如 7B_200B_4 的检查点并加载模型

优点与缺点

✓ 我们认可的地方

  • 额外预测头可跳过标准自回归推理
  • 提供 Tokenizer 处理模型输入

! 需要留意的地方

  • 资料说明仅限非商业研究用途
  • 本地使用需安装 torch、fairscale、fire 和 sentencepiece

常见问题

一次预测多少令牌?

资料说明在单次前向传播中生成多个未来令牌。

采用什么许可?

资料说明非商业研究免费,并遵循 LLaMA Acceptable Use Policy。

最后评测: 2026-11-15

更多 大模型 API 平台 工具

查看全部 →

评测方法