跳到正文

ReDrafter

在 NVIDIA GPU 上加速 LLM 推理的推测性解码

访问官网

ReDrafter 是什么

ReDrafter 被介绍为一种推测性解码方法,用 RNN 草稿模型配合动态树注意力机制,加速 NVIDIA GPU 上的 token 生成。

你可以用它做什么

  • 在支持的模型上运行推测性解码
  • 减少用户经历的延迟
  • 降低 GPU 使用与能源消耗
  • 搭配多种开源 LLM

上手流程

  • 安装并配置 NVIDIA TensorRT-LLM 环境
  • 从 GitHub 获取开源代码
  • 按文档把方法集成进框架
  • 选定开源 LLM 进行测试

优点与缺点

✓ 我们认可的地方

  • 资料称能显著减少用户经历的延迟
  • 支持多种开源 LLM

! 需要留意的地方

  • 需先安装并配置 TensorRT-LLM 环境
  • 集成步骤依赖 GitHub 上的项目文档

常见问题

由谁开发?

资料说明由 Apple 机器学习研究团队开发,并与 NVIDIA 合作。

资料给出哪些速度数字?

资料给出每生成步骤最多 3.5 个 token,以及每秒生成 token 数 2.7 倍提升。

最后评测: 2026-11-15

更多 AI 编程工具 工具

查看全部 →

评测方法