跳到正文

FlashMLA

面向 Hopper GPU 优化的 MLA 解码内核

访问官网

flashmla 是什么

该内核被介绍为面向 Hopper GPU 的高效 MLA 解码内核,专为变长序列服务设计。

你可以用它做什么

  • 通过安装脚本完成安装
  • 运行资料提供的基准测试
  • 导入模块并获取调度元数据

需要留意什么

  • CUDA 12.3 及以上是资料给出的基线
  • PyTorch 2.0 及以上是资料给出的基线
  • 分页 KV 缓存的块大小为 64

优点与缺点

✓ 我们认可的地方

  • 直接利用 Hopper GPU 的硬件加速能力
  • 通过 PyTorch 2.0 集成便于接入现有项目

! 需要留意的地方

  • 需要 CUDA 12.3 及以上版本
  • 安装与基准测试由使用者自行运行

常见问题

需要哪个 CUDA 版本?

资料说明支持 CUDA 12.3 及以上版本。

给出了哪些性能数字?

资料给出 H800 SXM5 上 3000 GB/s 内存带宽与 580 TFLOPS 计算性能。

最后评测: 2026-11-15

更多 AI 编程工具 工具

查看全部 →

评测方法