flashmla 是什么
该内核被介绍为面向 Hopper GPU 的高效 MLA 解码内核,专为变长序列服务设计。
你可以用它做什么
- 通过安装脚本完成安装
- 运行资料提供的基准测试
- 导入模块并获取调度元数据
需要留意什么
- CUDA 12.3 及以上是资料给出的基线
- PyTorch 2.0 及以上是资料给出的基线
- 分页 KV 缓存的块大小为 64
优点与缺点
✓ 我们认可的地方
- 直接利用 Hopper GPU 的硬件加速能力
- 通过 PyTorch 2.0 集成便于接入现有项目
! 需要留意的地方
- 需要 CUDA 12.3 及以上版本
- 安装与基准测试由使用者自行运行
常见问题
需要哪个 CUDA 版本?
资料说明支持 CUDA 12.3 及以上版本。
给出了哪些性能数字?
资料给出 H800 SXM5 上 3000 GB/s 内存带宽与 580 TFLOPS 计算性能。
最后评测: 2026-11-15