FlashAttention 是什么
该库是采用 IO 感知设计、面向 Transformer 模型的开源注意力机制库。
你可以用它做什么
- 以更少内存运行精确注意力
- 使用因果或非因果注意力
- 应用滑动窗口局部注意力
优点与缺点
✓ 我们认可的地方
- 支持因果与非因果注意力
- 包含滑动窗口局部注意力
! 需要留意的地方
- 要求 CUDA 11.6 与 PyTorch 1.12 以上
- 安装需执行安装脚本
常见问题
列出哪些 GPU?
Ampere、Ada 与 Hopper 架构。
支持哪些数据类型?
FP16 与 BF16。
最后评测: 2026-11-15