跳到正文

FlashAttention

更低内存占用的精确注意力

访问官网

FlashAttention 是什么

该库是采用 IO 感知设计、面向 Transformer 模型的开源注意力机制库。

你可以用它做什么

  • 以更少内存运行精确注意力
  • 使用因果或非因果注意力
  • 应用滑动窗口局部注意力

优点与缺点

✓ 我们认可的地方

  • 支持因果与非因果注意力
  • 包含滑动窗口局部注意力

! 需要留意的地方

  • 要求 CUDA 11.6 与 PyTorch 1.12 以上
  • 安装需执行安装脚本

常见问题

列出哪些 GPU?

Ampere、Ada 与 Hopper 架构。

支持哪些数据类型?

FP16 与 BF16。

最后评测: 2026-11-15

更多 AI 编程工具 工具

查看全部 →

评测方法