跳到正文

DeepGEMM

专注高效 FP8 矩阵乘法的 CUDA 库

访问官网

deepgemm 是什么

该库是面向高效 FP8 矩阵乘法的 CUDA 项目,采用细粒度缩放和全 JIT 设计。

你可以用它做什么

  • 在训练过程中加速 FP8 矩阵乘法
  • 推理阶段用分组 GEMM 优化混合专家模型
  • 把优化技术集成到现有深度学习框架

如何开始使用

  • 克隆仓库并初始化子模块
  • 安装 Python、CUDA 与 PyTorch 依赖
  • 以开发模式安装并运行 JIT 测试

优点与缺点

✓ 我们认可的地方

  • 包含持久化线程专业化与 FFMA 指令优化
  • 核心代码精简,易于学习和使用

! 需要留意的地方

  • 需要 NVIDIA Hopper 架构的 Tensor Core
  • 依赖 Python 3.8+、CUDA 12.3+、PyTorch 2.1+

常见问题

核心代码多大?

资料说明约 300 行。

安装时要编译吗?

不需要,资料说明采用全 JIT 设计。

最后评测: 2026-11-15

更多 AI 编程工具 工具

查看全部 →

评测方法