deepgemm 是什么
该库是面向高效 FP8 矩阵乘法的 CUDA 项目,采用细粒度缩放和全 JIT 设计。
你可以用它做什么
- 在训练过程中加速 FP8 矩阵乘法
- 推理阶段用分组 GEMM 优化混合专家模型
- 把优化技术集成到现有深度学习框架
如何开始使用
- 克隆仓库并初始化子模块
- 安装 Python、CUDA 与 PyTorch 依赖
- 以开发模式安装并运行 JIT 测试
优点与缺点
✓ 我们认可的地方
- 包含持久化线程专业化与 FFMA 指令优化
- 核心代码精简,易于学习和使用
! 需要留意的地方
- 需要 NVIDIA Hopper 架构的 Tensor Core
- 依赖 Python 3.8+、CUDA 12.3+、PyTorch 2.1+
常见问题
核心代码多大?
资料说明约 300 行。
安装时要编译吗?
不需要,资料说明采用全 JIT 设计。
最后评测: 2026-11-15