跳到正文

DeepEP

面向 MoE 与专家并行的通信库

访问官网

DeepEP 是什么

DeepEP 被介绍为一个面向混合专家模型的通信库,具备高吞吐与低延迟的 GPU 内核。

你可以用它做什么

  • 用高吞吐内核处理 dispatch 与 combine
  • 从 NVLink 域向 RDMA 域转发数据
  • 用纯 RDMA 低延迟内核进行解码

运行要求

  • 列出 Hopper 架构 GPU 与 RDMA 网络设备
  • 列出 Python 3.8 与 CUDA 12.3 以上版本
  • 安装前需先准备 NVSHMEM 依赖库

优点与缺点

✓ 我们认可的地方

  • 列出纯 RDMA 低延迟内核
  • 支持 SM 数量控制

! 需要留意的地方

  • 要求列出 Hopper GPU 与 RDMA 网络设备
  • 实现与 DeepSeek-V3 论文略有差异

常见问题

它面向什么?

资料描述的是混合专家模型与专家并行通信。

运行要求是什么?

步骤列出 Hopper GPU、RDMA 设备、Python 3.8、CUDA 12.3、PyTorch 2.1 与 NVSHMEM。

最后评测: 2026-11-15

更多 AI 编程工具 工具

查看全部 →

评测方法