跳到正文

Zero Bubble Pipeline Parallelism

实现零管道泡沫的调度策略

访问官网

Zero Bubble Pipeline Parallelism 是什么

Zero Bubble Pipeline Parallelism 被介绍为一种在同步训练语义下为大规模分布式训练实现零管道泡沫的调度策略。

你可以用它做什么

  • 在同步训练中实现零管道泡沫
  • 使用手工设计的新颖管道调度
  • 按模型配置与内存限制自动寻找调度

模型说明

  • 反向计算拆为输入梯度与参数梯度两部分
  • 引入在优化器步骤期间绕过同步的技术
  • 资料称相近内存限制下吞吐量比 1F1B 最多高 23%

优点与缺点

✓ 我们认可的地方

  • 引入在优化器步骤期间绕过同步的技术
  • 算法会考虑具体的模型配置与内存限制

! 需要留意的地方

  • 反向计算被拆为输入梯度与参数梯度两部分
  • 所报告的吞吐量数字与资料所述内存约束相关

常见问题

关键思路是什么?

资料说明把反向计算分为两部分,一部分算输入梯度,一部分算参数梯度。

报告的吞吐量是多少?

资料称相近内存限制下比 1F1B 最多高 23%,放宽约束后最多 31%。

最后评测: 2026-11-15

更多 大模型 API 平台 工具

查看全部 →

评测方法