跳到正文

YaFSDP

为 transformer 结构优化的分布式数据并行框架

访问官网

YaFSDP 是什么

YaFSDP 被介绍为一个分布式数据并行框架,专为与 transformer 类神经网络结构良好协作而设计,用于减少通信和内存操作开销。资料称其在高内存压力条件下表现更佳。

你可以用它做什么

  • 高效预训练大型语言模型
  • 参照示例进行监督微调
  • 接收自定义事件通知

应用场景

  • 进行 7B 至 70B 参数规模的预训练
  • 在 64 至 256 个设备上训练
  • 用 2048 至 8192 个 token 序列训练

优点与缺点

✓ 我们认可的地方

  • 减少通信与内存操作的开销
  • 支持自定义事件通知

! 需要留意的地方

  • 设置需按示例文档配置 Docker 环境
  • 基于集成补丁库的 NVIDIA PyTorch 镜像构建

常见问题

预训练快多少?

资料说明预训练大型语言模型时比传统 FSDP 快 20%。

列出哪些序列长度?

资料列出 2048 至 8192 个 token 序列的模型训练。

最后评测: 2026-11-15

更多 AI 编程工具 工具

查看全部 →

评测方法