跳到正文

EasyContext

用普通硬件训练超长上下文模型

访问官网
分类 AI模型

EasyContext 是什么

EasyContext 被介绍为一个开源项目,通过组合现有技术手段,在普通硬件上训练上下文很长的语言模型。

你可以用它做什么

  • 组合序列并行与 zero3 离载
  • 使用 Flash 注意力和激活 checkpoint
  • 达到 700K 与 1M 词元的上下文长度

模型说明

  • Llama-2-7B 在 8 块 A100 上实现 700K 词元
  • Llama-2-13B 在 16 块 A100 上实现 1M 词元
  • 资料提到为视频生成等应用奠定基础

优点与缺点

✓ 我们认可的地方

  • 只组合现有技术手段
  • 上下文长度展示到 700K 与 1M 词元

! 需要留意的地方

  • 结果依赖资料列出的 GPU 配置
  • 项目说明自身不提出新创新点

常见问题

组合了哪些技术?

资料列出序列并行、zero3 离载、Flash 注意力与激活 checkpoint。

达到了多长?

资料记录 8 块 A100 上 700K 词元、16 块 A100 上 1M 词元。

最后评测: 2026-11-15

更多 大模型 API 平台 工具

查看全部 →

评测方法