跳到正文

INTELLECT-1-Instruct

从零开始、跨分布式节点训练的语言模型

访问官网

INTELLECT-1-Instruct 是什么

该模型被介绍为由 Prime Intellect 从零训练的语言模型,以英文文本与代码为训练数据,分布式训练是其核心能力。

你可以用它做什么

  • 依据提示生成较长的文章
  • 补全开发中的代码片段
  • 把文本编码为模型可用的输入 ID

训练配置

  • DiLoCo 与 int8 all-reduce 内核降低通信开销
  • ElasticDeviceMesh 管理动态全局进程组
  • 资料列出 fineweb-edu、fineweb 与 Stack V1

优点与缺点

✓ 我们认可的地方

  • 训练覆盖 3 个大洲的 14 个并发节点
  • 数据集包含 fineweb-edu、fineweb 与 Stack V1

! 需要留意的地方

  • 步骤中列出 torch 与 transformers 库
  • 示例中把默认设备设为 cuda

常见问题

训练数据是什么?

资料说明从零开始在 1 万亿个英文文本和代码 token 上训练。

训练如何分布?

资料提到 30 个社区贡献者,以及 3 个大洲上的 14 个并发节点。

最后评测: 2026-11-15

更多 AI 编程工具 工具

查看全部 →

评测方法