跳到正文

OLMo 2

Ai2 推出的 7B 与 13B 全开放语言模型

访问官网

OLMo 2 是什么

OLMo 2 被介绍为 Ai2 推出的全开放语言模型系列,包含 7B 和 13B 两种规模,训练数据高达 5T tokens。

你可以用它做什么

  • 从 Hugging Face 页面下载所需的模型权重
  • 使用 OLMo 2-Instruct 变体开发智能助手
  • 用 OLMES 评估框架确定模型的强项和弱点

模型说明

  • 阶段性训练通过学习率退火和数据课程干预弥补能力缺陷
  • 架构改进包含 RMSNorm、QK-Norm 和旋转位置嵌入
  • 两阶段预训练使用 OLMo-Mix-1124 与 Dolmino-Mix-1124 数据集

优点与缺点

✓ 我们认可的地方

  • 模型权重与训练数据被描述为全开放
  • RMSNorm、QK-Norm 等架构改进用于提升训练稳定性

! 需要留意的地方

  • 资料以英语学术基准测试中的开放权重模型作对照
  • 大规模训练需要足够的计算资源

常见问题

提供哪些规模?

资料列出 7B 和 13B 两种模型规模。

OLMES 用来做什么?

资料说明该框架用于明确性能目标和任务扩展规律。

最后评测: 2026-11-15

更多 AI 编程工具 工具

查看全部 →

评测方法