OLMo 2 是什么
OLMo 2 被介绍为 Ai2 推出的全开放语言模型系列,包含 7B 和 13B 两种规模,训练数据高达 5T tokens。
你可以用它做什么
- 从 Hugging Face 页面下载所需的模型权重
- 使用 OLMo 2-Instruct 变体开发智能助手
- 用 OLMES 评估框架确定模型的强项和弱点
模型说明
- 阶段性训练通过学习率退火和数据课程干预弥补能力缺陷
- 架构改进包含 RMSNorm、QK-Norm 和旋转位置嵌入
- 两阶段预训练使用 OLMo-Mix-1124 与 Dolmino-Mix-1124 数据集
优点与缺点
✓ 我们认可的地方
- 模型权重与训练数据被描述为全开放
- RMSNorm、QK-Norm 等架构改进用于提升训练稳定性
! 需要留意的地方
- 资料以英语学术基准测试中的开放权重模型作对照
- 大规模训练需要足够的计算资源
常见问题
提供哪些规模?
资料列出 7B 和 13B 两种模型规模。
OLMES 用来做什么?
资料说明该框架用于明确性能目标和任务扩展规律。
最后评测: 2026-11-15