跳到正文

DCLM-7B

以系统化数据整理为基础的语言模型

访问官网
分类 AI模型

DCLM-7B 是什么

DCLM-7B 是 DCLM 团队开发的 Decoder-only Transformer 语言模型,主要以英语训练并采用系统化数据整理技术,训练使用 PyTorch、OpenLM 与 AdamW。

你可以用它做什么

  • 用 Transformer 结构处理解码任务
  • 处理英语语言任务
  • 借鉴 StarCoder 与 ProofPile2 数据

示例用途

  • 评估零样本与少样本表现
  • 接入问答类应用
  • 向学生演示语言模型原理

优点与缺点

✓ 我们认可的地方

  • 提供详细的训练细节和评估结果
  • 列出 MMLU、HellaSwag、Jeopardy 等评估任务

! 需要留意的地方

  • 模型主要面向英语语言处理
  • 资料所述训练环境基于 PyTorch 与 OpenLM

常见问题

由谁开发?

资料说明由 DataComp for Language Models 团队开发。

使用什么优化器?

资料说明使用 AdamW 优化器,峰值学习率为 2e-3。

最后评测: 2026-11-15

更多 大模型 API 平台 工具

查看全部 →

评测方法