跳到正文

Nemotron-CC

6.3 万亿 token 的长期预训练数据集

访问官网

Nemotron-CC 是什么

Nemotron-CC 是把 Common Crawl 转化为长期预训练数据集的 6.3 万亿 token 集合。

你可以用它做什么

  • 用原始与合成 token 进行预训练
  • 选择所需的质量等级和分区
  • 以 jsonl 或 parquet 格式下载

应用场景

  • 用该数据集训练 8B 参数模型
  • 用该数据集训练 15T tokens
  • 研究人员按不同质量等级开展研究

优点与缺点

✓ 我们认可的地方

  • 提供多个质量等级与分区
  • 使用分类器集成与合成数据改写

! 需要留意的地方

  • 数据集以英文 Common Crawl 为基础
  • 只是减少对启发式过滤器的依赖

常见问题

规模有多大?

资料说明为 6.3 万亿 token。

提供哪些格式?

资料列出 jsonl 和 parquet 两种格式。

最后评测: 2026-11-15

更多 AI 编程工具 工具

查看全部 →

评测方法