Nemotron-CC 是什么
Nemotron-CC 是把 Common Crawl 转化为长期预训练数据集的 6.3 万亿 token 集合。
你可以用它做什么
- 用原始与合成 token 进行预训练
- 选择所需的质量等级和分区
- 以 jsonl 或 parquet 格式下载
应用场景
- 用该数据集训练 8B 参数模型
- 用该数据集训练 15T tokens
- 研究人员按不同质量等级开展研究
优点与缺点
✓ 我们认可的地方
- 提供多个质量等级与分区
- 使用分类器集成与合成数据改写
! 需要留意的地方
- 数据集以英文 Common Crawl 为基础
- 只是减少对启发式过滤器的依赖
常见问题
规模有多大?
资料说明为 6.3 万亿 token。
提供哪些格式?
资料列出 jsonl 和 parquet 两种格式。
最后评测: 2026-11-15