跳到正文

Crawl4LLM

为 LLM 预训练爬取高质量网页数据

访问官网

Crawl4LLM 是什么

Crawl4LLM 被介绍为一个用 Python 开发的开源网络爬虫项目,为大型语言模型的预训练智能选择并爬取网页数据。

你可以用它做什么

  • 按长度或 fastText 分类器为文档评分
  • 通过配置调整爬取策略
  • 保存日志与状态以便监控和恢复

应用场景

  • 研究人员从 ClueWeb22 爬取高质量文档
  • 开发者为特定项目设定爬取策略
  • 团队结合 DCLM 框架进行评估与优化

优点与缺点

✓ 我们认可的地方

  • 支持多线程与大规模数据处理
  • 提供日志与状态保存便于恢复

! 需要留意的地方

  • 策略需要通过配置文件设定
  • 评分依赖资料列出的方法如 fastText

常见问题

用什么语言开发?

资料说明项目基于 Python 开发。

资料提到哪个数据集?

资料列出 ClueWeb22 等大规模数据集。

最后评测: 2026-11-15

更多 AI 编程工具 工具

查看全部 →

评测方法