跳到正文

Data-Juicer

一站式多模态数据处理系统

访问官网

Data-Juicer 是什么

Data-Juicer 是一站式多模态数据处理系统,旨在为大语言模型提供更好的数据。它提供可复用处理库、沙盒实验室与多维度自动评估。

你可以用它做什么

  • 组合操作符形成处理流程
  • 借助数据与模型反馈迭代
  • 用配方支持预训练与微调

开始使用

  • 通过源码或 pip 安装
  • 准备符合格式的数据集
  • 配置操作符并运行处理

优点与缺点

✓ 我们认可的地方

  • 操作符可灵活组合并自定义
  • 沙盒实验室支持快速迭代

! 需要留意的地方

  • 数据集需符合支持的格式
  • 处理前需配置操作符流程

常见问题

如何安装?

资料列出源码安装和 pip 安装。

用什么运行处理?

process_data.py 或 dj-process 命令行工具。

最后评测: 2026-11-15

更多 AI 编程工具 工具

查看全部 →

评测方法