标签 AI 编程
Data-Juicer 是什么
Data-Juicer 是一站式多模态数据处理系统,旨在为大语言模型提供更好的数据。它提供可复用处理库、沙盒实验室与多维度自动评估。
你可以用它做什么
- 组合操作符形成处理流程
- 借助数据与模型反馈迭代
- 用配方支持预训练与微调
开始使用
- 通过源码或 pip 安装
- 准备符合格式的数据集
- 配置操作符并运行处理
优点与缺点
✓ 我们认可的地方
- 操作符可灵活组合并自定义
- 沙盒实验室支持快速迭代
! 需要留意的地方
- 数据集需符合支持的格式
- 处理前需配置操作符流程
常见问题
如何安装?
资料列出源码安装和 pip 安装。
用什么运行处理?
process_data.py 或 dj-process 命令行工具。
最后评测: 2026-11-15