contrastors 是什么
contrastors 被介绍为一个对比学习工具包,供研究人员和工程师高效地训练与评估对比模型。
你可以用它做什么
- 跨多块 GPU 训练模型
- 借助 GradCache 支持运行大批量训练
- 进行遮蔽语言建模预训练
- 通过 Huggingface 加载常见模型
使用示例
- 在 8 块 GPU 上从零启动 BERT 训练
- 对 nomic-bert-embed-v1-unsupervised 模型做微调
- 用附带脚本准备个人数据集
优点与缺点
✓ 我们认可的地方
- 支持遮蔽语言建模预训练
- 支持 Matryoshka 表示学习
! 需要留意的地方
- 训练在 Pytorch 框架下进行
- 大批量训练依赖 GradCache
常见问题
它建立在什么之上?
资料说明它建立在 Flash Attention 之上,并支持多 GPU 训练。
支持哪些预训练?
功能列表列出遮蔽语言模型预训练与 Matryoshka 表示学习。
最后评测: 2026-11-15