跳到正文

contrastors

高效训练与评估对比模型的工具包

访问官网

contrastors 是什么

contrastors 被介绍为一个对比学习工具包,供研究人员和工程师高效地训练与评估对比模型。

你可以用它做什么

  • 跨多块 GPU 训练模型
  • 借助 GradCache 支持运行大批量训练
  • 进行遮蔽语言建模预训练
  • 通过 Huggingface 加载常见模型

使用示例

  • 在 8 块 GPU 上从零启动 BERT 训练
  • 对 nomic-bert-embed-v1-unsupervised 模型做微调
  • 用附带脚本准备个人数据集

优点与缺点

✓ 我们认可的地方

  • 支持遮蔽语言建模预训练
  • 支持 Matryoshka 表示学习

! 需要留意的地方

  • 训练在 Pytorch 框架下进行
  • 大批量训练依赖 GradCache

常见问题

它建立在什么之上?

资料说明它建立在 Flash Attention 之上,并支持多 GPU 训练。

支持哪些预训练?

功能列表列出遮蔽语言模型预训练与 Matryoshka 表示学习。

最后评测: 2026-11-15

更多 AI 编程工具 工具

查看全部 →

评测方法