跳到正文

Expert Specialized Fine-Tuning

只微调 MoE 模型中与任务相关的专家

访问官网
分类 AI模型

Expert Specialized Fine-Tuning 是什么

ESFT 是针对专家混合架构大型语言模型的高效定制化微调方法,只调整与任务相关的部分以减少资源和存储使用。

你可以用它做什么

  • 安装依赖并下载所需的适配器
  • 用评估脚本查看模型在数据集上的表现
  • 生成配置,只训练与任务相关的专家

优点与缺点

✓ 我们认可的地方

  • 仅训练与任务相关的专家部分
  • generate_expert_config.py 生成配置以转换模型

! 需要留意的地方

  • 使用前需下载必要的适配器
  • 流程绑定在 MoE 架构上

常见问题

这个方法改动什么?

资料说明只调整 MoE 模型中与任务相关的部分以提高效率。

如何开始?

克隆项目到本地,进入 esft 目录安装依赖,再下载适配器。

最后评测: 2026-11-15

更多 大模型 API 平台 工具

查看全部 →

评测方法