跳到正文

Skywork-MoE

146 亿参数的混合专家模型

访问官网
分类 AI模型

Skywork-MoE 是什么

Skywork-MoE 被介绍为一个从 Skywork-13B 密集型检查点初始化的混合专家模型,并引入两项关于专家多样化与辅助损失系数的技术。

你可以用它做什么

  • 146 亿参数与 16 个专家
  • 门控逻辑归一化增强专家多样化
  • 兼容 Hugging Face、ModelScope、Wisemodel 等平台

应用场景

  • 在 C-Eval、MMLU、CMMLU 等基准上评估
  • 运行 HuggingFace 的推理示例
  • 尝试基于 vLLM 的快速部署示例

优点与缺点

✓ 我们认可的地方

  • 资料列出 vLLM 的快速部署方法
  • 资料列出 fp8 精度与 8*4090 上的运行方式

! 需要留意的地方

  • 资料说明模型从 Skywork-13B 密集型检查点初始化
  • 资料把 Grok-1、DBRX、Mistral 8*22、Deepseek-V2 列为对照模型

常见问题

模型规模有多大?

资料说明共 146 亿参数、16 个专家、22 亿激活参数。

点名了哪些硬件?

资料列出 8xA100/A800 或更高 GPU,以及 fp8 在 8*4090 上的运行。

最后评测: 2026-11-15

更多 大模型 API 平台 工具

查看全部 →

评测方法