跳到正文

Yuan2-M32-hf-int4

采用注意力路由器的混合专家语言模型

访问官网
分类 AI模型

Yuan2-M32-hf-int4 是什么

Yuan2.0-M32 被介绍为采用注意力路由器的混合专家语言模型,以更高效的方式选择专家。

你可以用它做什么

  • 用推荐的 docker 镜像启动容器
  • 按文档说明进行数据预处理
  • 运行预训练脚本并参考 vllm 部署推理服务

优点与缺点

✓ 我们认可的地方

  • 总参数 40 亿中只有 3.7 亿活跃参数
  • 在 MATH 和 ARC-Challenge 基准上超越 Llama3-70B

! 需要留意的地方

  • 配置与部署流程面向技术使用者
  • 推理服务部署需参考 vllm 的详细计划

常见问题

有多少专家处于活跃状态?

资料说明 32 个专家中有 2 个处于活跃状态。

训练数据量是多少?

资料说明从头开始训练,使用了 2000 亿个 token。

最后评测: 2026-11-15

更多 大模型 API 平台 工具

查看全部 →

评测方法