跳到正文

CuMo

面向多模态大语言模型的稀疏 MoE 扩展架构

访问官网
分类 AI模型

CuMo 是什么

CuMo 被介绍为一种把稀疏 Top-K 专家混合块放进多模态大型语言模型的扩展架构。

你可以用它做什么

  • 用稀疏专家提升视觉处理能力
  • 让推理时的激活参数几乎不增加
  • 把模型用于视觉问答与指令遵循

上手流程

  • 访问项目网页并阅读架构介绍
  • 安装所需依赖库与工具
  • 按文档和示例代码进行预训练
  • 用提供的示例完成微调

优点与缺点

✓ 我们认可的地方

  • 专家由预训练 MLP 块初始化
  • 推理时几乎不增加激活参数

! 需要留意的地方

  • 搭建需要下载依赖库与工具
  • 资料记录的流程包含预训练与微调

常见问题

MoE 块放在哪里?

资料列出视觉编码器与 MLP 连接器。

专家负载如何均衡?

资料描述在视觉指令调整阶段使用辅助损失。

最后评测: 2026-11-15

更多 大模型 API 平台 工具

查看全部 →

评测方法