跳到正文

RWKV-6 Mixture of Experts

采用稀疏混合专家的 RWKV-6 模型

访问官网

RWKV-6 Mixture of Experts 是什么

资料把该模型介绍为采用稀疏混合专家的 RWKV-6 实验性模型,在常见基准测试中的得分与 Finch 14B 大致相当。

你可以用它做什么

  • 用模型运行自然语言处理任务
  • 在有限硬件资源上做测试
  • 集成到项目中以提高参数效率

模型说明

  • hash routing 把 token 均匀分给各专家
  • 共享专家与新专家组成双宽度 FFN
  • 新专家以高初始学习率开始训练

优点与缺点

✓ 我们认可的地方

  • 稀疏激活节省训练与推理时间
  • 可在新专家中应用 token-shift

! 需要留意的地方

  • 资料说明该架构以更高 VRAM 使用为代价
  • 模型被标注为实验性

常见问题

资料列出哪个模型?

资料列出 Flock of Finches 37B-A11B v0.1。

MoE 改变了什么?

任一 token 上只激活一部分参数。

最后评测: 2026-11-15

更多 AI 编程工具 工具

查看全部 →

评测方法