RWKV-6 Mixture of Experts 是什么
资料把该模型介绍为采用稀疏混合专家的 RWKV-6 实验性模型,在常见基准测试中的得分与 Finch 14B 大致相当。
你可以用它做什么
- 用模型运行自然语言处理任务
- 在有限硬件资源上做测试
- 集成到项目中以提高参数效率
模型说明
- hash routing 把 token 均匀分给各专家
- 共享专家与新专家组成双宽度 FFN
- 新专家以高初始学习率开始训练
优点与缺点
✓ 我们认可的地方
- 稀疏激活节省训练与推理时间
- 可在新专家中应用 token-shift
! 需要留意的地方
- 资料说明该架构以更高 VRAM 使用为代价
- 模型被标注为实验性
常见问题
资料列出哪个模型?
资料列出 Flock of Finches 37B-A11B v0.1。
MoE 改变了什么?
任一 token 上只激活一部分参数。
最后评测: 2026-11-15