跳到正文

PowerInfer-2

在智能手机上以更低内存运行大型 MoE 模型

访问官网

PowerInfer-2 是什么

PowerInfer-2 被介绍为一个为智能手机特别优化的推理框架,借助异构计算与 I/O-Compute 流水线技术减少内存使用并提升推理速度。

你可以用它做什么

  • 运行高达 47B 参数的 MoE 模型
  • 动态调整计算单元大小

需要留意什么

  • 资料所述目标设备为智能手机
  • 模型稀疏性被列为配置步骤

优点与缺点

✓ 我们认可的地方

  • 资料称显著减少内存使用
  • 设备端部署被描述为增强数据隐私

! 需要留意的地方

  • 资料所述目标设备为智能手机
  • 模型稀疏性被列为配置步骤

常见问题

资料给出什么速度?

资料说明每秒 11.68 个 token,比其他框架快 22 倍。

支持多大模型?

资料说明支持高达 47B 参数的 MoE 模型。

最后评测: 2026-11-15

更多 AI 编程工具 工具

查看全部 →

评测方法