跳到正文

PowerInfer

在消费级 GPU 上高速运行大语言模型推理

访问官网
分类 AI模型

PowerInfer 是什么

PowerInfer 被介绍为一个在个人电脑上利用消费级 GPU 进行高速大型语言模型推理的引擎。它利用 LLM 推理中的高局部性特点,把热激活的神经元预加载到 GPU 上,从而降低 GPU 内存需求和 CPU-GPU 数据传输。

你可以用它做什么

  • 用稀疏激活与「热」「冷」神经元概念进行高效 LLM 推理
  • 无缝整合 CPU 与 GPU 的内存和计算能力,实现负载均衡
  • 兼容常见的 ReLU 稀疏模型
  • 在消费级硬件上本地部署低延迟的 LLM 推理和服务

模型与性能说明

  • 集成自适应预测器与神经元感知的稀疏运算符
  • 资料记载在单个 NVIDIA RTX 4090 GPU 上平均每秒生成 13.20 个标记
  • 该速率被描述为比服务器级 A100 GPU 仅低 18%
  • 支持与 llama.cpp 相同的模型权重,但不会有性能提升

优点与缺点

✓ 我们认可的地方

  • 统一 CPU 与 GPU 的内存和计算能力,实现负载均衡
  • 降低 GPU 内存需求与 CPU-GPU 数据传输

! 需要留意的地方

  • 复用 llama.cpp 模型权重不会带来性能提升
  • 推理前需要把热激活神经元预加载到 GPU 上

常见问题

资料记载的速度基于什么硬件?

资料说明在单个 NVIDIA RTX 4090 GPU 上平均生成速率为每秒 13.20 个标记,比服务器级 A100 GPU 仅低 18%。

能用 llama.cpp 的模型权重吗?

资料说明支持与 llama.cpp 相同的模型权重进行推理,但不会有性能提升。

最后评测: 2026-11-15

更多 大模型 API 平台 工具

查看全部 →

评测方法