跳到正文

Neural Magic

在 GPU 与 CPU 上运行开源大模型

访问官网

Neural Magic 是什么

Neural Magic 被介绍为专注 AI 模型优化与部署、提升企业推理效率的厂商。

你可以用它做什么

  • 用 nm-vllm 在 GPU 上部署开源模型
  • 用 SparseML 工具包压缩语言模型

优点与缺点

✓ 我们认可的地方

  • 包含 GPTQ 与 SparseGPT 压缩技术
  • Hugging Face 集成提供预优化模型

! 需要留意的地方

  • 提供免费试用与付费服务并存
  • 产品选择取决于 GPU 或 CPU 目标

常见问题

哪个产品跑在 CPU 上?

资料说明 DeepSparse 是 CPU 推理服务器。

用什么压缩模型?

SparseML 配合 GPTQ 与 SparseGPT 技术。

最后评测: 2026-11-15

更多 大模型 API 平台 工具

查看全部 →

评测方法