跳到正文

SliceGPT

用矩阵切片压缩语言模型

访问官网
分类 AI模型

SliceGPT 是什么

SliceGPT 被介绍为一种后训练稀疏化方案,通过用较小的密集矩阵替换权重矩阵来减少网络的嵌入维度。

你可以用它做什么

  • 从已训练模型中移除参数
  • 降低大型模型的内存消耗
  • 在更少 GPU 上加速推理

报告结果

  • 移除高达 25% 的模型参数
  • 零样本性能保持在 99%、99% 和 90%
  • 24GB 消费级 GPU 上计算量降到 64%
  • 40GB A100 GPU 上计算量降到 66%

优点与缺点

✓ 我们认可的地方

  • 无需额外代码优化即可在更少 GPU 上运行
  • 24GB 消费级 GPU 上计算量降到 64%

! 需要留意的地方

  • 方案针对后训练稀疏化
  • 报告数字来自点名的几个模型

常见问题

能移除多少参数?

论文报告移除高达 25% 的参数,包含嵌入部分。

计算量结果在哪里测得?

资料列出 24GB 消费级 GPU 与 40GB A100 GPU。

最后评测: 2026-11-15

更多 大模型 API 平台 工具

查看全部 →

评测方法