跳到正文

torchao

为 PyTorch 模型做量化与稀疏化

访问官网

torchao 是什么

torchao 被介绍为 PyTorch 的一个库,用自定义数据类型对权重、梯度、优化器和激活函数做量化与稀疏化。

你可以用它做什么

  • 使用后训练量化或量化感知训练
  • 量化 KV 缓存以支持长上下文推理
  • 用 scaled float8 训练或 2:4 稀疏性

使用案例

  • 对图像分割模型做量化以提速
  • 对语言模型使用量化感知训练
  • 在扩散模型推理中用稀疏性减少内存占用

优点与缺点

✓ 我们认可的地方

  • 兼容 torch.compile() 与 FSDP2
  • 开发者 API 可自定义量化算法

! 需要留意的地方

  • 量化策略需按模型选择
  • 本地使用从安装库开始

常见问题

可以量化哪些部分?

资料列出权重、梯度、优化器和激活函数。

支持长上下文吗?

资料列出 KV 缓存量化用于长上下文推理。

最后评测: 2026-11-15

更多 AI 编程工具 工具

查看全部 →

评测方法