torchao 是什么
torchao 被介绍为 PyTorch 的一个库,用自定义数据类型对权重、梯度、优化器和激活函数做量化与稀疏化。
你可以用它做什么
- 使用后训练量化或量化感知训练
- 量化 KV 缓存以支持长上下文推理
- 用 scaled float8 训练或 2:4 稀疏性
使用案例
- 对图像分割模型做量化以提速
- 对语言模型使用量化感知训练
- 在扩散模型推理中用稀疏性减少内存占用
优点与缺点
✓ 我们认可的地方
- 兼容 torch.compile() 与 FSDP2
- 开发者 API 可自定义量化算法
! 需要留意的地方
- 量化策略需按模型选择
- 本地使用从安装库开始
常见问题
可以量化哪些部分?
资料列出权重、梯度、优化器和激活函数。
支持长上下文吗?
资料列出 KV 缓存量化用于长上下文推理。
最后评测: 2026-11-15