分类 AI模型
T-MAC 是什么
T-MAC 被介绍为一个内核库,用查找表加速 CPU 上的低比特 LLM 推理,且无需去量化操作。
你可以用它做什么
- 直接进行混合精度矩阵乘法
- 运行 1 到 4 位量化的 Llama 模型
- 在 Windows ARM 上原生部署
- 减少 CPU 核心使用与功耗
上手流程
- 安装满足 TVM 要求的 Python 3.8
- 安装 cmake 3.22 及以上与其他依赖
- 在虚拟环境中用 pip 安装 T-MAC
- 运行提供的工具脚本或与 llama.cpp 集成
模型说明
- 资料称单核每秒 20 个 token
- 资料称四核每秒 48 个 token
- 资料与 llama.cpp 相比给出 4~5 倍
优点与缺点
✓ 我们认可的地方
- 资料称比 llama.cpp 快 4~5 倍
- 减少 CPU 核心使用并降低功耗
! 需要留意的地方
- 环境需 Python 3.8 与 cmake 3.22 及以上
- 安装需在虚拟环境中使用 pip
常见问题
资料给出哪些速度?
资料说明单核每秒 20 个、四核每秒 48 个 token。
列出哪些平台?
资料列出 OSX、Linux、Windows ARM 与 Intel CPU。
最后评测: 2026-11-15
更多 大模型 API 平台 工具
查看全部 →-
302.AI 把数百个大模型收在一个 API 后面的聚合云平台 开发者工具 API 集成 多模型平台 模型部署 大模型 API 平台 -
360智脑开放平台 360 大模型 API 平台 API 集成 多模型平台 知识库问答 企业自动化 大模型 API 平台 -
4o Image API 图像生成 API 网关 免费 工具 免费增值 工具 开发者工具 API 集成 大模型 API 平台 -
AI-Flow 无代码的多模型工作流 工作流自动化 开发者工具 API 集成 知识库问答 大模型 API 平台 -
AI/ML API 一个网关接入众多模型 开发者工具 API 集成 多模态 多模型平台 大模型 API 平台 -
Amazon Bedrock 带安全扫描的 AWS 代码建议 免费 工具 代码助手 集成开发环境 应用搭建器 大模型 API 平台