跳到正文

T-MAC

在 CPU 上加速低比特 LLM 推理的内核库

访问官网
分类 AI模型

T-MAC 是什么

T-MAC 被介绍为一个内核库,用查找表加速 CPU 上的低比特 LLM 推理,且无需去量化操作。

你可以用它做什么

  • 直接进行混合精度矩阵乘法
  • 运行 1 到 4 位量化的 Llama 模型
  • 在 Windows ARM 上原生部署
  • 减少 CPU 核心使用与功耗

上手流程

  • 安装满足 TVM 要求的 Python 3.8
  • 安装 cmake 3.22 及以上与其他依赖
  • 在虚拟环境中用 pip 安装 T-MAC
  • 运行提供的工具脚本或与 llama.cpp 集成

模型说明

  • 资料称单核每秒 20 个 token
  • 资料称四核每秒 48 个 token
  • 资料与 llama.cpp 相比给出 4~5 倍

优点与缺点

✓ 我们认可的地方

  • 资料称比 llama.cpp 快 4~5 倍
  • 减少 CPU 核心使用并降低功耗

! 需要留意的地方

  • 环境需 Python 3.8 与 cmake 3.22 及以上
  • 安装需在虚拟环境中使用 pip

常见问题

资料给出哪些速度?

资料说明单核每秒 20 个、四核每秒 48 个 token。

列出哪些平台?

资料列出 OSX、Linux、Windows ARM 与 Intel CPU。

最后评测: 2026-11-15

更多 大模型 API 平台 工具

查看全部 →

评测方法