FlagPerf 是什么
FlagPerf 被介绍为由智源研究院联合 AI 硬件厂商共建的一体化 AI 硬件评测引擎。资料说明它旨在建立以产业实践为导向的指标体系,并连接 AI 硬件与软件生态。
你可以用它做什么
- 构建性能指标、资源使用指标及生态适配能力指标
- 运行计算机视觉、自然语言处理等领域的 30 余个经典模型
- 搭配多种训练框架与推理引擎
- 综合考察单卡、单机、多机性能
应用场景
- 用 NVIDIA 的 A100 芯片做性能测试
- 由百度 PaddlePaddle 团队集成 Llama 模型进行评估
- 由华为昇思 MindSpore 团队测试框架性能
上手流程
- 安装 Docker 和 Python 环境
- 确认硬件驱动、网络、硬件虚拟化等服务器基础配置齐全
- 下载项目代码并部署到服务器
- 修改机器配置文件,包括硬件配置和测试环境设置
优点与缺点
✓ 我们认可的地方
- 支持多种训练框架及推理引擎
- 严格审核参评代码以保证测试公正、结果公平
! 需要留意的地方
- 评测结果绑定模型、框架与编译器的组合
- 考察结果取决于单卡、单机或多机的测试环境
常见问题
它评测什么?
资料说明评测 AI 硬件在模型、框架与编译器组成的软件栈组合下的实际能力。
资料列出哪些框架?
功能列表列出 PyTorch、TensorFlow,以及与 PaddlePaddle、MindSpore 等国产框架的适配。
最后评测: 2026-11-15