跳到正文

FlagPerf

面向 AI 硬件与软件栈的评测引擎

访问官网

FlagPerf 是什么

FlagPerf 被介绍为由智源研究院联合 AI 硬件厂商共建的一体化 AI 硬件评测引擎。资料说明它旨在建立以产业实践为导向的指标体系,并连接 AI 硬件与软件生态。

你可以用它做什么

  • 构建性能指标、资源使用指标及生态适配能力指标
  • 运行计算机视觉、自然语言处理等领域的 30 余个经典模型
  • 搭配多种训练框架与推理引擎
  • 综合考察单卡、单机、多机性能

应用场景

  • 用 NVIDIA 的 A100 芯片做性能测试
  • 由百度 PaddlePaddle 团队集成 Llama 模型进行评估
  • 由华为昇思 MindSpore 团队测试框架性能

上手流程

  • 安装 Docker 和 Python 环境
  • 确认硬件驱动、网络、硬件虚拟化等服务器基础配置齐全
  • 下载项目代码并部署到服务器
  • 修改机器配置文件,包括硬件配置和测试环境设置

优点与缺点

✓ 我们认可的地方

  • 支持多种训练框架及推理引擎
  • 严格审核参评代码以保证测试公正、结果公平

! 需要留意的地方

  • 评测结果绑定模型、框架与编译器的组合
  • 考察结果取决于单卡、单机或多机的测试环境

常见问题

它评测什么?

资料说明评测 AI 硬件在模型、框架与编译器组成的软件栈组合下的实际能力。

资料列出哪些框架?

功能列表列出 PyTorch、TensorFlow,以及与 PaddlePaddle、MindSpore 等国产框架的适配。

最后评测: 2026-11-15

更多 AI 编程工具 工具

查看全部 →

评测方法