跳到正文

Phi-3-mini-4k-instruct-onnx

面向更快推理的 Phi-3 Mini ONNX 版本

访问官网
分类 AI模型

Phi-3-mini-4k-instruct-onnx 是什么

该仓库被介绍为 Phi-3 Mini 的优化 ONNX 版本,通过 ONNX Runtime 在 CPU 与 GPU 上进行加速推理。

你可以用它做什么

  • 在 CPU 和 GPU 上加速推理
  • 用 Generate() API 把模型接入应用
  • 处理大批量与长提示输入

应用场景

  • 为企业助理提供自然语言交互
  • 为写作辅助草拟自动文本
  • 由模型输出生成分析报告

需要留意什么

  • 资料给出的提升为最多 10 倍与 3 倍
  • 资料说明按平台配置精度
  • 配置需要 ONNX Runtime 软件包与模型文件

优点与缺点

✓ 我们认可的地方

  • 资料列出相比 PyTorch 最多 10 倍、相比 Llama.cpp 最多 3 倍
  • 量化后体积小便于部署

! 需要留意的地方

  • 该仓库发布的是 Phi-3 Mini 的 ONNX 版本
  • 资料给出的提升是「多达」10 倍与 3 倍

常见问题

支持哪些平台?

资料列出服务器、Windows、Linux 和 Mac 等平台。

提供了什么接口?

资料说明提供 ONNX Runtime 的 Generate() API。

最后评测: 2026-11-15

更多 大模型 API 平台 工具

查看全部 →

评测方法