分类 AI模型
Phi-3-mini-4k-instruct-onnx 是什么
该仓库被介绍为 Phi-3 Mini 的优化 ONNX 版本,通过 ONNX Runtime 在 CPU 与 GPU 上进行加速推理。
你可以用它做什么
- 在 CPU 和 GPU 上加速推理
- 用 Generate() API 把模型接入应用
- 处理大批量与长提示输入
应用场景
- 为企业助理提供自然语言交互
- 为写作辅助草拟自动文本
- 由模型输出生成分析报告
需要留意什么
- 资料给出的提升为最多 10 倍与 3 倍
- 资料说明按平台配置精度
- 配置需要 ONNX Runtime 软件包与模型文件
优点与缺点
✓ 我们认可的地方
- 资料列出相比 PyTorch 最多 10 倍、相比 Llama.cpp 最多 3 倍
- 量化后体积小便于部署
! 需要留意的地方
- 该仓库发布的是 Phi-3 Mini 的 ONNX 版本
- 资料给出的提升是「多达」10 倍与 3 倍
常见问题
支持哪些平台?
资料列出服务器、Windows、Linux 和 Mac 等平台。
提供了什么接口?
资料说明提供 ONNX Runtime 的 Generate() API。
最后评测: 2026-11-15
更多 大模型 API 平台 工具
查看全部 →-
302.AI 把数百个大模型收在一个 API 后面的聚合云平台 开发者工具 API 集成 多模型平台 模型部署 大模型 API 平台 -
360智脑开放平台 360 大模型 API 平台 API 集成 多模型平台 知识库问答 企业自动化 大模型 API 平台 -
4o Image API 图像生成 API 网关 免费 工具 免费增值 工具 开发者工具 API 集成 大模型 API 平台 -
AI-Flow 无代码的多模型工作流 工作流自动化 开发者工具 API 集成 知识库问答 大模型 API 平台 -
AI/ML API 一个网关接入众多模型 开发者工具 API 集成 多模态 多模型平台 大模型 API 平台 -
Amazon Bedrock 带安全扫描的 AWS 代码建议 免费 工具 代码助手 集成开发环境 应用搭建器 大模型 API 平台