跳到正文

InternLM2.5-7B-Chat GGUF

在本地或云端运行 GGUF 聊天模型

访问官网

InternLM2.5-7B-Chat GGUF 是什么

资料把 InternLM2.5-7B-Chat GGUF 介绍为一款基于开源框架 llama.cpp 的文本生成语言模型,具有 7.74 亿参数。

你可以用它做什么

  • 在多种硬件平台上进行本地或云推理
  • 按所需精度选择模型文件
  • 使用 llama-cli 进行模型推理
  • 部署兼容 OpenAI API 的服务

上手流程

  • 创建 conda 环境并安装 cmake
  • 克隆源代码并构建项目
  • 下载相应精度的模型文件
  • 使用 llama-cli 进行推理

模型说明

  • 资料列出 7.74 亿参数
  • 提供多种计算精度下载
  • 可通过 OpenAI API 进行客户端访问

优点与缺点

✓ 我们认可的地方

  • 可用 llama-cli 进行模型推理
  • 支持通过 OpenAI API 进行客户端访问

! 需要留意的地方

  • 搭建涉及 conda 环境与 cmake 构建
  • 模型文件需按所需精度选择

常见问题

基于什么框架?

资料列出开源框架 llama.cpp。

参数量是多少?

资料说明为 7.74 亿参数。

最后评测: 2026-11-15

更多 大模型 API 平台 工具

查看全部 →

评测方法