跳到正文

WebLLM

在浏览器内运行语言模型

访问官网

WebLLM 是什么

WebLLM 被介绍为一个浏览器内推理引擎,借助 WebGPU 在客户端运行语言模型,目标是降低成本、增强个性化并保护隐私。

你可以用它做什么

  • 在浏览器内运行语言模型运算
  • 使用兼容 OpenAI API 的 JSON 模式、函数调用与流式处理
  • 以 MLC 格式加入自定义模型

上手流程

  • 访问官网并阅读集成文档
  • 选择合适的语言模型
  • 用 NPM、Yarn 或 CDN 加入项目

优点与缺点

✓ 我们认可的地方

  • 原生支持 Llama、Phi、Gemma、RedPajama、Mistral、Qwen
  • 可通过 NPM、Yarn 或 CDN 集成

! 需要留意的地方

  • 模型运算被描述为依赖 WebGPU 加速
  • 自定义模型采用 MLC 格式

常见问题

需要服务器吗?

资料说明推理在浏览器内运行,无需服务器端处理。

怎么加入项目?

资料列出 NPM、Yarn 和 CDN。

最后评测: 2026-11-15

更多 AI 编程工具 工具

查看全部 →

评测方法