WebLLM 是什么
WebLLM 被介绍为一个浏览器内推理引擎,借助 WebGPU 在客户端运行语言模型,目标是降低成本、增强个性化并保护隐私。
你可以用它做什么
- 在浏览器内运行语言模型运算
- 使用兼容 OpenAI API 的 JSON 模式、函数调用与流式处理
- 以 MLC 格式加入自定义模型
上手流程
- 访问官网并阅读集成文档
- 选择合适的语言模型
- 用 NPM、Yarn 或 CDN 加入项目
优点与缺点
✓ 我们认可的地方
- 原生支持 Llama、Phi、Gemma、RedPajama、Mistral、Qwen
- 可通过 NPM、Yarn 或 CDN 集成
! 需要留意的地方
- 模型运算被描述为依赖 WebGPU 加速
- 自定义模型采用 MLC 格式
常见问题
需要服务器吗?
资料说明推理在浏览器内运行,无需服务器端处理。
怎么加入项目?
资料列出 NPM、Yarn 和 CDN。
最后评测: 2026-11-15