exo 是什么
exo 被介绍为一个实验性的软件项目,利用家中现有的 iPhone、iPad、Android、Mac、Linux 等设备,统一成一个强大的 GPU 来运行 AI 模型。它支持 LLaMA 等流行模型,并提供动态模型分割与兼容 ChatGPT 的 API。
你可以用它做什么
- 在多台设备上运行 LLaMA 等流行模型
- 根据网络拓扑和设备资源动态分割模型
- 自动发现设备,无需手动配置
- 使用 MLX、tinygrad、llama.cpp 等多种推理引擎
应用场景
- 用 iPhone 和 iPad 构建 AI 集群处理图像识别任务
- 在家中的多台 Linux 设备上运行自然语言处理模型
- 通过 Mac 和 Android 设备联合执行复杂的数据分析任务
上手流程
- 进入 exo 目录,用 pip 安装依赖,从源代码安装
- 按文档示例在多个设备上运行 exo
- 用提供的 API 在应用程序中集成并运行模型
- 访问设备上的 8000 端口使用 ChatGPT 风格的 Web 界面
优点与缺点
✓ 我们认可的地方
- 支持 MLX、tinygrad、llama.cpp 等多种推理引擎
- 网络模块包括 GRPC、Radio、Bluetooth
! 需要留意的地方
- 资料把它描述为实验性项目
- 模型分割依赖当前的网络拓扑与设备资源
常见问题
资料点名了哪些模型?
资料在支持的流行模型中点名了 LLaMA。
应用怎么接入?
资料说明与 ChatGPT 兼容的 API 只需在应用中改动一行代码。
最后评测: 2026-11-15