跳到正文

exo

用家中现有设备运行 AI 模型

访问官网

exo 是什么

exo 被介绍为一个实验性的软件项目,利用家中现有的 iPhone、iPad、Android、Mac、Linux 等设备,统一成一个强大的 GPU 来运行 AI 模型。它支持 LLaMA 等流行模型,并提供动态模型分割与兼容 ChatGPT 的 API。

你可以用它做什么

  • 在多台设备上运行 LLaMA 等流行模型
  • 根据网络拓扑和设备资源动态分割模型
  • 自动发现设备,无需手动配置
  • 使用 MLX、tinygrad、llama.cpp 等多种推理引擎

应用场景

  • 用 iPhone 和 iPad 构建 AI 集群处理图像识别任务
  • 在家中的多台 Linux 设备上运行自然语言处理模型
  • 通过 Mac 和 Android 设备联合执行复杂的数据分析任务

上手流程

  • 进入 exo 目录,用 pip 安装依赖,从源代码安装
  • 按文档示例在多个设备上运行 exo
  • 用提供的 API 在应用程序中集成并运行模型
  • 访问设备上的 8000 端口使用 ChatGPT 风格的 Web 界面

优点与缺点

✓ 我们认可的地方

  • 支持 MLX、tinygrad、llama.cpp 等多种推理引擎
  • 网络模块包括 GRPC、Radio、Bluetooth

! 需要留意的地方

  • 资料把它描述为实验性项目
  • 模型分割依赖当前的网络拓扑与设备资源

常见问题

资料点名了哪些模型?

资料在支持的流行模型中点名了 LLaMA。

应用怎么接入?

资料说明与 ChatGPT 兼容的 API 只需在应用中改动一行代码。

最后评测: 2026-11-15

更多 AI 编程工具 工具

查看全部 →

评测方法