跳到正文

Ferret-UI

理解并推理移动 UI 屏幕

访问官网

Ferret-UI 是什么

Ferret-UI 被介绍为一个新的 MLLLM,专为提高对移动 UI 屏幕的理解而设计。它具备引用、定位和推理能力来处理 UI 屏幕上的任务,也具备高级任务中的对话能力。

你可以用它做什么

  • 在 UI 屏幕上引用、定位并推理元素
  • 用「任何分辨率」技术放大细节识别小对象
  • 在高级任务中展开对话
  • 处理围绕移动 UI 屏幕制定的任务

应用场景

  • 对 iOS 18 的应用界面进行自动操作
  • 识别并操作移动应用 UI 屏幕
  • 展示高级任务中的对话能力

模型说明

  • 涉及任务制定与训练样本收集
  • 涉及模型架构与数据集建立
  • 模型专门针对移动 UI 屏幕设计

优点与缺点

✓ 我们认可的地方

  • 放大的细节视图用于解决小对象识别
  • 引用、定位与推理集中在一个模型里

! 需要留意的地方

  • 小对象识别依赖放大后的细节视图
  • 资料记录的任务围绕移动 UI 屏幕展开

常见问题

「任何分辨率」技术是什么?

资料说明它通过放大细节解决 UI 屏幕上的小对象识别问题。

列出了哪些能力?

资料列出引用、定位、推理以及高级任务中的对话能力。

最后评测: 2026-11-15

更多 AI 编程工具 工具

查看全部 →

评测方法