Ferret-UI 是什么
Ferret-UI 被介绍为一个新的 MLLLM,专为提高对移动 UI 屏幕的理解而设计。它具备引用、定位和推理能力来处理 UI 屏幕上的任务,也具备高级任务中的对话能力。
你可以用它做什么
- 在 UI 屏幕上引用、定位并推理元素
- 用「任何分辨率」技术放大细节识别小对象
- 在高级任务中展开对话
- 处理围绕移动 UI 屏幕制定的任务
应用场景
- 对 iOS 18 的应用界面进行自动操作
- 识别并操作移动应用 UI 屏幕
- 展示高级任务中的对话能力
模型说明
- 涉及任务制定与训练样本收集
- 涉及模型架构与数据集建立
- 模型专门针对移动 UI 屏幕设计
优点与缺点
✓ 我们认可的地方
- 放大的细节视图用于解决小对象识别
- 引用、定位与推理集中在一个模型里
! 需要留意的地方
- 小对象识别依赖放大后的细节视图
- 资料记录的任务围绕移动 UI 屏幕展开
常见问题
「任何分辨率」技术是什么?
资料说明它通过放大细节解决 UI 屏幕上的小对象识别问题。
列出了哪些能力?
资料列出引用、定位、推理以及高级任务中的对话能力。
最后评测: 2026-11-15