跳到正文

OmniParser-v2.0

把 UI 截图转成结构化元素列表

访问官网

OmniParser-v2.0 是什么

OmniParser 被介绍为微软开发的图像解析技术,把不规则的 UI 截图转换为结构化元素列表。资料说明列表包含可交互区域的位置,以及图标的功能描述。

你可以用它做什么

  • 把 UI 截图转换为结构化格式
  • 提取可交互区域与图标功能描述
  • 与 OpenAI、DeepSeek、Qwen 等大模型集成
  • 解析 PC 和手机等设备的截图

应用场景

  • 在自动化测试中快速识别界面元素
  • 为智能助手提供更准确的界面信息
  • 在 Windows 11 虚拟机中配合所选视觉模型控制界面

模型说明

  • 资料点名 YOLOv8 与 Florence-2 两个深度学习模型
  • 功能列表写明 A100 上平均延迟低至 0.6 秒/帧
  • 资料列出更干净、更大的图标描述与定位数据集
  • 提供开源代码与详细文档,便于二次开发

优点与缺点

✓ 我们认可的地方

  • 可与 OpenAI、DeepSeek、Qwen 等多种大模型集成
  • 支持 PC 与手机等设备和应用的截图解析

! 需要留意的地方

  • 解析通过 YOLOv8 与 Florence-2 等模型实现
  • 集成需要选择相应的大型语言模型

常见问题

输出是什么?

包含可交互区域位置与图标功能描述的结构化元素列表。

解析速度怎么记录?

功能列表写明 A100 上平均延迟低至 0.6 秒/帧。

最后评测: 2026-11-15

更多 AI 设计工具 工具

查看全部 →

评测方法