跳到正文

Midscene.js

用描述驱动 AI 完成界面自动化

访问官网

Midscene.js 是什么

Midscene.js 被介绍为一个利用 AI 简化 UI 自动化的工具,通过多模态大语言模型直观理解用户界面,并按描述的交互步骤执行操作。

你可以用它做什么

  • 用 .ai、.aiQuery、.aiAssert 执行交互、提取数据与断言
  • 用浏览器插件在任意网页免代码体验主要功能
  • 把工具集成到 Puppeteer 或 Playwright 测试框架
  • 通过可视化报告和调试 Playground 查看中间数据

资料列举的案例

  • 用 .ai 方法在搜索框输入关键词并执行搜索
  • 用 .aiQuery 从商品列表中提取商品标题和价格
  • 通过 Chrome 插件在任意网页进行快速 UI 自动化测试

上手流程

  • 访问官网并下载对应的浏览器插件
  • 打开任意网页,在自然语言输入框描述要执行的操作
  • 用这些方法编写脚本,或直接在插件中描述步骤
  • 运行脚本,让 AI 按描述执行相应的界面操作

优点与缺点

✓ 我们认可的地方

  • 数据直连指定模型,无需三方服务
  • 可选择 OpenAI GPT-4o 或其他多模态模型

! 需要留意的地方

  • 操作由交互步骤或数据格式的描述驱动
  • 使用过程中需要连接所选的多模态模型

常见问题

列出了哪些方法?

功能列表列出 .ai、.aiQuery 与 .aiAssert,用于交互、数据提取和断言。

有哪些集成方式?

资料列出浏览器插件、Puppeteer 与 Playwright,并提供可视化报告和调试 Playground。

最后评测: 2026-11-15

更多 AI 编程工具 工具

查看全部 →

评测方法