跳到正文

CogAgent

基于视觉语言模型的开源 GUI 代理

访问官网

CogAgent 是什么

CogAgent 被介绍为基于视觉语言模型的开源端到端 GUI 代理,通过屏幕截图和自然语言实现中英双语交互。

你可以用它做什么

  • 用屏幕截图与自然语言和 GUI 交互
  • 完成 GUI 感知与推理预测
  • 自动化桌面应用的操作

上手流程

  • 安装 Python 3.10.16 以上及相关依赖
  • 按输出格式和平台选用命令行参数运行
  • 提供输入图像并接收操作指令

需要留意什么

  • 输出为严格字符串格式,不含 JSON
  • 资料说明不支持连续对话
  • 边界框结果会指示操作执行区域

优点与缺点

✓ 我们认可的地方

  • 以屏幕截图和自然语言驱动交互
  • 资料描述多阶段训练与策略改进

! 需要留意的地方

  • 输出为严格字符串格式,不支持 JSON
  • 不支持连续对话,但支持连续执行历史

常见问题

输出是什么格式?

资料说明输出遵循严格字符串格式,不支持 JSON 输出。

点名了哪个基础模型?

资料说明 CogAgent-9B-20241220 基于 GLM-4V-9B。

最后评测: 2026-11-15

更多 AI 编程工具 工具

查看全部 →

评测方法