CogAgent 是什么
CogAgent 被介绍为基于视觉语言模型的开源端到端 GUI 代理,通过屏幕截图和自然语言实现中英双语交互。
你可以用它做什么
- 用屏幕截图与自然语言和 GUI 交互
- 完成 GUI 感知与推理预测
- 自动化桌面应用的操作
上手流程
- 安装 Python 3.10.16 以上及相关依赖
- 按输出格式和平台选用命令行参数运行
- 提供输入图像并接收操作指令
需要留意什么
- 输出为严格字符串格式,不含 JSON
- 资料说明不支持连续对话
- 边界框结果会指示操作执行区域
优点与缺点
✓ 我们认可的地方
- 以屏幕截图和自然语言驱动交互
- 资料描述多阶段训练与策略改进
! 需要留意的地方
- 输出为严格字符串格式,不支持 JSON
- 不支持连续对话,但支持连续执行历史
常见问题
输出是什么格式?
资料说明输出遵循严格字符串格式,不支持 JSON 输出。
点名了哪个基础模型?
资料说明 CogAgent-9B-20241220 基于 GLM-4V-9B。
最后评测: 2026-11-15