agent-desktop:让智能体通过系统控件结构读写桌面应用
一分钟看懂
agent-desktop 是 Vercel Labs 提供的命令行工具和 C 库,用操作系统的辅助功能树观察和操作桌面应用。它为快照中的可操作控件分配引用,智能体根据引用点击或输入,再读取新快照确认结果,而不是只靠截图猜坐标。
你可以用它做什么
- 为桌面智能体获取窗口、按钮和输入框的结构化信息。
- 在自己的应用中测试控件操作和结果验证。
- 通过命令行或 C 接口把桌面操作接入现有程序。
- 在多个窗口中按明确窗口标识选择目标。
主要能力
项目覆盖快照、控件查找、点击、输入、应用/窗口管理、剪贴板和截图等命令,统一返回 JSON 成功或错误信封。引用属于具体快照;界面变化后可能过期或产生歧义,不能把旧引用当作永久控件编号。默认通过辅助功能接口操作,物理输入需要相应模式。
适合哪些人
适合构建桌面 Agent、应用自动化或可访问性测试的开发者。它本身不是一个已经理解任务的大模型,观察、决策和验证循环仍由调用方组织。依赖纯画布或未暴露辅助功能结构的应用需要另行评估。
怎么开始使用
官方提供 npm 包与匹配平台的原生发行包。按安装文档准备工具后,先运行版本检查和应用列表,再对一个测试应用取得快照。macOS 需要辅助功能授权;Linux 需要用户图形会话及 AT-SPI 相关依赖。只使用本次快照返回的真实引用,不照抄示例编号。
使用前需要知道
macOS、Windows 和 Linux 的能力并非完全一致,Linux 的 X11、Wayland 与 GNOME 支持也有差异。屏幕、剪贴板、命令输出及调试产物可能含私人数据;可选模型辅助工具会有额外的数据流向,不能把它与原生 CLI 混为一谈。项目采用 Apache-2.0。对无法安全重试的写入动作应由调用方明确控制。