原始来源日期:2026年10月1日。GitHub宣布Copilot可与桌面应用交互,能力处于公开预览,面向macOS与Windows上的相关CLI及应用入口。它利用可访问性信息和视觉观察执行点击、输入及拖动,扩展到缺少合适API的工作流。
官方说明,控制应用前会请求用户批准,已有允许设置可查看和调整;macOS还涉及可访问性及屏幕录制权限。组织管理者可以限制相关功能,公开预览不应被理解为所有平台与账户都已普遍正式可用。
这种能力让代理能够跨越编辑器与其他桌面界面,但公告不是对任意应用可靠性的保证。界面变化、弹窗及操作后的异步处理,仍可能影响任务是否真正完成,不能仅以一次点击没有报错作为成功依据。
量仔观察
本站认为,GUI操作的首要问题是定位状态。相似窗口、相同标题或暂时遮挡,会让操作落到错误对象;代理应依据当前应用、窗口与可访问控件共同判断。对于导出、提交或保存等动作,点击按钮只是过程证据,最终还应核对文件、记录或页面中出现的实际结果。
无API应用也未必每一步都需要视觉处理。能够可靠读取的结构化控件应尽量作为定位依据,视觉观察用于补足界面语义;当控件名称或布局发生改变,应重新获取状态,而不是继续复用旧坐标。本站更关注长流程中的错误恢复:中途弹出权限窗口、保存路径冲突或操作尚未完成时,代理能否识别并保持任务上下文。
授权范围需要与这些观察一起维护。允许操作某个应用,不代表桌面上所有信息都属于当前任务;窗口切换后也应重新确认行为是否仍与目标相关。对研发团队,合适的评估样本应包含真实界面变动与失败情形,并记录最终结果核对。这样才能判断桌面操作在哪些旧系统中节省了人工步骤,以及还需要多少确认与维护成本。
