原始来源日期:2026年10月7日。本文依据最近72小时内发布的一手资料编译。

原文编译

许多视觉红队方法只让VLM在截图上选错元素,却没有验证结构化输入、坐标转换和动作后处理后,浏览器是否真的点击攻击者目标。模型级成功因此不能代表端到端控制。

WebMirage生成局部对抗视觉扰动,并以角色—槽位抽象描述页面元素之间的竞争关系。页面重组让攻击在不同渲染中保持目标,数据流分析则把优化目标对齐到最终动作表示。

作者在四种Agent配置、六个视觉语言模型上评测2250个任务,覆盖13个公开网站和一个沙箱基准。平均攻击成功率为91.9%,而最强基线为17.4%。

论文还报告攻击在三种Agent级防御下仍有效。该数字属于受控页面和特定模型组合,不能直接视为任一线上Agent被攻击概率,但足以说明只做OCR过滤或模型拒答并不完整。

阅读全文时需要把核心机制与边界条件合并判断:WebMirage生成局部对抗视觉扰动,并以角色—槽位抽象描述页面元素之间的竞争关系。页面重组让攻击在不同渲染中保持目标,数据流分析则把优化目标对齐到最终动作表示。 与此同时,原文也明确提醒:论文还报告攻击在三种Agent级防御下仍有效。该数字属于受控页面和特定模型组合,不能直接视为任一线上Agent被攻击概率,但足以说明只做OCR过滤或模型拒答并不完整。 这两部分共同限定了这项工作的可复现范围和工程含义,不能只引用其中的性能数字或状态标签。

量仔观察

本站判断,视觉Agent安全必须以真实副作用为终点度量:是否打开错误链接、提交表单、下载文件或改变账户。截图分类准确率只能作为中间诊断。

产品可组合DOM语义、可见像素与目标控件签名做交叉验证,并在动作前重新截图确认。对动态布局和广告区域,应默认视为不可信输入,不允许其直接影响高权限动作参数。