原始来源日期:2026年10月5日。本文依据最近72小时内发布的一手资料编译。
原文编译
工具型Agent必须读取网页、文档和API返回,而这些外部内容可能夹带间接提示注入。已有训练防御能降低攻击成功率,却常改变模型整体输出分布。作者观察到一个具体副作用:在完全良性的任务中,模型会忽略工具返回的合法指令,因而无法完成授权步骤。
RAISED全称Robust Attack Invariance through Self-Distillation。第一阶段由模型自生成工具使用场景,尤其覆盖“必须依据工具结果继续执行”的正当流程;第二阶段把相同轨迹构造成干净版与注入版,让学生模型对两者都尽量匹配教师在干净上下文中的行为。
这种设计不是教模型见到外部文字就拒绝,而是希望保持任务语义,对注入内容不敏感。作者声称在工具响应注入上显著降低攻击成功率,同时在Agent和通用基准上保持效用,优于会造成行为漂移的训练防御;具体模型、攻击集和数值仍需查阅完整实验。
自生成数据可能遗漏真实攻击语言、跨工具链和多轮状态操纵;教师本身的干净行为也可能错误。训练防御无法替代权限隔离、参数校验、数据来源标记和人工确认。若Agent拥有高权限,即使攻击成功率很低,单次漏过仍可能造成重大损失。
量仔观察
本站认为,防提示注入的正确目标应同时测“攻击被挡住”和“合法任务仍完成”。安全看板至少要并列ASR、良性完成率、过度拒绝率与高风险动作确认率,避免模型通过什么都不做取得漂亮安全分数。
RAISED可作为模型层加固,但生产系统还需在工具层做最小权限、来源隔离和策略门禁。最值得复现的是它对新工具、新领域与组合攻击的泛化,以及效用保持是否在长轨迹中仍成立。
