原始来源日期:2026年10月7日。本文依据最近72小时内发布的一手资料编译。
原文编译
论文把评测失真分为Agent、框架和数据集三层。详细指令、提示和工具能力能提高成功率,却未必改善符合维护者意图的补丁;权限错误、超时处理和基础设施Bug也会静默抬高或压低成绩。
数据集包含112个历史漏洞,来自84个C/C++、Go和Rust开源项目。每个样本不仅有触发漏洞的PoC,还加入回归测试与额外开发者测试,用于检查根因修复和原项目设计原则。
受控实验显示,在理想条件下模型可以获得较高PoC通过率,但改变执行选项就会显著改变测量结果。仅用一个PoC无法区分真正修复、屏蔽输入、删除功能或绕过测试。
作者报告开发者测试通过率仍低,且更新模型只带来有限改善,因此推断模型越来越会抑制表面症状,却不稳定地产生可上游合并的修复。结论来自该样本集,不应外推成所有语言的固定成功率。
阅读全文时需要把核心机制与边界条件合并判断:数据集包含112个历史漏洞,来自84个C/C++、Go和Rust开源项目。每个样本不仅有触发漏洞的PoC,还加入回归测试与额外开发者测试,用于检查根因修复和原项目设计原则。 与此同时,原文也明确提醒:作者报告开发者测试通过率仍低,且更新模型只带来有限改善,因此推断模型越来越会抑制表面症状,却不稳定地产生可上游合并的修复。结论来自该样本集,不应外推成所有语言的固定成功率。 这两部分共同限定了这项工作的可复现范围和工程含义,不能只引用其中的性能数字或状态标签。
量仔观察
本站认为,安全修复Agent的验收应至少包含根因测试、负回归、维护者风格和最小权限四个维度。分数必须连同提示、工具、超时、容器镜像和失败分类一起发布。
企业落地时可把补丁分成“PoC阻断”“回归通过”“设计对齐”“可维护”四级,禁止用第一层自动合并。对密码代码还要增加标准向量、常数时间和跨平台测试。
