AI 前沿
Agent评测不应只比模型:相同配置重复运行仍贡献约54%结果方差
“Agents Are Systems, Not Models”在四个科学任务上改变任务信息、推理、自检、时间预算和底座模型,并发布逾1.8万条轨迹。作者发现约54%的结果方差来自相同配置重复运行;提供的信息影响大于时间和模型规模,专用验证工具也比提示“请自检”更能改变行为。
阅读本期头条08:10早 · 每天这个点更新
后量子算法、迁移与协议,标准、网络安全、AI 与 NGCC 公钥征集。每条都回到原始来源核实并标明日期;周五另有一份七天周报。

AI 前沿
“Agents Are Systems, Not Models”在四个科学任务上改变任务信息、推理、自检、时间预算和底座模型,并发布逾1.8万条轨迹。作者发现约54%的结果方差来自相同配置重复运行;提供的信息影响大于时间和模型规模,专用验证工具也比提示“请自检”更能改变行为。
阅读本期头条2026年10月
| 一 | 二 | 三 | 四 | 五 | 六 | 日 |
|---|---|---|---|---|---|---|
5 条 · AI 前沿 · 一天一页
AI 前沿
“Agents Are Systems, Not Models”在四个科学任务上改变任务信息、推理、自检、时间预算和底座模型,并发布逾1.8万条轨迹。作者发现约54%的结果方差来自相同配置重复运行;提供的信息影响大于时间和模型规模,专用验证工具也比提示“请自检”更能改变行为。
阅读解读PACE论文把工具元数据、网页、记忆和技能都视为可能污染Agent下一步调用的输入,在每次工具执行前检查影响路径、能力范围与实际副作用是否符合已认证用户请求。八个可执行安全基准中,它在79个可比攻击列的62列取得最低成功率,原生任务效用最多下降3点;仍需真实系统复核。
arXiv论文指出引用和执行日志分别有效,仍可能被跨声明、跨运行或跨来源版本移植。作者设计以声明为锚的执行契约,把答案中的确切声明、来源片段、顺序执行前缀和访问版本共同承诺;在1280次跨对象替换中检测1275次,并将结构完整性与语义支持分开。
arXivAPEX研究构造针对用户任务和指定动作的对抗技能链,上游技能让Agent写出看似真实的进度记录并夹带“用户已批准”,下游技能再据此执行攻击者动作。六模型690次实验中成功512次;单纯要求核对原始请求虽降低攻击,也明显损害正常任务,显示授权信息不能靠自然语言文件传递。
arXivMingbird论文认为2B至9B小模型的大量失败来自Agent框架而非模型本身,提出净零工具预填充预算、完成门和调用签名级循环检测等十项机制。在作者自建LRAB上总分0.886,高于三个对照框架;作者同时承认单机、自建任务与单次评分限制,消融结果只能看方向。
arXiv