原始来源日期:2026-10-01。本文为研发价值回顾,不代表该资料于今日首次发布。
原文编译
论文批评把Agent当作固定模型并只报告一次成功率。真实Agent是可配置系统:用户提供多少任务信息、允许运行多久、是否有验证工具、怎样推理以及选择哪个底座模型,都会改变表现与成本。
作者构建四个科学任务,要求编码Agent找到并正确操作已发布的专业模型,系统性改变任务信息、推理方式、自我验证、时间预算和底座模型五类配置。
实验发现明显的重复运行波动:约54%的结果方差来自重复同一配置,而不是更换配置。这意味着单次跑分可能把随机轨迹差异误判为模型或框架提升。
跨配置比较中,提供给Agent的信息影响最大,超过时间预算和模型尺寸,同时还能降低成本并改善校准。更多时间只有在Agent已有足够信息或模型能力足够时才有帮助。
提示Agent“验证答案”对实际验证行为影响很小,而提供专用验证工具会显著改变轨迹。作者公开超过1.8万条轨迹,但基准只有四类科学任务,结论仍需在其他领域复现。
量仔观察
本站建议Agent评测至少报告多次运行分布、成本和失败类型,并把任务信息与工具版本固定成可复现实验配置。单一均值或最佳样本不足以支持选型。
产品设计上,与其反复要求模型自检,不如提供可执行验证器并把通过条件写入完成门。信息质量也应成为正式输入资产,而不是被归因给“模型智能”。
