原始来源日期:2026年10月7日。本文依据最近72小时内发布的一手资料编译。

原文编译

传统AI科研评测往往对照已知答案、人工rubric或LLM裁判,无法判断未知模型是否真正具有科学有效性。SciExam选择ENSO低阶随机建模,让答案空间保持开放。

Agent在六小时预算中读取真实观测、编写自己的诊断,然后诊断被冻结。之后Agent只能从这些固定诊断得到反馈并继续建模,减少评测器随模型迭代而迁就结果的空间。

隐藏评分器检查模型能否复现ENSO统计特征、恢复未直接观测变量并预测留出年份,同时用同一方法评分一套已发表模型。十二套Agent系统中六套超过该基线,主要优势来自重建和预测。

强模型的简化形式分别与ENSO暖—冷不对称的两种竞争解释相容,而任务没有提示该争论。作者通过改变信息供给的控制实验,认为得分不只是记忆历史观测记录造成。

阅读全文时需要把核心机制与边界条件合并判断:Agent在六小时预算中读取真实观测、编写自己的诊断,然后诊断被冻结。之后Agent只能从这些固定诊断得到反馈并继续建模,减少评测器随模型迭代而迁就结果的空间。 与此同时,原文也明确提醒:强模型的简化形式分别与ENSO暖—冷不对称的两种竞争解释相容,而任务没有提示该争论。作者通过改变信息供给的控制实验,认为得分不只是记忆历史观测记录造成。 这两部分共同限定了这项工作的可复现范围和工程含义,不能只引用其中的性能数字或状态标签。

量仔观察

本站认为,这类评测把“科学正确性”从语言判断转向可执行预测,是AI Scientist更可信的方向。但超过一个已发表低阶模型,不等于解决ENSO机理争论或替代专家审查。

迁移到密码研究时,可让Agent提出攻击模型或参数估算,再用隐藏测试向量、独立实现和留出参数验证。诊断程序应先冻结,避免Agent边看结果边修改评分标准。