2026-11-02,SemiAnalysis发布GDPx(GDP eXecution Benchmark),用206项任务评估前沿模型完成高价值专业工作的能力。任务覆盖11个领域,包括硬件与芯片设计、网络安全、生物、金融与法律、量化研究、材料、软件和AI对齐,并由14个专业合作方提供环境或领域知识。
每项任务被设计为接近真实工作流程,默认允许Agent运行8小时。评测优先使用模型厂商的原生代理框架,缺少原生框架时使用OpenCode;评分可为二元或部分得分。主榜采用三次独立尝试的平均pass@1,并先在合作方内部等权,再让各领域等权,避免任务数量多的领域直接压过其他领域。
公开榜单显示,Claude Opus 5.5为12.0%,Gemini 4 Carbon为10.9%,GPT-6 Astra为9.6%。同页还列出平均单任务成本,三者分别约51.41、16.29和53.99美元。低价模型出现另一种取舍,例如DeepSeek 4.1 Flash为5.4%、约0.94美元,GPT-6 Luna为5.1%、约0.92美元。
这些数字不能脱离执行框架解释。不同模型使用原生代理或OpenCode,工具编排和上下文管理并不完全一致;每项任务只进行三次尝试,稀有成功或失败会造成波动。网络安全、生物和对齐任务还可能触发模型安全分类器,得分下降有时反映拒答策略,而不只是缺乏专业能力。
GDPx公开了任务结构、评分方法和部分可查看任务,但并非全部206项任务及环境都完全开放。合作方创建的专用软件、数据和验证器限制了外部逐项复现。SemiAnalysis与合作方对任务真实性的说明是直接来源,却不构成独立第三方对整套榜单的重复实验。
因此,GDPx更适合作为“专业长任务仍然困难”的测量,而不是通用模型排名的唯一依据。企业若参考榜单,应优先找与自身工作流程相近的领域,比较任务成功率、成本、运行时长、安全拒答和人工复核负担,并在内部数据上复测,而不是把12%或成本均值直接外推到生产ROI。
量仔观察
这套评测的重要增量是把Agent从短题正确率推进到长时间、可验证的专业任务,同时把费用放在同一张表里。最佳模型首试通过率只有12%,说明“会使用工具”距离稳定替代专业流程仍很远。下一步应关注任务环境是否进一步开放、不同代理框架能否统一,以及多次尝试和人工接管后总体成本如何变化;这些因素比榜单一位之差更影响采购决策。
