2026-11-10,Google DeepMind与Artificial Analysis发布Multimodal Knowledge Agent(MKA)评测,面向需要浏览网页、读取多种文件并生成交付物的知识工作代理。评测包含200个私有任务,覆盖10个行业,重点不是短问答,而是代理能否在多轮工具使用后交付可检查的文档、表格或其他文件。
Artificial Analysis说明,其使用名为Stirrup的执行框架,每项任务最多允许250轮交互,并以完成度和产物质量评估结果。公开榜单显示,Climb成功率最高的一组结果目前为Claude Fable 5.2约57%、Gemini 4 Carbon约54%、Claude Opus 5.5约53%。这些数字来自特定模型版本、框架和配置,不能与其他代理榜单直接横比。
MKA的价值在于把“会不会调用工具”推进到“能否完成带上下文和文件产物的工作”。任务需要模型理解异构输入、规划步骤、管理中间状态并生成可用结果,更接近研究、咨询、运营和分析场景。接近一半任务仍未完成,也说明当前前沿模型距离稳定替代完整知识流程还有明显差距。
证据边界同样重要。200个正式任务保持私有,有助于降低训练污染,但限制外部团队逐题复现;公开样例只能展示任务风格。评测还使用GPT-6 Luna作为裁判之一,尽管有评分规则,模型裁判仍可能受格式、表达或模型家族偏好影响,需要人工审查和多裁判一致性数据来增强可信度。
Artificial Analysis称所有评测由其独立运行,这比直接引用厂商自测更强,但Google参与了基准设计和发布,仍应把方法、执行和宣传角色区分开。企业选型不应只看总成功率,还要检查失败类型、工具权限、单任务成本、运行时长、产物可编辑性和敏感数据处理方式。
量仔观察
受影响的是构建知识工作代理、采购模型API和设计企业评测的团队。MKA提供了较贴近真实产物的新测量面,且有独立执行方,但私有题集与模型裁判降低完全可复现性。建议用公开方法建立内部任务集并人工复核关键产物;下一观察点是更多公开样例、成本/时延数据、裁判一致性和模型版本复测。