原始发布日期:2026-11-03。Google Developers Blog公布一项50题、自动评分的编码代理实验,研究在Gemini调用前加入低成本分类器,能否把简单任务发往更轻模型、把复杂任务升级到较强配置。实验使用TypeSafe的Jev作为示例;Google明确表示双方没有合作或背书关系,同样结构也可以换成其他分类器。

研究先冻结了一个依赖关键词和提示长度的本地启发式规则。它在用于编写规则的16道开发题上达到15/16,但在七类34道未见题上下降23.2个百分点,只剩70.6%与人工难度标签一致。长但简单的Kubernetes YAML、diff路径提取被误升级,短但需要多步状态推演的题又被误判为简单;Jev在34道留出题上为34/34,全套与人工标签一致48/50。

一个关键负结果是,`maxOutputTokens`只是输出上限,不是推理预算旋钮。把Gemini 3.8 Flash的上限从4096降到300、同时保留默认思考配置,并没有降低简单题成本;在25个难题中却造成7个失败,其中6个在推理尚未完成时用尽输出空间,另一个给出错误答案。即便分类器分流完全正确,这个“便宜配置”也比全量正常Flash更慢且略贵。

第二轮把轻路径换成默认不思考的Gemini 3.5 Flash-Lite,升级路径用Gemini 3.8 Flash低推理。单独使用低推理Flash已完成50/50,路由方案同样50/50;Flash-Lite单独漏掉的6个难题都被Jev标记为复杂并升级。作者称路由相对全量低推理减少成本和响应时间,但短提示下单题成本差异很小,主要收益是等待时间。

限制同样具体:每种设置只跑一次,样本只有50个,难度标签由人工指定,评分规则简单;默认Flash或Pro的速度来自不同轮次,比较只能近似。作者尚未发布基准代码,计划待开源审查后公开。长上下文代理还会遇到缓存冲突,因为缓存通常绑定模型,频繁切换Flash-Lite与Flash可能丢掉75%至90%的上下文重用折扣。

量仔观察

这项实验最有用的结论不是“加路由必然省钱”,而是必须先建立成功任务成本基线:如果低推理模型本已完成全部任务,复杂路由只能在延迟或特定失败分布上增加价值。生产系统应按真实轨迹分层,记录重试、工具调用、思考token、缓存命中和验收结果;短小独立任务适合分流,长代理回合更可能受益于单模型缓存。50题单次厂商实验不足以推广到所有代码库,部署前仍需在自己的失败代价与安全策略上复测。