原始来源日期:2026-10-14。vLLM 修改 Gemma4 工具调用解析,在参数值仍为开放字符串时允许增量输出。Gemma4 使用自定义键值格式,原转换器可能等到闭合分隔符出现才输出长字符串,使生成代码或长文本参数时下游长时间看不到内容。
新扩展器识别当前最后一个顶层字符串值,随后直接处理每个新增片段,转义成与完整转换器一致的 JSON 字符串内容。若片段关闭了值或出现需要重新解释的结构,扩展器返回控制权,让常规转换流程重新计算安全前缀。
边界处理包括跨片段的字符串分隔符、截断流中的部分终止符、尾部空白,以及可能被误当作工具调用结束的大括号或右括号。实现保留这些尚不能确定的尾部,等新内容消除歧义后再发送,避免已经交给客户端的文本随后被撤回或改写。
解析引擎也调整过滤顺序:只要扩展器仍在工作,所有片段都要交给它,不能因为某段没有结构字符就跳过。否则普通字符串中间部分可能被丢弃,直到下一个逗号或分隔符才恢复输出,造成累积参数与一次性解析不一致。
测试覆盖不同分块尺寸、Unicode、转义、嵌套字段、分隔符分裂与中途截断,并对照完整转换结果。另有测试约束长字符串不会让转换次数随长度增长,但没有完整吞吐、CPU 或延迟基准,因此不能把它外推为所有模型工具调用都获得固定倍数加速。vLLM 框架采用 Apache-2.0 许可,该许可不替代 Gemma 模型自身条款。
量仔观察
本站认为,Agent 流式参数应具有前缀稳定性:已经发给下游的内容必须是最终参数的正确前缀。该补丁把延迟与一致性一起测试,比单纯追求更早输出更有意义。应用仍应等完整工具参数通过校验后再执行有副作用操作,增量文本更适合预览、日志和提前准备;服务器能持续输出 JSON 片段,并不意味着每个片段已经构成可独立执行的有效请求。