原始提交日期:2026-10-17,vLLM 提交5c1c9035,关联 PR #62027。开发分支为 Qwen3 与 MiMo 的 XML 风格工具参数加入增量值扩展,使模型持续生成长参数时,不必每来一小段就重新转换已经积累的全部参数文本。

新逻辑只在最后一个参数值仍打开时启用。它把追加文本转义为 JSON 字符串片段,并跟踪可能形成结束标签的尾部窗口。如果发现参数闭合或下一参数开始,就交回常规解析器处理。这样既利用了稳定前缀,也保留了结构改变时的重新判定。

换行语义并未被统一抹平。Qwen3 路径会按原转换器的规则移除包裹换行,并暂存可能位于末尾的换行;MiMo 则保留其原有值内容。对于重复键导致值不在末尾、标签名称尚未结束或参数已经闭合等情况,扩展器不启用,避免把增量追加错误施加到既有结构。

新增测试模拟写文件工具调用,参数含引号、反斜杠、非ASCII字符、空行和看似标签的文本,并以小块输入比较流式与非流式参数结果。另一用例把文本由20行增加到200行,检查部分转换器的调用次数不随值长度继续增长,直接验证减少重复工作的目标。

提交标题声称约12KB调用的解析耗时明显下降,但本次差异没有提供足以独立对比的完整硬件与基线口径,因此不把该数字写成所有 Agent 的速度提升。变更仅涉及服务端参数解析,不提高模型本身的生成速率,也不改变工具是否被授权执行;正式发行版是否包含它仍需单独核对。

量仔观察

本站判断,长工具参数是 Agent 体验中容易被忽略的瓶颈:模型一边生成文件,服务端可能一边重复处理此前内容,造成与 token 生成速度不相称的延迟。此次方案的价值在于同时写清快路径和退出条件。集成者应比较最终 JSON 与原有转换器是否一致,尤其关注分块结束标签、类型转换及重复键,而不应只拿一段普通文本的耗时来判断可以安全替换整个解析链。