原始来源:2026-10-15。vLLM 主分支合入推测解码随机抽样修复,目标是避免块验证不同轮次对未提交位置重复使用随机数。代码采用 Apache 2.0 许可证;这是一项已合入变更,并不表示所有已安装发行包或云服务都已经包含补丁。

推测解码会先生成草稿,再由目标模型接受或拒绝其中若干 token。某个绝对位置可能第一次位于块内较后位置,下一轮又成为新的起点。若只依赖请求种子和绝对位置,该位置再次参与抽样时,就可能得到与前次相关联的噪声,不能仅凭单轮测试判断整个流程正确。

补丁增加 spec_step_seed,把推测步索引左移32位后与请求种子组合。带草稿 logits 缓存的 Gumbel 抽样路径使用当前列索引;块拒绝验证在相应模式下使用循环步索引。非块验证路径保留原来的种子处理,而不是把所有随机抽样都无条件改写。

相关变化同步到水印抽样和 DFlash2 候选遍历,避免不同实现对同一草稿步骤使用不一致的随机键。代码修改集中在基础抽样与调用接口,没有更换模型权重,也没有把密码学随机数安全性作为本次结论;它关心的是推理抽样的统计与实现一致性。

新增 CUDA 测试在4096个样本上比较重复同一步与切换步骤后的结果,还以32768次试验、六个输出 token 和两个推测步检查多轮最终分布。测试分别覆盖概率草稿与不同块验证选择,并要求确实接受过草稿 token。这些是提交的回归测试设置,本站没有运行 GPU 实验。

量仔观察

推测解码的“无损”不能只理解为单次接受概率公式正确,还必须保证跨轮使用的随机量符合实现假设。这个补丁最有启发性的地方,是把重访同一位置纳入测试,而不是只比较一次草稿与一次验证。工程验收可以在固定种子下检查可复现性,再独立观察最终分布;两者并不矛盾。这里没有足够证据声称所有任务质量都有提升,更不应把分布测试样本数当成真实吞吐基准。