原始公开日期:2026-10-14;合入日期:2026-10-17。SGLang 合入 PR #44220,修正预填充 CUDA 图回放与分层缓存回载之间的同步缺口。问题涉及 KV、滑动窗口及 Mamba 状态的逐层加载,影响的是推理结果正确性,而不只是缓存命中率。
通常的前向计算通过内存池访问函数等待所需层的数据,但 Full CUDA 图回放整体启动,不再执行那些 Python 级逐层等待。若缓存搬运尚未完成,模型就可能读到未落地状态并产生错误 logits;依赖这些结果计算的后续缓存还可能继续被保存,扩大错误的影响范围。
修正方法是在对应 Full 回放前检查加载计数器;当前批次存在消费者时,等待最后一层完成。代码利用层按顺序完成的性质建立边界。没有加载的批次不额外等待,eager 与一般 breakable 路径仍保留原先的逐层计算重叠,避免一刀切地把所有缓存回载串行化。
作者加入可控的主机到设备搬运延迟,使正常速度下偶然被隐藏的竞态稳定出现。报告以 thinkingmachines/Inkling 的 test 修订、确定性推理为对象,在单张 H200 与单张 GB300 上分别观察到修前平均 KL 偏差,修后为零。该零值仅指所测配置下的对比结果,不是整个系统不存在数值差异的证明。
性能记录另使用 Inkling-Small bf16、四张 GB300、Full 预填充图与缓存前缀后新增512 token,取五次中位数。作者报告16万前缀的首 token 延迟由113.0毫秒到115.0毫秒,体现正确等待的成本。PR还明确将另一种被图捕获的状态读取问题留给单独修正,不能据此宣布所有 breakable 场景已排除风险。
本次阅读了合入差异、回归用例和作者记录,未在相同 GPU 环境独立复测。新增测试既检查等待最后一层,也检查无计数器和非 Full 路径,删除等待的负面对照会失败;这些证据比单纯运行一次缓存命中测试更能解释修正针对的机制。
量仔观察
本站认为,这次修正说明推理加速评估应把正确性压力条件放在吞吐量之前:常规测试通过,可能只是数据复制恰好快于回放。注入受控延迟能暴露这种时间依赖,但压力强度和硬件条件必须随结果保留。对启用分层缓存的部署,还应检查错误状态是否可能写回共享缓存;单次请求恢复正常,并不能自动消除此前形成的缓存污染。