原始来源:2026-10-15。SGLang 主分支修改流水线并行的输出交换顺序,用 rank 奇偶决定先发送还是先接收,修复跨节点场景的挂起。项目采用 Apache 2.0 许可证;本次是代码合入,不是新模型发布,也没有随提交给出统一吞吐提升结果。
旧逻辑认为 CUDA 的异步发送可以先提交并迅速返回,只对部分后端或推测中继开启收发配对。提交说明指出,这个假设受到通信缓冲容量限制:当对端连接的空闲槽被用完,设备发送仍要等待匹配的接收,而同一对端的点对点操作在一条流上排队。
两个微批同时在途时,一条路径返回前一个微批的输出,另一条路径还在转发另一个输出。如果所有 rank 都把发送排在接收之前,发送可能等待对端的接收,而接收又排在对端发送之后,形成环形等待。异步 API 名称并不保证无限量操作都能独立完成。
新逻辑对所有后端使用同一规则:偶数 rank 先发送,奇数 rank 先接收,不再依赖是否属于 XPU 或特定推测中继。补丁注释称,只要流水线大小大于一,交错安排就能让环中出现先投递接收的一方,从而打断全体先发送的等待链。
新增 CPU 单元测试模拟最保守的发送必须与接收会合的情形,直接调用调度方法记录操作,再检查双 rank、两个在途微批下的队首是否能逐步匹配,分别覆盖有无推测中继。它验证的是收发顺序,不是真正运行 NCCL、网卡或多种拓扑的硬件压力测试。
量仔观察
这项修复把“异步”从接口属性还原成受资源约束的执行行为。单机连接上缓冲比较宽裕时不出现的挂起,跨节点未必也能避免,因此只跑一台机器的成功样本不足以证明流水线协议可靠。这个 CPU 模型适合快速防止收发顺序回归,但上线验证仍应固定微批数量、流水线尺寸、网络后端和输出张量组合,确认最小缓冲条件下也能前进。不能把打断死锁的机制直接换算成性能百分比。