原始来源日期:2026-10-05。vLLM 发布 v0.31.0,发布记录未标记为预发布,项目许可为 Apache-2.0。除新模型与计算后端支持外,这一版本把服务生命周期、KV 缓存压力和请求配置边界作为重要变化。本文根据发布说明编译,本站没有执行服务启动或吞吐复测。

新的 vllm preload 守护进程用于在引擎重启之间保留已经量化后的 GPU 权重,并提供健康与就绪检查等配合能力。保留权重不等于自动保存每个请求的会话 KV 状态。另一个入口 vllm snapshot create/restore 使用 CRIU 保存初始化后的引擎,当前属于实验功能并限制在 TP1,不能直接推广到任意张量并行部署。

KV 调度方面,版本修复卸载压力相关问题,并提供 max-num-active-seqs 来限制处于运行状态的请求数量,使其与其他请求数限制区分。队列考虑已持有 KV 的请求,还处理 MTP 与 KV 组合下的死锁边界。这些变化针对不同阶段的资源占用,不是简单把所有并发参数调大。

每请求的多模态处理和媒体输入参数默认被拒绝,只有显式开启 trust-request-mm-kwargs 才允许相应覆盖。LoRA 名称与缓存盐也参与缓存键区分。这些设置直接影响不同请求之间的隔离语义;是否启用兼容入口,应以调用方是否可信为条件,而不是为了恢复旧客户端行为便全局放开。

硬件优化涉及特定架构和模型路径,不能将某一个 GPU 后端的改进写成全部设备通用。版本还有慢分词模式移除、量化参数命名等兼容性变化。现有运维脚本、镜像与参数组合需要按发布记录核对;本文没有提供不存在的跨硬件对照数据或统一延迟下降比例。

量仔观察

本站判断,这个版本的价值不止在单步解码速度,还在启动、重启和过载时的行为。GPU 常驻权重会减少重新加载需求,也会占用其他服务可用的显存;实验性快照又具有更窄的适用条件。对在线服务,应分别测启动时间、资源常驻量和高分位等待延迟,并检查多模态参数的信任边界,才能判断新机制是否改善了实际运行。