原始来源日期:2026-10-13。vLLM 合入一项编译缓存重构,目标是让 Transformers 后端模型不再依赖 AOT 产物缓存,而改用底层 PyTorch 图缓存。提交为 `support_torch_compile` 增加 `use_aot_compile` 开关,并在 Transformers 基类装饰时关闭 AOT。
关闭 AOT 并不等于禁用编译。代码说明,在 DYNAMO_TRACE_ONCE 与 VLLM_COMPILE 模式下,该开关会跳过模型 AOT、mega artifact 与直接编译产物,同时保留 FX graph、AOT Autograd 或 Inductor 能够提供的图级缓存路径。编译器接口和后端初始化由此都显式接收是否允许 AOT 的参数。
缓存目录管理也被集中处理。新辅助函数在模型基础目录下创建 Inductor 缓存,并在调用方没有明确指定 Triton 目录时建立模型局部目录;如果环境变量仍指向上一个适配器自动设置的目录,初始化下一个模型时会更新它,避免不同模型意外共享临时默认位置。
测试覆盖新的跨进程探针:只有 vLLM 缓存根在进程间保留,测试改变函数捕获值,检查图缓存既能命中又不会错误复用语义已经变化的结果。另有测试验证 functorch 配置在正常返回和抛出异常后都能恢复,并检查禁用编译缓存时不会意外加载 AOT 产物。
这项改动主要解决正确性与可维护性,没有提供启动时间、磁盘占用或吞吐基准。它也不是彻底删除 AOT:其他允许该能力的模型和显式配置仍可使用相应路径。对生产系统而言,升级后首次编译时间与缓存目录结构可能变化,需要在滚动部署和共享缓存策略中单独验证。
量仔观察
本站认为,生成式推理的编译缓存必须同时回答两个问题:产物能否复用,以及复用后语义是否仍然正确。Transformers 模型结构和捕获状态变化频繁,图级缓存比粗粒度 AOT 包更容易按真实 guard 失效。此次提交用跨进程测试约束这一点,比单纯宣称“缓存更快”更可靠;后续仍需观察多副本共享缓存、版本升级清理和磁盘配额的运维影响。