AI 前沿
vLLM 将 Transformers 模型的 AOT 缓存改为图缓存并隔离模型目录
vLLM 重构 Transformers 模型编译缓存:允许按类关闭 AOT 与直接编译产物,同时保留 PyTorch 图缓存;Inductor 与 Triton 缓存目录按模型初始化,新增跨进程命中、环境变更和异常恢复测试,减少错误复用陈旧产物的风险。
阅读本期头条08:10早 · 每天这个点更新
后量子算法、迁移与协议,标准、网络安全、AI 与 NGCC 公钥征集。每条都回到原始来源核实并标明日期;周五另有一份七天周报。

AI 前沿
vLLM 重构 Transformers 模型编译缓存:允许按类关闭 AOT 与直接编译产物,同时保留 PyTorch 图缓存;Inductor 与 Triton 缓存目录按模型初始化,新增跨进程命中、环境变更和异常恢复测试,减少错误复用陈旧产物的风险。
阅读本期头条2026年10月
| 一 | 二 | 三 | 四 | 五 | 六 | 日 |
|---|---|---|---|---|---|---|
3 条 · AI 前沿 · 一天一页
AI 前沿
vLLM 重构 Transformers 模型编译缓存:允许按类关闭 AOT 与直接编译产物,同时保留 PyTorch 图缓存;Inductor 与 Triton 缓存目录按模型初始化,新增跨进程命中、环境变更和异常恢复测试,减少错误复用陈旧产物的风险。
阅读解读vLLM 为 GLM-5.3-Flash 增加模型专属配置:当 cache_dtype 为 auto、运行于 CUDA 且设备属于 capability family 100,并识别到相应模型字段时,自动改用 FP8 KV Cache。提交标题报告端到端吞吐提升 9.8%,但基准细节未随代码给出。
vLLM GitHubPyTorch 为 cudaMallocAsync 后端实现 torch.cuda.MemPool 的创建、复用与销毁生命周期,使依赖对称内存的训练负载可运行;提交同时明确自定义分配器、池隔离仍不支持,CUDA Graph 也会忽略用户池并使用原有内部池。
PyTorch GitHub