原始来源日期:2026-10-13。PyTorch 合入 `cudaMallocAsync` 与 `torch.cuda.MemPool` 的最小兼容修复。此前该分配后端没有实现 MemPool 生命周期钩子,创建或切换用户内存池会报错;新代码允许池对象创建、进入上下文、重复使用并最终释放。
提交强调,两套内存池模型存在根本的所有权冲突。PyTorch 的 MemPool 期望选定的池拥有其中分配,而 `cudaMallocAsync` 仍把分配所有权留在 CUDA 默认异步池。因此此次实现只维护生命周期和使用计数,没有把普通 PyTorch 分配真正路由到用户自定义分配器,也不提供池之间的内存隔离。
CUDA Graph 也是明确限制。若图捕获传入用户创建的池,代码会发出一次警告并忽略该池,继续使用图捕获原有的内部池。这样做保持既有 `cudaMallocAsync` 图管理语义,避免把生命周期兼容误解为完整的分配语义兼容。
提交给出的直接受益场景是 symmetric memory。该功能用自己的分配器创建缓冲区,只在操作期间临时进入 MemPool,因此需要池生命周期正常工作,却不要求 `cudaMallocAsync` 调用该自定义分配器。维护者据此判断,依赖对称内存的训练负载可以在异步分配后端下运行。
测试覆盖池使用计数、重复进入上下文、图捕获、同步、重放与释放等路径,并在后端能力不适用时跳过某些缓存分配器快照检查。提交没有给出训练吞吐或显存节约数字,也没有声称所有自定义池用例已经支持,功能边界应以其明确列出的限制为准。
量仔观察
本站认为,这次修改的价值恰恰在于把“对象生命周期可用”与“分配所有权已切换”分开。训练基础设施常把 API 能创建视为语义完全兼容,进而错误推断隔离、回收或图捕获行为。PyTorch 在代码和警告中保留限制,有助于上层框架做能力探测;后续若要支持真正的自定义分配器,还需要解决默认异步池的所有权与回收契约,而不是继续堆叠表面适配。