原始发布日期:2026-10-16,vLLM 提交 b544587;北京时间为 2026-10-17。变更新增 KVCacheConfigBuilder,使平台或特定模型能够定制缓存分组和物理张量布局。接口与默认实现均明确标为实验性质,契约后续可能改变。
平台通过一个钩子返回构造器类路径,默认构造器可以采用模型声明的缓存分组方法,也可以回到既有分组逻辑。若平台提供完全自定义构造器,它可以自行决定是否调用模型钩子,因此优先级是清楚的实现选择,不能假定两种定制会自动叠加。
扩展接口主要提供两项决策:哪些层共享逻辑缓存组,以及给定块数后如何落实为缓存张量。跨工作进程的规划流程仍由 Core 管理,包括容量检查、自动确定最大长度、预留空块和统一各进程可用块数,避免插件分别实现一套不一致的准入规则。
核心代码会检查分组是否重叠或遗漏层。块占用字节的探测暂时压制手动覆盖的块数配置,防止用放大后的探测值误算容量;多个设备分配布局需要明确给出每块字节数。工作进程投影还保留组角色、主机驻留及传输开关等元数据。
测试围绕构造器解析、平台与模型优先级、组划分和字节核算展开;默认模型分组不能与拥有自身分组的 HiSparse 同时使用。此次核实的是 Apache-2.0 仓库的代码合入与测试设计,没有独立运行性能基准,也没有确认该接口属于某个已发布的稳定版本。
量仔观察
本站认为,这项接口适合需要特殊缓存布局的硬件后端和模型作者,价值在于减少对核心规划代码的长期分叉。扩展性仍需受容量不变量约束:如果插件给出的每块字节数或跨进程布局不一致,模型可能在准入时被错误估算。接入者应先验证容量边界与多进程一致性,再讨论吞吐提升,不能把开放钩子本身当作性能优化结果。