原始来源:2026-10-12;代码状态:功能已合并到 vLLM 主分支,尚未据此确认进入正式版本。新功能面向 MoNe 一类专家替代模型:部分路由专家被剪枝后,不再加载完整前馈网络权重,而用一个形状为 `hidden_size` 的常量张量表示其输出。配置可以通过 `approximate_experts` 简写,也可以在 `compression_config.transform_config.expert_substitution` 中显式描述目标层与替代张量。
设计刻意保留逻辑路由语义。路由器仍产生原专家编号与权重,被替代专家 j 对输出的贡献是 `w_j(x) v_j`;实现不会把它的权重重新归一化或转移给保留专家。保留专家按逻辑编号压缩到物理行,被替代路由改写为指向物理专家 0 的零权重路径,随后再把常量贡献以 FP32 累加回来。
在张量并行场景中,常量输出只在一个 rank 上加入,然后随部分输出一起做 all-reduce,避免每个 rank 重复贡献。权重加载仍以逻辑专家编号匹配检查点,只为保留专家分配完整行;替代常量在模型 `load_weights` 边界消费。若本地构建了某个替代专家却缺少对应常量,加载会失败,而不是静默使用零值。
提交同时写明限制:当前只选择把专家执行拆解开的后端,内部自行路由的单体后端不会被选中;零权重路由仍可能调度少量无用 GEMM,因此节省显存不等于所有计算成本都消失。显式 expert substitution 暂不能与 compressed-tensors 的量化配置并用,因为后者的 transform schema 尚未包含相应字段。
更新路径也并非完全透明。直接 `load_weights` 可以改变单个常量,但按检查点格式做分层 `reload_weights` 会被拒绝,模型保留旧权重。提交包含内核、后端选择、模型加载和多种并行组合测试,却没有在提交信息中提供统一硬件、模型与吞吐/显存基准,因此当前只能确认机制和测试覆盖,不能量化实际收益。
量仔观察
本站认为,最有价值的细节是“保留路由语义但压缩专家存储”,这让剪枝模型不必伪装成专家数量变少的全新架构。代价是运行时和权重格式都出现新分支,尤其量化兼容、热重载与后端选择需要运营侧关注。使用者应以自己的模型检查点验证输出一致性、显存峰值和吞吐,而不是从“剪枝支持”直接推导固定加速比例。