原始发布日期:2026-10-15,Paddle 提交 919f119,合入可插拔 InnerOptimizer 接口以及混合分片优化器。开发者提出的场景是二维骨干参数使用 Muon,其余参数使用 AdamW,避免每次混合训练都要另行复制和改造分片优化器。

InnerOptimizer 把参数更新规则与累积状态、主权重和梯度裁剪等公共逻辑分开。子类需要声明是否整参数保留,配置缺失会在构造时失败;weight_decay 也要求明确给出。这样的接口约束试图把错误暴露在配置阶段,而不是在训练若干步后才表现为无声差异。

MixedInnerOptimizer 管理多个子优化器,并依据参数归属分发更新、汇集状态。梯度裁剪先在完整参数集合上执行一次,子优化器不再重复裁剪;主权重视图按参数写回所属优化器,避免只修改一个临时合并字典而没有影响真正训练状态。

MixedShardingOptimizer 作为分布式外壳,按每组优化器的声明决定整参数归属或元素级切分,接入混合并行优化器选择流程。检查点状态的命名布局也从子优化器接口获取,而非固定假定所有状态都具有 AdamW 的同一组名称。

提交包含单进程接口测试、构造的多机器归属测试,以及双卡混合分片测试代码,覆盖状态往返、分片状态和与单卡参考的比较。测试存在不等于本站已复跑;这项 Apache-2.0 项目的开发分支能力,也不能据此确定某个稳定版或某种硬件配置已经通过生产验收。

量仔观察

本站认为,混合优化器真正复杂的部分是状态和通信语义,而不是把两条更新公式放进同一个循环。此处将参数归属、裁剪与检查点布局显式化,有助于减少恢复训练时的错配风险。评估新接口时,应先验证同一批参数在保存恢复前后的更新一致性,再比较通信重叠和融合状态的收益;此次提交没有提供可以普遍推广的提速百分比。