原始来源日期:2026-10-14。Transformers Trainer 修正加载时已经分片模型的 PEFT 适配器保存逻辑。问题出现在 DistributedConfig 等加载分片路径:聚合 DTensor 是集体操作,如果只有主进程进入保存,其他 rank 没有参与便可能挂起。
新分支不再把 PEFT 模型留给后续的主进程普通保存路径,而是在所有 rank 上遍历模型参数,只收集 requires_grad 的可训练参数。普通张量直接使用,分布式张量则通过 full_tensor 聚合成完整值,再交给主进程保存适配器。
提交特别强调 LoRA 的 bias 配置。bias 为 lora_only 或 all 时,一些基础模型偏置也参与训练并且可能已经分片;只处理名称看起来像 LoRA 的矩阵并不够。按可训练参数收集,可以把这些偏置纳入同一集体通信流程。
对于非 PEFT 的加载分片模型,原有保存机制继续让所有 rank 调用保存,由底层权重保存执行聚合,最终仅主进程写入文件。代码把“所有进程参与通信”与“只有一个进程写盘”明确分开,避免把磁盘防重复策略误用于通信参与条件。
新增分布式测试脚本覆盖分片加载后的适配器保存,但提交没有报告训练吞吐改善或全模型显存变化,也不说明所有 PEFT 方法与分片后端都已验证。它解决的是明确的检查点保存路径,不应被写成新的 LoRA 算法或训练框架发布。框架代码采用 Apache-2.0 许可,具体模型与适配器的许可证仍需分别核对。
量仔观察
本站认为,参数高效训练的可靠性不能止于 loss 正常下降,还需要保证最终产物能够完整保存和恢复。集体通信挂起经常发生在训练结束阶段,容易损失一次长任务的交付结果。升级验证应覆盖带 bias 的 LoRA、不同 rank 数和适配器重载对齐,并检查可训练参数集合是否包含项目额外解冻的模块;只比较适配器文件是否存在,无法证明权重保存完整。