原始来源日期:2026-10-01。
原文编译
许多连续控制算法依赖评论家对动作的梯度,但评论家通常只被训练去预测回报。值预测准确并不保证其关于动作的导数也准确,策略更新因此可能跟随噪声或错误曲率。
FERPO从策略改进目标推导最优目标动作分布,目标同时包含熵和相对当前rollout策略的KL正则。然后不对评论家求导,而是让Actor最小化到目标分布的正向KL。
正向KL用从rollout策略采样的动作和自归一重要性采样估计。KL约束限制目标分布偏离行为策略的程度,使重要性权重不至于极端;这也是算法保持在线稳定性的关键假设。
作者强调正向KL倾向覆盖目标分布的多个高价值模态,而反向KL更可能聚焦其中一部分。在MuJoCo Playground和ManiSkill实验中,论文报告竞争性性能、样本效率收益,并称Actor更新快于REPPO。
摘要未给出所有任务的绝对成绩和统计置信区间,竞争性结果仍需看完整表格与代码复现。连续控制基准的收益也不能直接推广到大语言模型RL或真实机器人。
量仔观察
本站认为FERPO最值得验证的是评论家误差如何传入策略更新。绕开动作梯度可减少一种不稳定源,但重要性采样、目标温度和KL约束又引入新的敏感超参数。
复现应报告不同随机种子、墙钟时间和采样成本,并与同算力预算方法比较。真实系统还要检查多峰覆盖是否带来更多危险探索,不能只以平均回报评价部署安全。
