DYcoder

SCRL：从推理链生成可验证子问题——让失败 rollout 也产生细粒度信用

一句话结论：SCRL 不先发明更复杂的 credit estimator，而是改变训练任务：把一道难题变成四个递进、可独立验证的子问题，在 rollout group 内按子问题位置分别归一化 reward，再把 advantage 只分给对应答案 span。 论文信息 标题：From Reasoning Chains to Verifiable Subproblems: SCRL Enable
信用分配
#LLM #强化学习 #credit assignment #RLVR #curriculum

DelTA：从隐式判别器到 token 级信用分配——方法、公式与完整数值推演

一句话结论：DelTA 不额外训练过程奖励模型，而是把 RLVR 的策略梯度更新看成 token-gradient 空间中的隐式线性判别器，再放大“更像正确侧、而不像错误侧”的 token 方向。它真正改变的不是奖励本身，而是序列奖励进入策略梯度时，各 token 梯度所占的份量。 论文信息 标题：DelTA: Discriminative Token Credit Assignment for
信用分配
#LLM #强化学习 #credit assignment #RLVR #token-level

综述｜From Reasoning to Agentic：LLM 强化学习信用分配的统一地图与识别边界

一句话结论：这篇综述不只按 token/step/turn 罗列方法，还提出六个“假设破裂”诊断和 CA-ID Card：任何信用主张都必须说清单位、替代动作、恢复的有效状态、后续协议与证据层级，否则一个看似精确的分数甚至可能连因果贡献的正负号都无法识别。 论文信息 标题：From Reasoning to Agentic: Credit Assignment in Reinforcement
信用分配
#LLM #survey #agentic RL #强化学习 #credit assignment

HCAPO：用结局反看关键动作——长程 LLM Agent 的事后信用分配

一句话结论：HCAPO 不训练额外 critic，而是把最终结局写回提示，让当前 LLM 重新给已经执行的动作打分；动作在“已知成功结局”条件下越合理，它获得的事后信用越高。宏观的 GRPO outcome advantage 负责不跑偏，微观的 hindsight advantage 负责区分关键动作与噪声动作。 论文信息 标题：Hindsight Credit Assignment for
Long Horizon
#LLM #GRPO #agentic RL #credit assignment #hindsight

Open-MOPD：诊断并修复多教师 On-Policy 蒸馏中的能力失衡

多教师 On-Policy Distillation（M-OPD）想把多个领域专精的 RL 教师融进一个通才学生模型，听起来很美，但实践中往往”融着融着就把某个领域能力融没了”。来自清华大学 AIR SIA-Lab 与 ByteDance Seed 的团队首次系统诊断了这一病理：标准 M-OPD 只能恢复 35.6% 的可用 headroom，而问题根本不在人们惯常怀疑的”梯度冲突”，而在 tok
MOPD
#LLM #强化学习 #知识蒸馏 #On-Policy Distillation #多教师蒸馏

PowerOPD：用有界幂变换稳定 On-Policy Distillation

On-Policy Distillation（OPD）通过让学生模型在自己的生成轨迹上向教师学习，有效缓解了传统离线蒸馏的曝光偏差问题。然而，标准 OPD 使用 log-ratio 作为奖励信号，这一看似自然的构造却隐藏着严重的训练不稳定性——梯度方差爆炸。 来自 Sea AI Lab 和西湖大学的研究团队提出 PowerOPD，通过 Box-Cox 幂变换将有界性内建到奖励设计中，从根本上解决了
OPD
#LLM #强化学习 #知识蒸馏 #On-Policy Distillation #方差缩减