DYcoder

一句话结论：SVM 用判别器估计某个 state-action 更像来自成功 episode 还是失败 episode，并把 log-odds 作为稠密 shaping reward；在确定性环境和论文的计数估计条件下，最大化该奖励仍会最大化原始成功概率。 论文信息 标题：Learning Process Rewards via Success Visitation Matching for E

一句话结论：G2PO 不再把 rollout 看成彼此孤立的线，而是把相同 observation 聚成状态节点、把动作看成有向边；它先聚合多条未来结果估计节点价值，再用边两端的价值增量给动作做全局信用排序。 论文信息 标题：Group-Graph Policy Optimization for Long-Horizon Agentic Reinforcement Learning 作者：Yun

一句话结论：VIMPO 从 KL 正则 RL 的最优性条件推出：策略相对 reference 的逐 token log-ratio，等于 Bellman residual 加 KL 校正。它用终态价值为零训练“策略隐含价值”，再从同一恒等式构造 PPO actor advantage，不需要独立 critic。 论文信息 标题：VIMPO: Value-Implicit Policy Optim

一句话结论：FlowTracer 不直接把 attention 大小当 token 重要性，而是先把 token 建成注意力 DAG，再用答案可达势函数重加权边，使有效影响只沿最终抵达答案的路径流动且局部守恒；流量最高的 40% token 在 RL 更新中得到 1.5 倍权重。 论文信息 标题：How Does Reasoning Flow? Tracing Attention-Induced

一句话结论：这篇论文把信用分配从静态 token 选择改成训练期课程：早期只优化最符合判据的一小部分 token，随后逐步放宽阈值，最终纳入更广的轨迹；最简单有效的版本从答案附近的后缀开始，逐渐向前扩展。 论文信息 标题：Not only where, But when: Temporal Scheduling for RLVR 作者：Zhang et al. 版本：arXiv:2605.253

一句话结论：SCRL 不先发明更复杂的 credit estimator，而是改变训练任务：把一道难题变成四个递进、可独立验证的子问题，在 rollout group 内按子问题位置分别归一化 reward，再把 advantage 只分给对应答案 span。 论文信息 标题：From Reasoning Chains to Verifiable Subproblems: SCRL Enable

一句话结论：DelTA 不额外训练过程奖励模型，而是把 RLVR 的策略梯度更新看成 token-gradient 空间中的隐式线性判别器，再放大“更像正确侧、而不像错误侧”的 token 方向。它真正改变的不是奖励本身，而是序列奖励进入策略梯度时，各 token 梯度所占的份量。 论文信息 标题：DelTA: Discriminative Token Credit Assignment for

一句话结论：这篇综述不只按 token/step/turn 罗列方法，还提出六个“假设破裂”诊断和 CA-ID Card：任何信用主张都必须说清单位、替代动作、恢复的有效状态、后续协议与证据层级，否则一个看似精确的分数甚至可能连因果贡献的正负号都无法识别。 论文信息 标题：From Reasoning to Agentic: Credit Assignment in Reinforcement

一句话结论：HCAPO 不训练额外 critic，而是把最终结局写回提示，让当前 LLM 重新给已经执行的动作打分；动作在“已知成功结局”条件下越合理，它获得的事后信用越高。宏观的 GRPO outcome advantage 负责不跑偏，微观的 hindsight advantage 负责区分关键动作与噪声动作。 论文信息 标题：Hindsight Credit Assignment for

多教师 On-Policy Distillation（M-OPD）想把多个领域专精的 RL 教师融进一个通才学生模型，听起来很美，但实践中往往”融着融着就把某个领域能力融没了”。来自清华大学 AIR SIA-Lab 与 ByteDance Seed 的团队首次系统诊断了这一病理：标准 M-OPD 只能恢复 35.6% 的可用 headroom，而问题根本不在人们惯常怀疑的”梯度冲突”，而在 tok