DYcoder

训练通用的 tool-use agent 需要大量交互环境让模型自我探索，但现成环境极度稀缺，而既有合成方法在多样性和可扩展性上都不够。ScaleEnv 的思路很直接：从零造一个完全可交互、且任务可验证的环境，不依赖既有实现。 论文信息 标题：ScaleEnv: Scaling Environment Synthesis from Scratch for Generalist Interacti

Agent 能力持续进化的瓶颈，越来越多地不在模型本身，而在环境——交互系统既是训练场也是评测场，但既有工作长期缺乏系统的分类与梳理。这篇综述把 agentic 环境当作一个完整的「工程生命周期」来研究，覆盖建模、合成、评测、应用四个阶段，是这个方向少见的全景式地图。 论文信息 标题：Agentic Environment Engineering for Large Language Model

你正开车去机场。导航员（老师）说：“前方路口左转有一家加油站。”——这句话本身可信，加油站确实在那儿。但你这趟的目的是赶飞机，不需要加油，而且左转会绕远。照做反而离目的地更远。 这就是论文《Trust Is Not Enough: Influence Calibration for On-Policy Self-Distillation in Agentic RL》（arXiv:2608.14

一句话结论：EFCA 不训练 critic 或奖励模型，而是把环境已经返回的文本反馈编码成“当前动作是否有效”的短期信号和“最近是否持续停滞”的中期信号，再用它们有界地重加权长期折扣回报。 论文信息 标题：Learning from Environmental Feedback: Credit Assignment across Multiple Timescales for Agentic R

一句话结论：TRIAGE 保留 GRPO 的终局方向，但让结构化 LLM judge 判断每个环境动作究竟是决定性进展、有用探索、无进展基础动作还是倒退，再用固定、有界的角色常数修正 segment advantage。 论文信息 标题：TRIAGE: Role-Typed Credit Assignment for Agentic Reinforcement Learning 作者：Xu et

一句话结论：SVM 用判别器估计某个 state-action 更像来自成功 episode 还是失败 episode，并把 log-odds 作为稠密 shaping reward；在确定性环境和论文的计数估计条件下，最大化该奖励仍会最大化原始成功概率。 论文信息 标题：Learning Process Rewards via Success Visitation Matching for E

一句话结论：G2PO 不再把 rollout 看成彼此孤立的线，而是把相同 observation 聚成状态节点、把动作看成有向边；它先聚合多条未来结果估计节点价值，再用边两端的价值增量给动作做全局信用排序。 论文信息 标题：Group-Graph Policy Optimization for Long-Horizon Agentic Reinforcement Learning 作者：Yun

一句话结论：VIMPO 从 KL 正则 RL 的最优性条件推出：策略相对 reference 的逐 token log-ratio，等于 Bellman residual 加 KL 校正。它用终态价值为零训练“策略隐含价值”，再从同一恒等式构造 PPO actor advantage，不需要独立 critic。 论文信息 标题：VIMPO: Value-Implicit Policy Optim

一句话结论：FlowTracer 不直接把 attention 大小当 token 重要性，而是先把 token 建成注意力 DAG，再用答案可达势函数重加权边，使有效影响只沿最终抵达答案的路径流动且局部守恒；流量最高的 40% token 在 RL 更新中得到 1.5 倍权重。 论文信息 标题：How Does Reasoning Flow? Tracing Attention-Induced

一句话结论：这篇论文把信用分配从静态 token 选择改成训练期课程：早期只优化最符合判据的一小部分 token，随后逐步放宽阈值，最终纳入更广的轨迹；最简单有效的版本从答案附近的后缀开始，逐渐向前扩展。 论文信息 标题：Not only where, But when: Temporal Scheduling for RLVR 作者：Zhang et al. 版本：arXiv:2605.253