NGU:把强化学习算力留给难题,为什么还要锚定正样本? 从大 K 的双重效应出发,解释 Never Give Up 的异步动态采样、过旧样本过滤与正样本锚定,并用具体数值推导优势零和的作用和边界。 2026-09-17 强化学习 #GRPO #RLVR #NGU #动态采样 #优势估计 #异步训练
R-WoM:先查教程再想象,让电脑 Agent 在执行前比较动作后果 用在文档光标处插入图片的例子,展示教程检索、候选动作模拟、列表排序和真实执行,讲清 R-WoM 为什么没有训练损失与梯度更新。 2026-09-16 Agent 工程与工具 #RAG #Computer Use #R-WoM #Retrieval-Augmented World Model #Planning
DynaWeb:先学会预测网页变化,再让 Agent 在想象中做强化学习 分开解释世界模型的 SFT 和网页 Agent 的 GSPO,展示状态变化标签、想象轨迹、真实专家数据以及一次可手算的梯度更新。 2026-09-16 世界模型 #GSPO #DynaWeb #Web Agent #Model-Based RL
Agent-World:按 Agent 的失败原因,持续生成下一批训练环境与任务 用一个库存补货例子讲清真实数据如何变成可执行环境、验证器怎样产生 RL 奖励,以及失败诊断如何决定下一轮练习题。 2026-09-16 世界模型 #Agent-World #Environment Synthesis #Self-Evolution #GRPO
AWM:让大模型造出可执行的世界,再用它训练 Agent 从一个取消订单的数据库例子出发,讲清 AWM 如何合成环境、验证结果,并把任务奖励变成 Agent 的梯度更新。 2026-09-16 世界模型 #Environment Synthesis #GRPO #AWM #MCP
技术报告解读|GPT-6 Astra:长程 Agent、对齐泛化与可监测性的矛盾 结合 GPT-6 Astra System Card、官方评测与 API 文档,解释长程任务执行、异步工具调用、对齐泛化,以及能力提升后仍然存在的监测与复现问题。 2026-09-15 基础模型与后训练 #Agent #技术报告 #GPT-6 Astra #OpenAI #后训练 #对齐 #Computer Use
从 VLA 到 WAM:具身基础模型的代表方法,以及与 LLM、推理和强化学习的交叉 大语言模型学会了用语言描述任务,视觉语言模型学会了把描述与图像对应起来。机器人还需要跨过另外两道门槛:把目标变成可执行的运动,以及预测运动会造成什么后果。 VLA(Vision-Language-Action,视觉语言动作模型)与 WAM(World Action Model,世界动作模型)分别从动作生成和世界—动作联合建模切入这两个问题。 本文面向有 LLM、Agent 或强化学习背景的读者,梳 2026-09-12 世界模型 #LLM #Agentic RL #world model #VLA #具身智能 #flow matching #WAM
DASH:自蒸馏如何利用分歧序列调整监督权重?从反向递推到真实梯度 教师与学生在某个 token 上的分歧很小,就说明这里不值得关注吗?未必:相同大小的局部分歧,可能出现在完全不同的推理路径中。DASH 因而不再给每个 token 的蒸馏损失相同系数,而是根据整条 rollout 的分歧变化,构造一组自适应权重。 但理解这篇论文,最重要的是区分反向递推的数值与实际更新的梯度。DASH 并没有把未来错误作为策略梯度奖励分配给早期动作;它对已有的局部蒸馏梯度重新加权。 2026-09-11 OPD #DASH #OPSD #Forward KL #Token Reweighting #Adaptive Supervision #LoRA
SOPD:不接管学生轨迹,如何用完整步骤修复 OPD 的碎片化监督? 用一道算错的题,逐步看清学生轨迹、两次独立教师调用、训练输入与监督目标,再理解 SOPD 与 SFT、OPD 的区别。 2026-09-11 Long Horizon #On-Policy Distillation #SFT #SOPD #Black-Box Distillation #ALFWorld #Step-Level Supervision
RAGEN:多轮 Agent RL 为什么会崩溃?StarPO、Echo Trap 与推理退化 把数学题上的 RL 训练流程接到交互环境上,Agent 就会越来越会规划吗?RAGEN 的实验给出了一个不那么乐观的答案:模型可能先涨分,随后反复使用几套被奖励过的推理模板,探索减少,梯度出现尖峰,最终性能崩溃。即使没有崩溃,输出里存在 <think> 也不代表模型正在准确理解环境。 这篇论文的价值,是将多轮 Agent RL 的训练闭环、采样设计与失败诊断放在一起研究:不仅问“学会了 2026-09-10 Agentic RL #GRPO #PPO #RAGEN #StarPO #Multi-Turn RL #Echo Trap #推理退化