2026 年大模型 PPO：前沿进展、主流范式与论文地图
更新日期：2026-09-07 关键词：PPO、RLHF、RLVR、GRPO、Critic、Trust Region、LLM Agent、Long-Horizon、Turn/Step-Level Credit Assignment 写在前面 如果只看算法名称，2026 年的大模型强化学习似乎已经从 PPO 转向了 GRPO、DAPO、GSPO 和各种 -PO。但从目标函数看，事情并没有这么简单
DYcoder
2026 Long-Horizon Agentic RL 与细粒度奖励：两条主线、一个交叉问题
写在前面 当 Agent 要连续搜索几十轮、修改代码、读报错、管理记忆，甚至跨多个环境工作时，人们常把失败统一归因于“奖励太稀疏”。这只说对了一部分。 Long-horizon Agentic RL 与细粒度奖励其实是两个不同问题： Long horizon 问的是：怎样让 Agent 在很长、部分可观测、可能中途失败的轨迹中，仍能探索到成功、维持任务状态、执行分层计划并恢复错误； 细粒度奖励与
AI 能否用自己的数据训练自己？从 NEON 到潜在能力再浮现
生成式 AI 面临一个越来越现实的瓶颈：高质量真实数据有限，而互联网中的合成内容越来越多。既然模型可以廉价地产生海量文本和图像，一个自然的问题是：模型能不能用自己生成的数据继续训练自己？ 朴素答案通常是否定的。模型反复学习自己的输出，会强化已有偏差、丢失长尾模式，最终发生模型崩塌。但 ICLR 2026 的 NEON 论文给出了一个反直觉思路：既然自训练造成的退化具有方向，就沿这个方向反着走。随后
从静态大模型到终身智能体：LLM 持续学习与持续强化学习的主流范式
写在前面 今天的大语言模型大多仍然是“训练一次、部署一段时间、再离线升级一次”的静态系统。它们可以在上下文中临时适应新任务，也可以通过搜索、RAG 和工具调用获取新信息，但一旦会话结束，这些经验通常不会自动沉淀为以后可复用的能力。 持续学习（Continual Learning, CL）试图改变这一点：让模型面对持续到来的知识、任务、偏好和环境变化时，既能学会新东西，又不轻易遗忘旧能力。持续强化学
从 LLM 到 VLA：机器人如何把语言模型接到动作空间｜相关工作与主流范式
一句话结论：VLA 与大语言模型的结合并不是“给 LLM 接一只机械臂”这么简单。真正的技术分水岭，是语言模型负责到哪一层、动作如何表示、语义推理与高频控制怎样解耦，以及模型能否在真实世界的闭环反馈中持续纠错。 截至 2026 年，主流路线可以归纳为四类：LLM 做高层规划器、VLM/LLM 直接生成离散动作、语言视觉主干连接连续动作专家、快慢双系统协同控制。它们不是互斥替代关系，而是越来越多地被
TTPO：多数票不可靠时，如何在测试阶段继续训练模型？
一句话结论：TTPO 不把多数票伪标签当成真值，而只把它当作“训练信号路由器”：与多数答案一致的 rollout 用 On-Policy Self-Distillation（OPSD）学习细粒度 token 分布，与多数答案不一致的 rollout 用 Grouped RL 做选择性惩罚。这个不对称设计把错误伪标签的影响限制在较小范围内，让模型能直接在无标注测试题上继续训练。 论文：TTPO: T
论文精读｜Code as Worlds：让 Agent 用可执行代码反推物理世界
原论文：Code as Worlds: Agentic Discovery of Executable World Representations for Physical Reasoning 作者：Hanyang Wang, Yimo Cai, Weiliang Chen, Jiawei Chi, Haowen Sun, Qiyu Dai, Yi-Hsin Hung, Xingzhuo Guo
Training Needs Trustworthy Worlds：先验证合成网站，再让 Web Agent 学习
一句话结论：训练 Web Agent 的关键不是让合成网页“看起来像真的”，而是保证任务在一致的后端状态中确实可完成。本文把页面、导航、数据库、状态变更 marker 和任务约束组成可审计 scaffold，经符号检查、多 agent 验证和定向修复后，再用后端谓词生成稠密奖励训练 PPO。任务可行率由 48.6% 提升到 94.8%，最终小于 10M 参数的策略无需在评测时调用 LLM。 论文信