DYcoder

从早期深度学习寻找新思路：12 篇论文看 LLM 稀疏奖励与 Long Horizon

大语言模型执行长任务时，可能一直收不到成功奖励，也可能偶尔成功，却学不会哪些步骤值得保留。这两种失败需要不同的解决方法。回看 LLM 兴起之前的研究，奖励重分配、目标重标注、时间抽象和历史压缩，提供了几条值得重新实验的路线。 本文收集 1991—2019 年的 12 篇论文，涵盖早期神经网络与深度强化学习，并补入两篇非深度学习的理论基础。优先推荐 RUDDER、HER、FeUdal Network
Long Horizon
#Long-Horizon Agent #信用分配 #稀疏奖励 #分层强化学习 #论文清单

OPDVR：用答案正确性过滤蒸馏信号，如何把 OPD 与可验证奖励结合？

学生已经答对了，但某个 token 的概率比教师更高，蒸馏仍可能要求学生降低它的概率。学生答错了，但教师更偏好其中某个 token，蒸馏又可能提高它的概率。模仿教师的分布，与优化最终答案正确率，并不总是同一个方向。 OPDVR 给出一个很小的修改：用最终答案的对错，过滤掉方向不一致的 sampled-token OPD 信号。不是额外加一项加权 RL 损失，而是让 verifier 决定允许的符号
OPD
#GRPO #RLVR #On-Policy Distillation #OPDVR #GRPD #奖励门控

Synaptic Intelligence：沿训练轨迹衡量参数重要性，让神经网络少忘旧任务

一个网络学会区分数字 0 和 1，接着学习 2 和 3，为什么可能连先前的二分类都不会了？旧数据不能重新拿出来训练时，能否只保存少量参数级信息，就减轻这种遗忘？ Synaptic Intelligence（SI，突触智能）的思路是：记录每个参数沿训练轨迹为降低损失做了多少贡献，之后对重要参数的改变施加更强约束。 网络不是全部冻结，而是尽量利用对旧任务不重要的参数学习新任务。 本文精读 Contin
持续学习与自进化
#Continual Learning #Synaptic Intelligence #灾难性遗忘 #参数正则化 #EWC

从 CPT 到 Agentic CPT：大语言模型持续预训练研究综述

持续预训练如何改变模型的知识、能力与后训练起点？本文沿着数据、优化与评估三条线，整理 12 篇论文与技术报告，梳理从领域适配到 Hephaestus、AgentFounder 和 SPT 的研究脉络。 检索截至 2026 年 9 月 8 日。文中区分论文结果、研究判断与教学示例，附一手来源链接。 关于 FAS、HAS 与训练流程的更详细分析，可继续阅读本站的 AgentFounder 精读。
基础模型与后训练
#LLM #AgentFounder #Continual Pre-training #数据合成 #工具使用 #Agentic CPT

AgentFounder：用继续预训练扩展 Agent 能力，FAS 与 HAS 如何把经验变成训练数据

如果训练 Agent 总要在线搜索、访问网页、执行代码，再筛选少量成功轨迹，数据规模很快就会被环境调用成本卡住。那些没有完成任务的轨迹，以及海量没有“行动格式”的网页知识，能不能也用来训练 Agent？ AgentFounder 的答案是：先把它们改造成适合继续预训练的数据，让基座提前接触行动、决策与反馈，再做下游 SFT。 它的重点不是新的奖励函数，而是如何低成本扩大 Agent 训练数据，以及
基础模型与后训练
#AgentFounder #Continual Pre-training #数据合成 #Deep Research #工具使用 #长程推理

PlanPhys：长程规划从哪里来？预训练、OPD 与多教师蒸馏的能力边界

一个 Agent 知道每条合成配方，为什么还是做不完长任务？一个教师自己能拿满分，为什么蒸馏反而损害学生？三个领域专家依次教同一个学生，什么时候会发生知识迁移，什么时候又会互相覆盖？ PlanPhys 用从零训练的小模型和完全可控的合成环境，把这三个问题放到同一套实验中。它最重要的区分是：具体的规划知识，与可复用的规划方式，并不是同一种能力；预训练、OPD 和 MOPD 对它们的作用也不同。 本文
Long Horizon
#GRPO #Long-Horizon Agent #世界模型 #预训练 #On-Policy Distillation #MOPD #组合泛化

Long-Horizon Agent 训练论文地图：20 篇工作、七条路线与一个完整训练例子

Long-horizon 不只是把上下文窗口扩大，也不只是让 Agent 多运行一会儿。真正需要训练的问题是：模型能否从有限的成功和大量的失败中，学会持续规划、正确执行、保存关键信息，并在偏离目标后恢复？ 这篇文章整理 20 篇涉及模型参数更新的代表性论文，按训练对象和训练信号分成七条路线：能力底座、失败轨迹学习、课程与跨度缩减、层次策略、局部信用分配、记忆训练，以及训练系统。重点是 LLM Ag
Long Horizon
#Agentic RL #Long-Horizon Agent #信用分配 #课程学习 #论文综述 #监督微调 #记忆训练

长程 Agent 为什么越训越差？Horizon Length 实证研究与两种缩短训练跨度的方法

一道题所需的解题规则没有变，只是必须连续操作更多次，RL 训练就可能从稳定进步变成崩溃。这篇论文通过数独和 Rush Hour 的受控实验研究这个问题，并验证两种办法：让一次决策执行多个底层动作，以及在可验证的子目标处切断回报计算。两者都能缩短训练需要处理的有效跨度。 本文精读 On Training Large Language Models for Long-Horizon Tasks: An
Long Horizon
#Agentic RL #Long-Horizon Agent #信用分配 #宏动作 #课程学习 #REINFORCE #ICML 2026

SMOPD 深度解读：多奖励强化学习的“先专门化，再蒸馏合并”

大模型后训练经常同时优化多个目标：工具调用既要选对函数和参数，也要满足严格格式；对话模型既要 helpful，也要 harmless。一个自然做法是把多个 reward 加权求和，但当 reward 的密度不同，逐维归一化仍然可能失败：dense reward 几乎每组都有排序信号，binary sparse reward 却经常整组相同，根本没有可用 advantage。 本文精读 SMOPD:
MOPD
#LLM #GRPO #SMOPD #GDPO #On-Policy-Distillation #多奖励优化

从“会回答”到“会预演”：2026 年大语言模型世界模型的主流范式与前沿进展

写在前面 “世界模型”正在成为 2026 年 LLM Agent 研究中最拥挤、也最容易被泛化使用的概念之一。有人用它指视频生成器，有人用它指机器人动力学模型，也有人只要发现 LLM 能表示地图、规则或物体关系，就称模型“拥有世界模型”。这些工作彼此相关，但如果讨论的是大语言模型 Agent，真正有操作性的定义应该更严格： 给定 Agent 当前可见的状态或交互历史 \(h_t\)，以及候选动作
世界模型
#AI Agent #LLM #world model #text world model #model-based reinforcement learning