技术报告解读｜GPT-6 Astra：长程 Agent、对齐泛化与可监测性的矛盾
结合 GPT-6 Astra System Card、官方评测与 API 文档，解释长程任务执行、异步工具调用、对齐泛化，以及能力提升后仍然存在的监测与复现问题。
DYcoder
从 VLA 到 WAM：具身基础模型的代表方法，以及与 LLM、推理和强化学习的交叉
大语言模型学会了用语言描述任务，视觉语言模型学会了把描述与图像对应起来。机器人还需要跨过另外两道门槛：把目标变成可执行的运动，以及预测运动会造成什么后果。 VLA（Vision-Language-Action，视觉语言动作模型）与 WAM（World Action Model，世界动作模型）分别从动作生成和世界—动作联合建模切入这两个问题。 本文面向有 LLM、Agent 或强化学习背景的读者，梳
DASH：自蒸馏如何利用分歧序列调整监督权重？从反向递推到真实梯度
教师与学生在某个 token 上的分歧很小，就说明这里不值得关注吗？未必：相同大小的局部分歧，可能出现在完全不同的推理路径中。DASH 因而不再给每个 token 的蒸馏损失相同系数，而是根据整条 rollout 的分歧变化，构造一组自适应权重。 但理解这篇论文，最重要的是区分反向递推的数值与实际更新的梯度。DASH 并没有把未来错误作为策略梯度奖励分配给早期动作；它对已有的局部蒸馏梯度重新加权。
RAGEN：多轮 Agent RL 为什么会崩溃？StarPO、Echo Trap 与推理退化
把数学题上的 RL 训练流程接到交互环境上，Agent 就会越来越会规划吗？RAGEN 的实验给出了一个不那么乐观的答案：模型可能先涨分，随后反复使用几套被奖励过的推理模板，探索减少，梯度出现尖峰，最终性能崩溃。即使没有崩溃，输出里存在 <think> 也不代表模型正在准确理解环境。 这篇论文的价值，是将多轮 Agent RL 的训练闭环、采样设计与失败诊断放在一起研究：不仅问“学会了
从早期深度学习寻找新思路：12 篇论文看 LLM 稀疏奖励与 Long Horizon
大语言模型执行长任务时，可能一直收不到成功奖励，也可能偶尔成功，却学不会哪些步骤值得保留。这两种失败需要不同的解决方法。回看 LLM 兴起之前的研究，奖励重分配、目标重标注、时间抽象和历史压缩，提供了几条值得重新实验的路线。 本文收集 1991—2019 年的 12 篇论文，涵盖早期神经网络与深度强化学习，并补入两篇非深度学习的理论基础。优先推荐 RUDDER、HER、FeUdal Network
OPDVR：用答案正确性过滤蒸馏信号，如何把 OPD 与可验证奖励结合？
学生已经答对了，但某个 token 的概率比教师更高，蒸馏仍可能要求学生降低它的概率。学生答错了，但教师更偏好其中某个 token，蒸馏又可能提高它的概率。模仿教师的分布，与优化最终答案正确率，并不总是同一个方向。 OPDVR 给出一个很小的修改：用最终答案的对错，过滤掉方向不一致的 sampled-token OPD 信号。不是额外加一项加权 RL 损失，而是让 verifier 决定允许的符号
Synaptic Intelligence：沿训练轨迹衡量参数重要性，让神经网络少忘旧任务
一个网络学会区分数字 0 和 1，接着学习 2 和 3，为什么可能连先前的二分类都不会了？旧数据不能重新拿出来训练时，能否只保存少量参数级信息，就减轻这种遗忘？ Synaptic Intelligence（SI，突触智能）的思路是：记录每个参数沿训练轨迹为降低损失做了多少贡献，之后对重要参数的改变施加更强约束。 网络不是全部冻结，而是尽量利用对旧任务不重要的参数学习新任务。 本文精读 Contin