SAO: 面向智能体强化学习的单轨迹异步优化
论文: Single-Rollout Asynchronous Optimization for Agentic Reinforcement Learning 作者: Zhenyu Hou, Yujiang Li, Jie Tang, Yuxiao Dong (智源研究院/清华) arXiv: 2607.07508 背景与挑战 在大语言模型（LLM）的后训练阶段，强化学习（RL）已成为提升模型
DYcoder
论文精读｜GLM-5.3：纯后训练 scaling 带来的涌现网络安全能力
原论文：GLM-5.3: Frontier Coding with Emergent Cyber Capabilities 作者：Z.ai（智谱AI团队） 发布时间：2026 年 8 月
PowerOPD：用有界幂变换稳定 On-Policy Distillation
On-Policy Distillation（OPD）通过让学生模型在自己的生成轨迹上向教师学习，有效缓解了传统离线蒸馏的曝光偏差问题。然而，标准 OPD 使用 log-ratio 作为奖励信号，这一看似自然的构造却隐藏着严重的训练不稳定性——梯度方差爆炸。 来自 Sea AI Lab 和西湖大学的研究团队提出 PowerOPD，通过 Box-Cox 幂变换将有界性内建到奖励设计中，从根本上解决了
SimpleOPD：跨tokenizer的长上下文推理蒸馏方法
SimpleOPD 提出了一种tokenizer无关的 on-policy 蒸馏框架，成功将长上下文推理教师模型 SU-01（30B-A3B，IMO 金牌级数学能力）的推理能力迁移到短上下文学生模型，在 Intern-S2-Preview 上实现了 ProofBench 21.2 分的提升，超越 Gemini-2.5-Pro。
论文精读｜GLM-4.5 后训练阶段详解：专家模型迭代与混合推理
原论文：GLM-4.5: Agentic, Reasoning, and Coding (ARC) Foundation Models 作者：GLM-4.5 Team（智谱AI团队，共170位作者） 发布时间：2025 年 8 月
论文精读｜Kimi K3 后训练阶段详解：三阶段范式与多领域强化学习
原论文：Kimi K3: Open Frontier Intelligence 作者：Kimi Team 发布时间：2026 年 7 月
Neural Thickets：预训练权重周围密集的任务专家
论文: Neural Thickets: Diverse Task Experts Are Dense Around Pretrained Weights 作者: Yulu Gan, Phillip Isola (MIT) arXiv: 2603.12228 代码: https://github.com/sunrainyg/RandOpt 传统的后训练（Post-Training）方法——无论
On-Policy Distillation：让学生在自己的轨迹上向老师学习
On-Policy Distillation（OPD）正在成为 LLM 后训练的核心范式之一。Qwen3、MiMo、GLM-5 等主流模型都已将其纳入后训练流水线，而 2026 年 4 月密集发布的综述和分析论文，则标志着这个领域从”散点式探索”走向系统化成熟。 本文基于以下几篇代表性工作，系统梳理 OPD 的核心思路、方法分类、机制分析和实践建议： - A Survey of On-Policy