PlanPhys：长程规划从哪里来？预训练、OPD 与多教师蒸馏的能力边界

一个 Agent 知道每条合成配方，为什么还是做不完长任务？一个教师自己能拿满分，为什么蒸馏反而损害学生？三个领域专家依次教同一个学生，什么时候会发生知识迁移，什么时候又会互相覆盖？

PlanPhys 用从零训练的小模型和完全可控的合成环境，把这三个问题放到同一套实验中。它最重要的区分是：具体的规划知识，与可复用的规划方式，并不是同一种能力；预训练、OPD 和 MOPD 对它们的作用也不同。

本文精读 The Physics of Multi-Turn Long-Horizon Planning: From Pre-training to Post-training via Single- and Multi-Teacher On-Policy Agentic Distillation（Tianyi Men、Zhuoran Jin、Kang Liu、Jun Zhao；arXiv v1，2026-07-27）。依据论文正文、附录及原始图表整理；数值例子是教学构造，独立判断会明确标注。这里的 “Physics” 指研究能力形成机制的受控实验，不是物理世界仿真论文。

1. 一句话结论与论文全景

在这套受控系统中，长程规划首先依赖预训练获得的状态转移知识和可用规划模式；后训练更擅长提高好模式被选中的概率，而教师的具体知识或跨域模式发生冲突时，蒸馏可能破坏已有能力。

这不是一个新的通用 Agent 排行榜，也不是声称发明了 OPD。作者的主要贡献是一套可控研究装置：随机初始化约 100M 参数模型，构建三个领域的合成任务，分别操纵训练格式、任务跨度、轨迹质量、教师知识和模式兼容性，再观察整个训练链条。

阶段	主要问题	核心干预	论文观察
预训练	长程能力怎样获得？	直接输出动作 vs 显式规划；短长数据配比；优劣轨迹混合	显式状态转移推理更利于泛化；原子技能不会自动稳定组合
单教师后训练	GRPO / OPD 改变了什么？	数据质量、训练跨度、师生配方一致性	OPD 在低质量、长跨度设置下更有效，但知识错配可能伤害学生
多教师后训练	不同专家能力怎样合并？	共享模式、域间冲突、是否保留通用模式	共享结构支持迁移；失去共同有效模式后可能严重遗忘

三个最直观的结果是：显式世界建模将 Long 子集 avg@8 从 22.7% 提高到 68.5%；同样满分的教师，配方错配时仍会明显降低蒸馏效果；完全冲突设置中，最后一个教师训练后，早先领域的短任务 avg@8 从 90.00% 降至 15.62%。（图 3、表 4、表 7；具体比较条件见第 5 节）

2. Motivation：把“会规划”拆成可检验的问题

2.1 为什么不直接测试现成大模型？

现成模型的预训练数据通常不透明。模型解决了一个任务，可能是学会了组合，也可能早就见过相似完整轨迹；后训练涨分，可能是注入新知识，也可能只是提高了已有好策略的采样概率。

作者因此选择牺牲任务的真实复杂度，换取对训练来源的控制：模型从随机权重开始，规则由程序构造，哪些知识和规划模板出现过可以明确记录。这样才有条件研究“能力从哪里来”，而不只记录某个训练配方涨了多少分。（§1、§3、附录 A）

2.2 规划知识与规划模式有什么区别？

Planning knowledge（规划知识）是具体规则：哪些材料能合成什么、某个中间目标需要哪些前置条件。Planning pattern（规划模式）是组织这些规则的方式：先定位目标，再递归展开依赖，检查库存，选择已经可执行的子步骤。

例如，“草籽加水得到草”属于知识；“缺少目标材料时向下搜索其依赖”属于模式。换到电子装配领域，配方完全不同，但“向下找依赖、从底层执行”的模式仍可能有用。

论文用互信息表达这个直觉：

\[ I(T;P)=H(P)-H(P\mid T), \qquad I(T;K)=H(K)-H(K\mid T). \]

其中 \(T\) 是任务，\(P\) 是规划模式，\(K\) 是具体知识。作者认为，模式可跨样本复用，对具体任务的依赖通常弱于配方知识，因此提出 \(I(T;P)<I(T;K)\) 的解释。（式 10）

需要保留的边界：这是解释实验的概念视角，而不是文中已经数值估计出的普遍定律。不同任务也可能确实需要不同规划策略，不能只凭“低互信息”就断定某段文本更适合 RL。

3. Method：三个训练阶段如何连接？

3.1 一个可以控制配方、难度和干扰的环境

环境覆盖 Fantasy Alchemy（奇幻炼金，FA）、Livestock Farming（畜牧，LF）、Electronic Assembly（电子装配，EA）。每个领域有 5 层、每层 40 个物品类别，每类 20 个具体名称；抽象配方图通过类别映射落到实际物品。（§3、附录表 10）

一个目标允许多条配方，而每条配方要求多个前置材料同时具备：

\[ v\Longleftrightarrow (u_{1,1}\land\cdots\land u_{1,k_1}) \lor\cdots\lor (u_{m,1}\land\cdots\land u_{m,k_m}). \]

AND 表示“这几个材料都需要”，OR 表示“这几条合成路线任选其一”。规则可以是反事实配方，因此模型不能依赖现实常识猜答案。观察告诉它具体物品属于什么类别，但完整配方规则不是每轮都直接提供的上下文；这些规则需要通过训练内化。（式 6、表 2）

给定目标与带干扰项的初始库存，Agent 每轮输出推理和一个合成动作，环境返回新物品或失败信息。按完成任务的操作步数分为 Short：1–5 步，Middle：6–8 步，Long：至少 9 步。评测每条轨迹最多允许 20 次环境交互。

这里的 Long 是相对于约 100M 的受训模型和这套任务而言，不代表已经验证了真实软件工程中的数百轮运行。内部推理展开数、生成 token 数和环境动作数也不能混为一谈。

3.2 世界模型究竟是怎么得到的？

作者使用 Qwen2 架构随机初始化一个约 100M 参数模型，并从头训练词表大小为 3,000 的 byte-level BPE tokenizer。它不是拿已有 Qwen2.5 大模型微调。附录给出的配置包括 12 层、隐藏维度 768，预训练实验使用统一的 9,000 步全参数监督训练。（附录 A.1、A.4）

训练样本由已知配方图和 oracle 规划路径生成，有两种主要格式：

• 直接动作格式：输入目标和库存，监督模型输出当前动作。
• 显式世界建模格式：先监督模型输出目标类别、依赖配方、库存是否满足、类别到具体物品的映射及递归规划，再输出动作。

后一种格式把状态转移规则放进可学习的推理序列。用符号表示，技能 \(k\) 对应状态转移 \(f_k:\mathcal S\to\mathcal S\)，内部规划可以组合这些变换：

\[ s'=f_{k_m}\circ\cdots\circ f_{k_1}(s). \]

因此，本文的世界模型主要是同一个语言模型通过监督轨迹内化的配方与状态转移能力，表现为 CoT 中的内部模拟和深度优先搜索；不是额外训练一个独立的环境预测网络，更不是推理时总能访问一个免费的正确模拟器。（§4.1、式 7–8）

具体训练损失可以用常规自回归监督目标概括：

\[ \mathcal L_{\mathrm{SFT}} =-\sum_t\log\pi_\theta(y_t\mid x,y_{<t}). \]

这条式子是对监督训练的通用写法，不是论文另行提出的新损失。重要干预在于 \(y\) 包含什么：只有动作，还是包含显式的规则与规划过程。

3.3 单教师 OPD：教师评估学生自己访问到的前缀

学生先自主与环境交互，产生多轮轨迹。第 \(k\) 轮、第 \(t\) 个生成 token 前，记实际可见历史为 \(H_k\)，该轮已有生成内容为 \(\hat Y_{k,<t}\)：

\[ p_{k,t}=\pi_\theta(\cdot\mid H_k,\hat Y_{k,<t}), \qquad q_{k,t}=\pi_{\mathrm{teacher}}(\cdot\mid H_k,\hat Y_{k,<t}). \]

教师不是另起一条完美轨迹要求学生照抄，而是在学生已经走到的前缀上给出下一 token 分布。论文写出的多轮反向 KL 目标为：

\[ \mathcal L_{\mathrm{OPD}} =\mathbb E_{\tau\sim\pi_\theta} \left[\sum_{k=1}^{K}\sum_{t=1}^{T_k} D_{\mathrm{KL}}(p_{k,t}\Vert q_{k,t})\right]. \]

其中 \(K\) 是环境交互轮数，\(T_k\) 是该轮输出 token 数。监督同时作用于推理和动作生成。（式 1–2）

论文区分两类更新：PG-style 把采样 token 的 \(\log q-\log p\) 用作停止梯度的优势信号；GKD-style 则在已访问前缀上直接对分布距离反向传播，不对整条 rollout 的采样过程求导。两者不能只因为都写了 KL 就视作完全相同的梯度估计器。（§2.2）

主要后训练实验采用 Top-100 OPD。它先选学生概率最高的 100 个 token，限定在这个共同支持集 \(\mathcal V_{k,t}\) 中，将师生分布分别重新归一化：

\[ \tilde p(v)=\frac{p(v)}{\sum_{w\in\mathcal V_{k,t}}p(w)}, \qquad \tilde q(v)=\frac{q(v)}{\sum_{w\in\mathcal V_{k,t}}q(w)}. \]

再优化 \(D_{\mathrm{KL}}(\tilde p\Vert\tilde q)\)。注意这里是学生的 Top-100，不是教师 Top-100，也不是多个教师词表的并集。与之比较的多轮 GRPO 使用二元终局奖励。（式 3–4、§5.2.1）

3.4 为什么 OPD 的有效范围可能比 GRPO 大？

作者把“数据质量 × 训练跨度”划成三个经验区域：

区域	当前策略处境	后训练表现
Unnecessary	可选模式之间的表现差距有限	再选择模式的收益很小，甚至负向变化
Effective	模型已有较好模式，但不够常选到	GRPO 或 OPD 可以强化这些模式
Unsupported	好模式存在，但当前算法难以发现或强化	终局 GRPO 在部分低质量长任务中失效，理想教师 OPD 仍可提供局部方向

“Unsupported”是相对于当前算法和实验设置的边界，不是说任务从数学上不可学习。论文还通过参数更新矩阵的 SVD 比较中间与最终检查点的主方向，观察到低质量长任务中 OPD 的方向一致性更高。（§5.2.2）

我的理解是，这些分析支持“稠密指导更稳定”的解释，但参数主方向对齐本身不能证明信用分配就是全部因果机制，更不能推出所有 GRPO 改进方法都无效。

3.5 MOPD：本文研究的是逐个教师训练，不是同时平均教师

论文区分混合式与级联式多教师蒸馏，主要研究后者：学生依次接受 FA → LF → EA 三个领域教师指导。每个阶段重新采样当前学生的轨迹，再优化当前教师的 OPD 目标：

\[ \mathcal L^{(m)}(\theta) =\mathbb E_{\tau\sim\pi_\theta} \left[\sum_{k,t}D_{\mathrm{KL}} \left(p_{k,t}\Vert q_{k,t}^{(m)}\right)\right]. \]

这不是直接平均教师权重，也不是每个 token 都对三个教师 logits 求平均。（§6.1、式 20）

作者通过数据构造控制模式关系：有的模板在三个领域都能正确工作，有的模板在特定领域被配上错误动作；再比较保留或删除共同有效模板的结果。研究的关键不只是“教师各自有多强”，而是它们强化的行为结构能否共存。

推理时只使用训练后的学生与环境交互，不需要继续调用教师；但训练时的教师前向计算成本仍然存在。

4. 数值例子：从合成目标到一次 Top-k OPD 更新

以下为教学用简化例子：把真实语言输出缩成少数抽象 token，把 Top-100 缩成 Top-2，并用直接优化两个 logits 代替更新整个 Transformer。配方、概率和学习率都不是论文的实验样本或默认超参数。

4.1 同一目标，两套都能成功的知识

设目标为合成 \(G\)，初始库存为 \(\{A,B,E,F,X\}\)，\(X\) 是干扰物。为方便追踪，本例假设合成消耗输入材料。

配方 A 是：

\[ A+B\to C,\qquad E+F\to D,\qquad C+D\to G. \]

配方 B 是：

\[ A+E\to U,\qquad B+F\to V,\qquad U+V\to G. \]

两条路线都需要三步。学过配方 A 的学生如果采用“从目标反推依赖”的规划模式，会先意识到缺少 \(C,D\)，再发现它们的原材料已经齐全，得到：

轮次	动作	动作后的库存
1	合成 \(C\)，使用 \(A,B\)	\(\{C,E,F,X\}\)
2	合成 \(D\)，使用 \(E,F\)	\(\{C,D,X\}\)
3	合成 \(G\)，使用 \(C,D\)	\(\{G,X\}\)，成功

这展示了规则的组合。若只记得第一条原子配方，却不能维持当前子目标和库存，知道 \(A+B\to C\) 并不保证最后能得到 \(G\)。

4.2 取学生自己生成的一个规划前缀

在“下一步优先合成什么”的一个抽象 token 位置，设候选是 \([C,U,X]\)，学生与同知识教师 A 的分布为：

\[ p=[0.6,0.3,0.1],\qquad q_A=[0.8,0.1,0.1]. \]

学生 Top-2 是 \(\{C,U\}\)。师生在该集合上的总概率都为 \(0.9\)，重新归一化后：

\[ \tilde p=[2/3,1/3],\qquad \tilde q_A=[8/9,1/9]. \]

这里 \(p(C)=0.6\) 是原始词表概率，\(\tilde p(C)=2/3\) 是截断支持集内的条件概率，二者不能混报。

4.3 计算损失和实际更新方向

使用自然对数：

\[ L_A=\frac23\log\frac{2/3}{8/9} +\frac13\log\frac{1/3}{1/9} \approx0.174416. \]

为了展示更新真的怎样发生，令两个可训练 logits 为 \(z=[\log2,0]\)，softmax 后恰好得到 \(\tilde p\)。对固定教师分布，反向 KL 对 logit 的导数为：

\[ \frac{\partial L}{\partial z_i} =\tilde p_i\left(\log\frac{\tilde p_i}{\tilde q_i}-L\right). \]

逐项代入可得：

\[ \nabla_zL_A\approx[-0.308065,\;0.308065]. \]

教学上取学习率 \(\eta=0.1\)，做一次梯度下降：

\[ z'=z-0.1\nabla_zL_A \approx[0.723954,-0.030807]. \]

得到新的条件分布：

\[ \operatorname{softmax}(z') \approx[0.680215,0.319785], \qquad L'_A\approx0.156050. \]

因此，学生在这个前缀上更倾向于继续自己的有效路线：\(C\) 的支持集内概率从 \(0.666667\) 升到 \(0.680215\)，KL 同时下降。真实训练把许多轮、许多 token 的这类损失累加，通过共享模型参数反向传播；不能把这里的两个独立 logits 直接当作真实网络参数。

4.4 教师知识不同，方向会怎样改变？

现在换成擅长配方 B 的教师：

\[ q_B=[0.1,0.8,0.1],\qquad \tilde q_B=[1/9,8/9]. \]

仍在同一学生前缀、同一支持集上计算：

\[ L_B\approx0.867563, \qquad \nabla_zL_B\approx[0.616131,-0.616131]. \]

梯度下降现在会降低 \(C\)、提高 \(U\)。教师 B 不一定错，\(U\) 也可能属于另一条合法路线；问题是学生后续是否真正掌握“分别获得 \(U,V\)，再合成 \(G\)”的依赖知识，还是只被迫改变局部 token，破坏了原本连贯的方案。

这说明了局部更像教师与整条任务更容易成功之间的差距，但单次梯度例子本身不证明知识错配必然失败；失败证据来自论文表 4 的完整训练实验。

4.5 为什么终局 GRPO 此时可能没有信号？

假设学生采样了四条轨迹，虽然各自有正确前缀，但最后都失败，终局奖励为 \([0,0,0,0]\)。只看标准化的结果优势：

\[ A_i=\frac{r_i-\bar r}{\operatorname{std}(r)+\epsilon}=0. \]

这组终局奖励无法区分哪些前缀应该保留。OPD 在同样的已访问前缀上，仍可得到上面非零的分布梯度。但这也解释了它的风险：非零不等于正确，方向是否有用取决于教师与任务、学生知识的匹配。

级联 MOPD 就是在不同阶段重复这个“当前学生 rollout → 当前教师分布 → 更新学生”的过程。换教师后必须重新评估旧领域，而不能把三次蒸馏想象成三个互不影响的能力相加。

5. Results：实验到底支持了什么？

5.1 先固定评价口径

默认每个领域、每档难度有 160 个测试任务，合计 1,440 个。每题独立采样 8 条轨迹，温度 0.4，每条轨迹最多 20 个动作。（图 3 图注、§3.3）

• avg@8：8 次运行的平均成功率，反映单次运行的可靠性。
• pass@8：8 次运行中至少成功一次的任务比例，反映给定多次尝试预算下的覆盖。

这 8 次是评测采样，不是 8 个独立训练随机种子。下面百分数之间的差值统一使用百分点。

5.2 显式世界建模改善长程泛化，但不是免费收益

图 3 的 Long 子集：

输出格式	avg@8	pass@8
直接动作，无显式世界建模	22.7%	29.0%
显式状态转移与规划	68.5%	71.9%
差值	+45.8 个百分点	+42.9 个百分点

显式规划的优势在长任务上尤其明显。但附录表 12 中，完整学生 CoT 数据平均输出约 223.20 tokens，非 CoT 约 29.85 tokens。因此这是表示形式、监督内容和计算成本一起改变的方案比较，不能写成相同 token 成本下的纯收益。

5.3 少量长轨迹有帮助，但“加一点就全面提升”不成立

表 1：只用 Short 数据，Short pass@8 为 93.12%，Middle 为 0.83%，Long 为 0%。加入 Middle 池的 5% 数据后，Middle pass@8 达到 51.88%。这说明知道很多短技能，不等于自动学会长组合。

更值得细看的对照是，固定 Short 和 Middle 都为 100%，再增加 Long 数据：

Long 池采样比例	Middle avg@8	Long avg@8	Long pass@8
0%	87.66%	1.74%	2.71%
5%	41.59%	9.48%	11.46%
50%	88.07%	74.84%	78.54%
100%	85.86%	68.52%	71.88%

5% 是对应难度数据池的采样比例，不是总训练 token 的 5%。同条件比较，加入这部分 Long 数据后，Long pass@8 是从 2.71% 到 11.46%，而非从 0% 起步；与此同时 Middle 分数下降。50% 的 Long 结果也高于 100%。因此结果支持“长任务暴露重要”，不支持收益随数据比例单调增长的简单规律。

5.4 OPD 有更宽有效区，但仍不能写成全面胜过 GRPO

表 3 中，后训练使用 FA 领域的 Long 数据，下面报告三个领域、三档难度的总体 avg@8：

预训练模式混合	Instruct	Long GRPO	Long OPD
4 Opt.	79.29%	79.20%	78.20%
4 Opt.:4 Sub.	26.13%	38.47%	41.25%
4 Opt.:8 Sub.	15.19%	13.61%	33.78%

Opt. 表示优质模式，Sub. 表示次优模式混合配置。在最差一组，OPD 相对初始模型提高 18.59 个百分点，GRPO 降低 1.58 个百分点；但 33.78% 是跨难度平均，该 OPD 模型的 Long 子集 avg@8 只有 5.29%，不能把总体分数写成长任务成功率。

另一个反例来自 4 Opt.:4 Sub. 的 Middle 后训练：OPD 总体 avg@8 为 41.37%，高于 GRPO 的 39.60%；但 pass@8 是 46.74% 对 55.28%，反而落后。作者将其联系到 OPD 更集中于教师模式、采样多样性降低。更可靠的单次行为和更多次尝试的覆盖，不一定同步改善。

5.5 满分教师也可能因为知识错配伤害学生

表 4 固定学生学过 Recipe A，在 FA 的 Middle 数据上分别接受教师 A、教师 B 的 OPD。两教师在其对应领域任务上均报告 100%：

模型	FA / Middle avg@8	总体 avg@8	总体 pass@8
初始学生	12.97%	26.13%	44.03%
学生 + 教师 A	42.19%	41.37%	46.74%
学生 + 教师 B	6.09%	31.50%	36.60%

错配教师相对匹配教师，在 FA / Middle avg@8 上低 36.10 个百分点（按表中显示值计算）；总体 pass@8 也低于初始学生。与此同时，错配后的总体 avg@8 仍高于初始值，说明不能把它概括成所有指标、所有领域全部崩溃。

原文差值行写作 36.09，可能涉及显示前的精度或舍入；本文明确使用可见表值计算，不混用两种精度。

5.6 MOPD 可以跨域迁移，但多一个教师不保证多一点能力

表 6 的 4 Opt.:4 Sub.(a) 中，FA 教师自身在 LF 领域为 0%。学生却在只接受 FA 蒸馏后，将 LF / Middle avg@8 从 34.92% 提高到 52.58%，增加 17.66 个百分点。

这不是教师凭空教会了它畜牧配方：学生的预训练本来覆盖多个领域，更合理的解释是可共享规划模式的强化帮助调用了已有领域知识。

但是，同一组总体 avg@8 的级联过程是：

阶段	总体 avg@8
Instruct	42.77%
After FA	56.50%
After LF	57.93%
After EA	53.64%

最终仍高于起点，却低于第二阶段。可迁移不等于单调累积。

5.7 冲突实验：有没有共同有效模板，结果截然不同

作者在 Form c 中保留一个跨域共同有效模板，同时让其他模板在特定领域关联错误动作；Form d 进一步删除这个共同有效模板。（§6.3）

表 7 的关键结果如下：

• Form c：完成 FA → LF → EA 后，Short 的 FA / LF / EA avg@8 分别为 91.88%、88.98%、89.77%，总体 avg@8 从 17.86% 提高到 63.64%。
• Form d：在加入最后的 EA 教师前后，FA 的 Short avg@8 从 90.00% 降到 15.62%，Middle 从 55.55% 降到 0%，Long 从 33.59% 降到 0%。

原文 §6.3 的解释段将 90.00% → 15.62% 的领域名称写成了 Livestock Farming，但表 7 明确对应 Fantasy Alchemy；这里按表头核对，不沿用这个文字错位。

模式分布分析显示，级联反向 KL 蒸馏常集中到少数共同模式，而不是保留所有教师模式。存在共同有效模式时，这种集中可以有帮助；剩下的共同偏好若在某领域对应错误捷径，就可能带来灾难性遗忘。（图 17–21）

6. 最具创新性的点：把能力来源变成可操纵变量

我认为这篇论文最有价值的不是再写一遍 KL 损失，而是把规划知识、规划模式与跨域兼容性分开控制。

已有系统报告经常把“教师足够强”“训练更多轮”“合并多个专家”作为经验配方。PlanPhys 能进一步追问：师生的具体规则一致吗？学生在目标领域见过这个规划模板吗？同一模板在别的环境还是正确的吗？

其最有说服力的证据组合是：表 4 用同样高分但知识不同的教师做对照，表 7 则通过保留或删除共同有效模板改变遗忘结果。它们把“蒸馏失败”从笼统描述推进到更具体、可以设计反事实实验的机制假设。

这不意味着作者已经证明了所有大模型都只会“选择预训练里已有的模式”；它提供的是一套研究该问题的实验框架。

7. 不足与可能的改进

7.1 作者已明确指出的边界

论文强调，理想教师条件对 OPD 的方向优势很重要；学生已有模式支持之外的跨域迁移不可靠；单纯正确专家轨迹也不足以让学生学会从错误前缀恢复。作者的 KL 分组分析中，“整条成功但中间有错误”的恢复案例很少，因此提出增加错误纠正数据的需要。（§5.2、§5.3.2、§6.2）

7.2 我的分析：几处需要额外谨慎的地方

第一，模式被强人工模板化。“复杂推理模板 + 好动作”与“直接模板 + 次优动作”的绑定，使模式偏好和动作质量同时变化。结果说明这个可控装置如何工作，但不等于真实自由语言 CoT 也能被同样干净地分成几种离散模式。

第二，教师并非严格未见测试配置。附录 A.3 明确写到 teacher_all 覆盖所有实例范围，包括训练和测试数据；A.4 对教师集合又有较概括的描述。至少按 A.3，教师应被视作拥有额外信息的理想化指导源，不能把它当成完全未见测试配置的普通专家。学生测试留出与教师是否见过测试，是两个独立问题，复现时必须审计。

第三，参数变化小不是“不可能获得新知识”的证明。PCA 和参数距离能描述这次优化走了多远，却不能单独推出知识可学性的普遍上限；更新大小还受学习率、训练步数、参数化和目标影响。式 (10) 的互信息解释同样需要更直接的测量和干预。

第四，实验规模与预算边界。约 100M 参数、最多 20 次交互、合成规则环境，与真实网页和代码 Agent 仍有距离；主要表格没有提供独立训练种子的置信区间，avg@8 不应被当成种子稳定性。OPD 还额外消耗教师前向计算，不能只按优化步数宣布更省算力。

第五，可复现资源尚未齐全。截至 2026-09-07，官方仓库 README 宣布预训练数据与模型已发布，但代码、gyms 和后训练 OPD 资源仍列为 upcoming releases。因此本文是原文分析和教学推演，不是独立复现实验报告。官方仓库状态。

7.3 对应的改进实验

局限	可以改什么	代价或新风险	应验证的指标
模板和动作质量混杂	固定有效动作，随机改写推理模板；或固定模板，独立改变动作正确率	数据构造更复杂，可能改变长度分布	未见模板、等 token 预算下的任务成功率
教师可能惩罚另一条合法配方	用环境验证过滤“合法但不同”的推理，再做选择性蒸馏或先进行知识补充 SFT	验证和补充数据成本更高，可能放过错误轨迹	原配方保持、新配方获得、跨域成功率
缺少失败恢复路径	用可恢复错误状态构造纠错轨迹，让教师在真实学生前缀上指导	错误状态不一定可恢复，教师也可能失效	恢复成功率、浪费动作数、整体成本
级联教师可能相互覆盖	比较教师顺序、混合采样、旧域回放及保留多模式的目标	增加训练与教师部署开销	每阶段旧域分数、遗忘量、avg@8 与 pass@8
理想教师与测试暴露	让教师和学生都严格排除测试配置，另设 oracle 教师上界	教师不再满分，需要更多重复实验	教师质量—学生收益曲线及多种子置信区间

这些是待检验的研究建议，不是论文已经验证的改进方案。

8. 与其他博客的关系，以及读者应记住的要点

与 长程 Agent 为什么越训越差？Horizon Length 实证研究与两种缩短训练跨度的方法 相比，Horizon Length 更关注“怎样缩短训练的有效跨度”，PlanPhys 则追问“训练之前模型究竟具备哪些知识与模式”。

与 Open-MOPD：诊断并修复多教师 On-Policy 蒸馏中的能力失衡 相比，Open-MOPD 关注多教师训练中的预算失衡，PlanPhys 更关注底层行为结构是否兼容。与 SMOPD 深度解读：多奖励强化学习的“先专门化，再蒸馏合并” 相比，SMOPD 围绕不同奖励目标的专门化与合并，本文围绕不同领域、不同知识和规划模板；多教师并不自动等于多奖励优化。

最后记住三点：

1. 世界模型在这里是通过合成规则与规划轨迹内化的语言能力，不是另一个神秘模块。短技能覆盖和长任务组合能力需要分别验证。
2. OPD 提供更细的监督，也会把教师偏好带进学生。教师自己做得对，不保证它在学生前缀上的指导一定有益。
3. MOPD 是否成功取决于可共享且有效的结构，而不只是教师数量。必须逐阶段检查旧能力、多次采样覆盖和训练成本。

原始资料

• 论文与版本信息；完整 PDF；HTML 正文
• PlanPhys 项目主页
• 官方代码与发布进度
• 预训练模型；预训练数据