VG-OPD：谁有资格教哪个 token？验证器门控的多专家蒸馏

VG-OPD 的核心，是把教师监督拆成三个决定：先验证某位专家是否补得上学生在某项要求上的缺口，再定位它不认可的 token，最后决定监督强度。 它把多专家蒸馏接进 GRPO，试图避免“一位老师整段都教”把有用知识与错误判断一起传给学生。

论文为 Who Teaches Which Token? Verifier-Gated Multi-Expert On-Policy Distillation for Scientific Reasoning，作者 Xun Xu、Zaixi Zhang。本文依据 arXiv v1 正文与附录 解读；v1 发布于 2026 年 9 月 14 日。版本页已列出 v2，以下公式、数值与文本核对均以 v1 为准。

在论文的 Qwen3-4B 非思考模式实验中，相比 rubric-GRPO，科学推理与领域科学的组均分分别提高约 2.0、3.3 个百分点；但完整训练步骤中位耗时也增加约 55%。效果、代价和验证器可靠性，需要一起看。

1. 动机：懂这一科，不等于这段回答的每句话都值得模仿

On-policy distillation（在策略蒸馏，OPD）让学生先生成自己的回答，再由教师对学生实际走过的前缀和 token提供监督。多教师版本希望将不同专家的能力融合进一个可独立部署的学生。

论文所比较的粗粒度方案是：按题目领域选择一个教师，对整段回答统一蒸馏。问题在于，一道科学题可能同时要求数值计算、符号推导、机理解释和证据判断。同一个专家可能会计算，却把因果机理讲错；整段照学会把两部分一起带入更新。

Rubric（评分细则）已经提供了更细的信号：回答是否满足每一项要求。VG-OPD 利用这些信号回答“老师在这一项上是否比这条学生回答更好”，而不只判断老师总体强不强。原文 §2–3

这里需要守住两个边界。第一，准则通过不等于整段教师回答正确。第二，教师不喜欢的 token 不自动等于错误 token。方法正是把资格验证与 token 定位分开，但它们之间仍存在需要实验检验的联系。

2. 方法：资格、位置、强度如何串起来？

① 学生先作答同一题采样多条回答，逐项评分；任务奖励进入 GRPO。

② 验证教师资格专家独立回答原题；只在学生失败、专家得分更高的相应准则上授权。

③ 定位监督位置合格专家给学生 token 打 logprob，选低概率位置并扩展邻域。

④ 分配 token准则权重决定强度；掩码重叠时，每个 token 最多选择一个教师。

⑤ 构造教师优势将选中教师的 sampled-token 信号乘以权重，形成非正的辅助优势。

⑥ 两路目标更新任务优势与教师优势分别进入 clipped surrogate，再加权求和。

教师、评分细则与验证器用于训练。部署时使用训练后的学生；这不是在线调用多个专家作答的 ensemble。

2.1 Who：验证的是一个具体准则，不是专家的总分

设题目为 \(x\)，学生回答为 \(y\)。准则 \(c_j\) 的验证器为 \(V_j(x,y)\in[0,1]\)，权重为 \(\omega_j\)。正权重奖励满足要求，负权重用于惩罚陷阱项。

主文的任务奖励是带截断的加权分数：

\[ r(x,y)=\operatorname{clip}\left( \frac{\sum_j\omega_jV_j(x,y)}{\sum_{j:\omega_j>0}\omega_j},0,1\right). \]

附录实现还有按能力轴计分、最终答案格式项、验证器弃权处理，不能把这个主文公式当作全部实现。下文手算会明确简化这些部分。

主文只为正权重且得分为零的失败准则寻找教师。专家按 quantitative、symbolic、mechanistic、evidence 四条能力轴组织，分别对应定量、符号、机理、证据。候选教师是该准则所属能力轴的专家。

教师先独立回答原题，得到 \(y_k=E_k(x)\)；再使用同一个准则验证器比较：

\[ \Delta'_{j,k}=V_j(x,y_k)-V_j(x,y),\qquad g_{j,k}=\mathbf 1[\Delta'_{j,k}>\delta]. \]

报告配置中 \(\delta=0\)。负权重项、验证器弃权不会授权教师；任务奖励已经达到 \(0.75\) 的回答跳过教师监督。Probe 是每题每专家缓存的贪心回答，可供同组 rollout 重用；教师本身不读取 rubric。公式 4–5、附录 B.5

作者称这一差值为 counterfactual gain，但它比较的是专家独立答案与学生答案，不是对学生某个 token 做干预后的因果收益。主实验每个能力轴只有一个专家，所以资格门控是关键，通用公式里的 softmax 并没有在同轴多个专家间进行复杂竞争。也不能据此理解为“遍历全部专家，谁会这题就选谁”。

2.2 Where：先在整条学生轨迹上打分，再选低概率位置

合格教师在学生的实际前缀上计算：

\[ \ell_t^{(k)}=\log\pi_{E_k}(y_t\mid x,y_{<t}). \]

先取这些 logprob 中最低的约 \(10\%\)，再向左右各扩展一个 token：

\[ \tilde m_t^{(k)}=\mathbf 1[\ell_t^{(k)}\le Q_{0.1}(\ell^{(k)})],\qquad m_t^{(k)}=\max(\tilde m_{t-1}^{(k)},\tilde m_t^{(k)},\tilde m_{t+1}^{(k)}). \]

这不是“教师概率减学生概率”的差值排序，也不是学生自己的高熵位置，而是教师对学生已采样 token 的低概率排序。分位数会受并列值影响，扩展后也不再严格覆盖 \(10\%\)。掩码由提供蒸馏目标的同一次教师前向得到；“定位不额外调用教师”不等于“整套方法不增加前向或生成”。公式 6

还有一个重要实现含义：同一教师针对不同失败准则，使用的是它在整条回答上的同一个掩码。因此，这并不是一个逐准则识别语义 span 的定位器。

2.3 How much：重叠位置择一，不把所有教师梯度叠起来

准则的重要程度经过平方根压缩：

\[ \bar\omega_j=\sqrt{\frac{\min(\omega_j,5)}{5}},\qquad s_{j,k}=q(k\mid x,y,c_j)\bar\omega_j. \]

其中 \(q\) 是合格候选之间的路由权重。在主实验单候选且通过门控时，\(q=1\)。因此，虽然小节名为 verified-gain weights，这里并不是把增益 \(\Delta'\) 直接乘进强度；增益先决定资格，单候选下强度主要取决于准则权重。

对每个 token，取所有合格准则覆盖它的最大强度：

\[ w_t=\max_{j\in\mathcal L(y)}s_{j,k^*(j)}m_t^{(k^*(j))}. \]

达到最大值的准则所对应的教师负责该 token；没有合格覆盖则 \(w_t=0\)。这消除了同一位置直接混合多个教师目标的问题，但不意味着不同位置的参数梯度绝不会冲突。公式 7–8

2.4 更新：两路 clipped loss，不是随意把优势相加

令选中教师与当前学生对实际 token 的 logprob 差为

\[ \Delta_t=\log\pi_{E_{k_t}}(y_t\mid x,y_{<t})-\log\pi_\theta(y_t\mid x,y_{<t}). \]

论文使用 sampled-token 的 \(k_3\) 信号，并在 10 处截断：

\[ \hat k_t=\min(e^{\Delta_t}-\Delta_t-1,10),\qquad A_t^{\mathrm{KD}}=-w_t\hat k_t. \]

由于 \(e^u\ge1+u\)，\(A_t^{\mathrm{KD}}\le0\)。该优势会 detach，即不通过优势数值本身反向传播；它作为系数作用于策略梯度项。任务优势则来自组内奖励标准化。

若将单 token 的最小化目标记为

\[ \ell(\rho,A)=-\min\left(\rho A,\operatorname{clip}(\rho,1-\epsilon,1+\epsilon)A\right), \]

则方法的核心目标是

\[ \mathcal L=\mathcal L_{\mathrm{PG}}(A^{\mathrm{task}})+\lambda\mathcal L_{\mathrm{PG}}(A^{\mathrm{KD}}),\qquad \lambda=0.25. \]

这里 \(\rho\) 为当前策略相对采样策略的 token 概率比，\(\epsilon=0.2\)。两路分别裁剪后相加，一般不等于把 \(A^{\mathrm{task}}+\lambda A^{\mathrm{KD}}\) 放进同一个裁剪函数。附录还报告了熵奖励和 reference-KL 正则，以上只展示主方法的两路目标。公式 9–10、表 4

3. 教学数值例子：从失败准则走到两个 token 的更新

下面是自构造的简化算例，不是论文样本或训练日志。将一条科学回答缩成 10 个抽象 token 位置，保留门控、掩码、冲突处理和损失计算；忽略能力轴聚合差异、陷阱项与弃权，并假设格式检查通过。

设题目要求完成计算并解释机理，评分记录如下：

准则	权重	学生得分	对应专家得分	是否进入教师授权
条件读取正确	4	1	无需检测	学生已通过
单位转换正确	4	1	无需检测	学生已通过
数值结果正确	5	0	定量专家：1	是，增益 1
机理解释正确	3	0	机理专家：1	是，增益 1

学生奖励 \(r=(4+4)/16=0.5<0.75\)，进入门控。两个失败准则均授权其对应专家，强度分别为

\[ s_Q=\sqrt{5/5}=1,\qquad s_M=\sqrt{3/5}\approx0.7746. \]

为展示定位，构造两组教师对学生 token 的 logprob，均使用自然对数：

位置       1     2     3      4      5      6      7     8     9    10
定量 Q   -0.6  -0.8  -1.5  -2.996  -2.5   -0.9   -1.2  -0.5  -0.7  -0.4
机理 M   -0.5  -0.7  -0.4  -1.5    -2.1   -2.303 -1.8  -0.8  -0.6  -0.3

本例数值无并列，按线性插值分位数得到各一个种子位置。定量教师选中位置 4，扩展成 \(\{3,4,5\}\)；机理教师选中位置 6，扩展成 \(\{5,6,7\}\)。位置 5 同时被覆盖，定量教师权重更大，获得该位置。

位置	1	2	3	4	5	6	7	8	9	10
最终教师	—	—	Q	Q	Q	M	M	—	—	—
最终权重	0	0	1	1	1	0.7746	0.7746	0	0	0

缩成 10 个位置后，邻域扩展会使比例很大；不要把本例 50% 的覆盖率当成真实长回答统计。

3.1 任务奖励形成正向信号

用 4 条回答代替论文实际的 8 条 rollout，组内奖励设为 \([0,0.25,0.5,0.75]\)。采用总体标准差：

\[ \mu=0.375,\quad \sigma=\sqrt{0.078125}\approx0.27951,\quad A^{\mathrm{task}}=\frac{0.5-0.375}{0.27951}\approx0.44721. \]

这条回答优于组平均，任务流对其 token 施加正向策略梯度系数。

3.2 位置 4：教师明显不认可学生选中的 token

设学生概率为 \(0.4\)，定量教师概率为 \(0.05\)，与上表 \(\log0.05\approx-2.996\) 一致：

\[ \Delta_4=\log(0.05/0.4)=-2.07944, \]

\[ \hat k_4=0.125+2.07944-1=1.20444,\qquad A_4^{\mathrm{KD}}=-1.20444. \]

在初始更新点 \(\rho=1\)、两路均未触发裁剪时，忽略共同的 batch/长度系数，该位置的局部策略梯度系数可合看为

\[ 0.44721+0.25\times(-1.20444)=0.14610. \]

因此辅助项抵消了一部分正向强化，但并没有在这个例子中把总方向翻成负向。对应两路 surrogate 相加的局部 loss 为 \(-0.14610\)。

3.3 位置 6：较弱的辅助压力

设学生概率为 \(0.2\)，机理教师为 \(0.1\)：

\[ \Delta_6=\log0.5=-0.69315,\quad \hat k_6=0.5+0.69315-1=0.19315, \]

\[ A_6^{\mathrm{KD}}=-0.77460\times0.19315\approx-0.14961. \]

同样在 \(\rho=1\) 附近，局部系数约为 \(0.44721-0.25\times0.14961=0.40981\)。掩码之外的 token 没有该教师项，仍由任务流及其他正则决定更新。

这就跑通了“准则失败 → 专家通过 → token 定位 → 重叠择一 → 非正辅助优势 → 与任务流共同更新”的完整路径。这里计算的是梯度系数，不是更新后的概率；真实参数共享、softmax 归一化和优化器都会影响最终概率变化。

4. 实验：收益集中在哪里，哪些对照最有说服力？

实验使用 Qwen3-4B / 8B 的非思考模式，专家是四个能力轴的 LoRA 适配器，学生也采用 LoRA 训练。主配置每步 21 道题、每题 8 条 rollout，最多 4096 个回答 token，训练计划 300 步；checkpoint 在内部 dev 集上选择，不能把所有结果理解为统一取第 300 步。附录 B.4–B.5

训练混合来自 Dr.SCI 流程的公开复现，包含 WebInstruct-Verified、NaturalReasoning、MegaScience、RaR-Science 来源。评价使用七个任务，涵盖选择题、数值/表达式匹配和 rubric judge。MMLU-Pro 使用固定 2000 题子集；因此不宜和其他 harness 的排行榜数字直接横比。

4.1 相比 GRPO：逐项列出涨跌

下表摘取 v1 表 1 的 GRPO 与 VG-OPD 行；差值由本文相减，单位为百分点。原表将指标统称 accuracy%，其中 RaR 项的评分依赖 rubric judge，应按其评价协议理解。

基准	4B GRPO → VG-OPD	差值	8B GRPO → VG-OPD	差值
GPQA-Diamond	43.9 → 46.3	+2.4	45.8 → 47.3	+1.5
RaR-Science	60.6 → 62.4	+1.8	64.5 → 67.0	+2.5
SciBench	54.5 → 56.2	+1.7	57.4 → 59.1	+1.7
ChemBench	61.2 → 66.4	+5.2	69.3 → 70.9	+1.6
RaR-Med	50.7 → 52.2	+1.5	57.4 → 60.1	+2.7
MMLU-Pro 子集	62.5 → 63.3	+0.8	67.1 → 66.7	−0.4
MATH500	85.1 → 84.6	−0.5	85.4 → 85.7	+0.3

科学任务的改善较一致，通用推理则有涨有跌。v1 表 1 未提供多随机种子误差条，不宜把每个小幅差异都解释为统计显著。表 1

版本内有一处应保留的核对说明：主文称两种规模均在七项中的五项第一，但按表 1 可读数值逐列比较，4B 为五项，8B 为六项；8B 的 MATH500 也是表内最高。本文保留逐项数字，不重复放大不一致的排名概括。另外，8B 领域科学相对 GRPO 的两项均值增幅为 \(2.15\) 点，与正文概述的 \(1.9\) 点也不一致。

4.2 最有力的消融：相同监督预算放错位置，会明显变差

以下为 v1 表 3 的 4B 组均分：

变体	科学推理	领域科学	通用推理
完整 VG-OPD	55.0	59.3	74.0
去掉资格门控	50.6	57.7	73.5
随机教师路由	49.3	55.3	70.2
整段监督	52.5	56.0	73.3
相同覆盖率的随机位置	48.7	47.2	68.4
统一权重	51.4	57.2	73.2

随机定位比完整方法分别低 6.3、12.1、5.6 点，支持“位置选择有价值”，而不只是“少教一些 token 就好”。不过，它证明的是这套配置中的相对效果，不能直接把掩码认定为真实因果错误位置。表 3

表 2 还提供更公平的训练范式对照：科学推理组中，纯 GRPO 为 53.0，GRPO + MOPD 为 50.1，GRPO + VG-OPD 为 55.0。说明同样加入教师项，并不保证能帮助 RL；门控与定位决定了监督是否适用。

基线解释也必须带上附录条件：MOPD 是作者在统一框架中的复现，dGRPO-style 使用了替代教师，而非原方法的更强外部教师；GRPO floor 的熵奖励为 0，蒸馏各组为 0.01。这是作者明确披露的设置，不能表述为“所有超参数完全一致”。附录 B.7

4.3 稀疏损失没有把训练变便宜

完整流水线每步中位时间 146.8 秒，RL-only 为 94.7 秒，增加约 \(55.0\%\)。主要额外工作包括专家 probe、教师对学生轨迹的打分与验证。附录 B.6

所以这里对齐的是 rollout/step 预算等条件，不是等 wall-clock 或等总 FLOPs。若关心训练效率，应继续比较相同 GPU-hours 下的最佳验证性能，并计入事先训练专家的成本。推理端则只使用合并后的学生，不需要复制训练时的多专家服务拓扑。

5. 最具创新性的点：把“能教”与“教哪里”联立起来

我的理解是，关键贡献在于一套教师资格与监督位置相结合的分配规则。已有 rubric 提供失败要求，专家 probe 提供要求级能力证据，教师 token 概率提供定位候选，GRPO 提供任务级优化目标。

这让“哪位老师更强”变成一个随题目、回答和准则变化的问题。同一条回答可以由两位教师负责不同位置，也可以在某项要求上拒绝所有候选。

最能支持这个判断的是去门控、随机路由与随机定位的联合消融，而不是仅看最终总分。它也提示后续研究应该分别测教师资格误判、位置误判和目标函数的作用，不宜用一个“蒸馏有效”结论将三者混在一起。

6. 读这篇论文时，需要特别小心的数学与证据边界

6.1 非负 KL 估计值，不等于所有实现细节都保持无偏

以下是对原文公式与附录 A.1 的数学核对。对于固定前缀、固定教师分布 \(q\)、学生分布 \(p\)，若从 \(p\) 采样并且不截断：

\[ \mathbb E_{v\sim p}\left[\frac{q(v)}{p(v)}-\log\frac{q(v)}{p(v)}-1\right] =\mathrm{KL}(p\|q). \]

这是标量期望恒等式。截断到 \(c=10\) 会改变期望；实际权重和教师选择又依赖已采样轨迹，不能直接把 \(w_t\) 视为与采样无关的常数移出期望。附录的命题已限定为固定权重、clamp 之前；博客解读应保留这些条件。

还要区分估计 KL 的值和得到 KL 的精确梯度：这里将信号 detach 后送入策略梯度 surrogate，不能仅由上述期望恒等式，就断言它等同于直接微分 KL。

6.2 负辅助优势不等于“只惩罚教师更不喜欢的 token”

对任意非零 \(\Delta\)，\(e^\Delta-\Delta-1\) 都为正。即使教师对某个 token 比学生更认可，也可能得到负辅助优势。例如 \(q(v)=0.2,p(v)=0.1\)，则

\[ \Delta=\log2,\quad e^\Delta-\Delta-1=2-0.6931-1=0.3069>0. \]

因此，“选择教师低概率位置”和“对所选位置使用非正 \(k_3\) 优势”是两个不同步骤；实际定位使用的是教师自己的概率排序，没有直接保证 \(q(v)<p(v)\)。

同样，所有被选位置的辅助系数非正，并不意味着归一化概率分布的所有 token 概率都会下降，或数学上必然发生熵坍缩。哪些概率上升、哪些下降，要看相对信号、参数耦合、任务项与熵正则。作者关于训练稳定性的经验解释不应被改写为普遍定理。

7. 局限与可验证的改进方向

作者明确承认的范围限制：主实验只有 4B、8B 学生，七个文本科学基准；分子结构、图片、实验数据等没有覆盖。附录还披露 thinking-mode 起点下专家未能建立足够优势，门控几乎不授权，因此“学生越强也同样有效”尚未得到系统验证。Limitations、附录 B.5

验证器本身也有误差。附录 B.3 的 578 个校准样本中，机理与证据轴 precision 分别为 0.877、0.782；干净答案上的 penalty 项误触发率为 39%。作者因此让陷阱项不参与授权、在奖励中保持较小权重，但它们仍可能影响任务信号。

以下是我的分析与待验证建议：

具体局限	可以怎样改	代价与验证方式
独立 probe 做对一项，不保证教师在学生的错误前缀上仍能有效指导	增加学生前缀条件下的续写/修复验证	多生成与验证；对比授权精确率、最终提升和每次有效修正成本
同一专家对所有准则复用整段低概率掩码	研究准则条件的局部 span 定位，再与原掩码取交集	可能漏掉关键位置；需人工核对少量 span，并控制覆盖率做消融
授权误差可能把错误教师引入训练	对临界 verdict 使用复核或置信阈值，提高拒绝率	降低监督覆盖且增加 judge 成本；测 precision–coverage–收益曲线
额外训练时间较大	扩大跨步 probe 缓存并设失效规则、优先评估高权重失败项，并与更多 GRPO 步数比较	缓存失效及覆盖偏差；按相同 GPU-hours 比验证分数
缺少误差条与充分外部复现	多 seed、固定 dev 选点、报告配对差异区间	训练和评测成本上升；可优先复核最大收益与最小收益任务

可复现性方面，v1 写的是代码与配置“将公开”，不能据此声称已经开源齐全。数据还带有上游非商业使用限制。RaR-Science 与训练来源存在重合，作者报告了去重处理；其余基准做精确/前缀匹配。此类去重不能自动排除语义改写重合，需要更细的审计。

8. 读者应记住什么？

• 价值：多教师融合可以细化成“这位专家能否补上这项缺口，以及该把信号放在哪些位置”。
• 成立条件：可用的准则和验证器、确有相对优势的专家，以及能控制副作用的任务优化目标。
• 最大风险：把准则通过误当作局部监督一定正确，或把稀疏监督误当作低成本训练。

完整定义、表格和附录以 Who Teaches Which Token? v1 为准。本文的手算、数学边界检查与改进建议是为帮助理解而作的独立分析，没有运行该论文的训练复现。