综述｜From Reasoning to Agentic：LLM 强化学习信用分配的统一地图与识别边界

一句话结论：这篇综述不只按 token/step/turn 罗列方法，还提出六个“假设破裂”诊断和 CA-ID Card：任何信用主张都必须说清单位、替代动作、恢复的有效状态、后续协议与证据层级，否则一个看似精确的分数甚至可能连因果贡献的正负号都无法识别。

论文信息

• 标题：From Reasoning to Agentic: Credit Assignment in Reinforcement Learning for Large Language Models
• 作者：Chenchen Zhang
• 版本：arXiv v3，2026-08-09；文献截止 2026-07-31
• 论文：arXiv:2604.09459
• 配套仓库：Awesome-Credit-Assignment-in-LLM-RL

1. Motivation：从“哪个 token”到“哪个动作改变了世界”

reasoning RL 的一条 trajectory 通常是单次生成；agentic RL 则可能包含几十到上百次 tool call、网页状态变化、记忆读写与其他 Agent 消息。两者都只有稀疏 outcome reward，但后者多出三层复杂性：

1. 环境隐藏状态使相同文本历史不再代表相同真实状态；
2. 动作单位异质，token、tool call、memory operation 不可直接交换；
3. 环境难以精确 replay，中间结果也往往没有 verifier。

因此 Agent 信用问题不只是“估计更噪”，而可能变成“目标量根本没有被当前数据识别”。

2. 两种基本抽象与多粒度层级

2.1 Reasoning RL

状态是 prompt 加已生成前缀，动作是下一个 token，reward 在结尾给出。要回答的是哪些 token/segment 对正确答案有贡献。

2.2 Agentic RL

状态包含历史和部分可见环境，动作是一整个环境-facing turn，转移由工具或外部环境决定。信用是双层的：先判断哪个 turn 关键，再判断 turn 内哪些 token 重要。

论文把层级写成：

\[ \tau =[\mathrm{Turn}_1,\ldots,\mathrm{Turn}_T] =[\mathrm{Segment}_{1,1},\ldots] =[a_{1,1,1},\ldots]. \]

“粒度”只描述信用分给谁，却不能自动证明这个分数是有效贡献。

3. 六个诊断：方法的隐含假设在哪里会破

综述对固定 42 篇核心论文做六维全文编码：

诊断	识别障碍	最低评估控制	42 篇中的阳性数
T：transition non-closure	相同文本不保证相同动力学	恢复环境与隐藏执行状态	24
O：partial observability	日志漏掉 outcome-relevant state	状态充分性或 privileged-state audit	10
R：limited replay	干预无法精确复现	声明 replay 来源与 replica noise floor	19
H：heterogeneous actions	token/tool/memory/message 不可交换	typed-unit 与 unit-mismatch 消融	20
V：weak local verifiability	中间正确性不可得或仅有 proxy	用干预/continuation 校准 judge	32
C：agent coupling	一个 Agent 改变另一个的策略路径	message/role/coalition intervention	7

这些计数只适用于固定 42 篇子集，不代表整个 69 篇语料的流行率。

4. 统一的信用 estimand：必须先声明“替代什么”

令 (u) 是 token、segment、turn、tool call、memory 操作或消息边；真实动作是 (a)，替代动作 (a’q_u)。论文定义协议特异的信用对照：

\[ \Delta_u(q_u;\rho) =\mathbb E\left[ R(\tau^{u\leftarrow a}) -R(\tau^{u\leftarrow a'}) \mid z_u^-\ \mathrm{matched},a'\sim q_u,\rho \right]. \]

其中：

• (z_u^-)：干预前完整有效状态；
• (q_u)：替代动作分布；
• ()：后续 policy、horizon、verifier/reward 和随机噪声耦合协议。

换一个 reference action 或 continuation policy，就换了 estimand。预测价值、语义合理性、信息增益与因果边际贡献不能都叫同一个“credit”。

4.1 Restored-state identification

若每个分支都恢复到相同有效状态，真实和替代动作语义有支持，且两边遵守同一 ()，paired return difference 的样本均值可无偏估计所声明的 (_u)。

4.2 纯文本历史为什么可能连符号都不识别

论文给出构造性反例：隐藏变量 (Z(1/2))，文本历史恒定，行为策略总选 (A=Z)，观察到的 reward 总为 1。两个因果世界可拥有完全相同的 ((h,A,R)) 分布，却分别令

\[ \mathbb E[R^1-R^0]=+\frac12 \quad\text{或}\quad -\frac12. \]

只看文本、动作和 outcome 的任何 estimator 都无法区分它们。partial observability 在这里是识别失败，不只是方差更大。

5. 具体数值推演：一次 checkpointed turn intervention

假设软件 Agent 在 turn 8 选择真实动作 (a)：“运行目标单测”；reference (q_u) 固定为“跳过测试继续编辑”。我们保存 turn 8 前的完整容器、文件系统、对话、模型 decode state，并用五组配对随机种子执行两分支。

真实动作分支回报：

\[ [1,1,0,1,1]. \]

reference 分支回报：

\[ [0,1,0,0,1]. \]

paired difference：

\[ d=[1,0,0,1,0]. \]

信用估计为

\[ \widehat\Delta_u=\bar d=\frac{2}{5}=0.4. \]

样本方差

\[ s_d^2 =\frac{2(1-0.4)^2+3(0-0.4)^2}{5-1} =0.3, \]

标准误

\[ \mathrm{SE}=\sqrt{\frac{0.3}{5}}\approx0.245. \]

粗略 95% 正态区间为

\[ 0.4\pm1.96(0.245)\approx[-0.08,0.88]. \]

点估计表明“运行测试”提高成功率约 0.4，但五对样本不足以排除零效应。一个合格 CA 报告不能只给 0.4，还要写清 reference、checkpoint 内容、共同随机数协议和不确定性。

若只重新喂文本前缀而不恢复容器文件，这个实验估计的就不再是同一个 (_u)。

6. 方法地图：粒度 × 方法族

综述整理的主要方法族可理解为：

• episode/group credit：GRPO、REINFORCE，简单低成本但最粗。
• token/segment credit：Monte Carlo continuation、reward redistribution、entropy/attention/gradient proxy、Shapley。
• step/turn value：critic、PRM、TD/GAE、state grouping。
• hindsight/counterfactual：事后 judge、leave-one-out、reroll、causal model。
• hierarchical/typed credit：plan–act 层级、角色化动作、memory/tool 类型。
• multi-agent credit：agent/role/message/coalition 分解。

从经典 RL 的映射也很清晰：TD/GAE 对应 learned critic；return decomposition 对应 reward redistribution；HCA 对应事后归因；difference reward 与 Shapley 对应 counterfactual/coalition credit。LLM 特有的新轴是 LLM-as-Critic。

7. 综述的“结果”

这是一篇 survey，结果主要是语料、编码可靠性和审计结论，不是模型 accuracy：

• 2024-01 至 2026-07-31 共纳入 69 篇：56 个核心 CA 方法、13 个邻接/边界 enabler；筛选 ledger 有 92 条去重记录。
• 69 篇中，核心方法按场景含 reasoning 21、agentic 或 mixed 31、multi-agent 4。
• 固定 42 篇核心子集产生 252 个二值诊断格；两位研究员独立盲编一致 223 格，agreement 88.5%。
• 各诊断 Cohen’s () 为 0.543–0.909；主方法族 42/42 一致，()。
• 报告审计发现 42 篇中只有 21 篇给 numeric CA-specific overhead，另 2 篇给 numeric proxy；不确定性证据有 21 篇未报告。
• 作者明确拒绝跨论文 leaderboard，因为 base model、数据、verifier、optimizer、trajectory budget 与 uncertainty protocol 不可比。

8. CA-ID Card：每个信用主张的最小合同

一条可审计 claim 至少要声明：

1. unit 与 estimand：token/turn/tool/message？reference (q_u) 是什么？
2. effective state：观察、匹配、恢复了哪些状态？哪些仍隐藏？
3. intervention provenance：真实重跑、decoder resume、环境 restore、日志匹配，还是模型 proxy？
4. downstream protocol：后续 policy、horizon、verifier 与随机数如何耦合？
5. support 与 uncertainty：替代动作是否有支持？重复次数和区间是多少？
6. optimization interface：credit 进入 reward、advantage、mask、target 还是 loss weight？

证据层级依次是：restored-interventional；满足 exchangeability/positivity 的 observational-causal；model-relative counterfactual；predictive/proxy。低层级信号仍可能有效，但 claim 不能越级。

9. 最具创新的点

最创新的不是扩充论文表，而是把 credit assignment 从“优化技巧分类”提升为estimand 与识别问题。六诊断告诉读者假设在哪里破，CA-ID Card 则把每个分数绑定到可证伪协议。这能阻止“judge 分高”“attention 大”被未经校准地写成因果贡献。

10. 不足与可能改进

10.1 不是系统综述

作者明确说明检索、citation chasing 和边界编码依赖判断；快速变化的预印本也会产生漏召回。未来应公开完整 frozen bundle 后做可复现更新。

10.2 42 篇子集不是随机样本

诊断和 reporting prevalence 不能推广到全部 56 篇核心方法。后续可对完整语料重复双人编码，并预注册纳入标准。

10.3 CA-ID Card 尚未前瞻验证

它是 claim-bounding 模板，不是 causal guarantee。需要让独立作者/审稿人在新论文中实际使用，测量一致性和遗漏率。

10.4 taxonomy 会简化混合方法

很多方法同时使用 critic、hindsight 与 hierarchy，单一 principal family 会损失信息。可采用多标签机制图，并记录主要/辅助 estimator。

10.5 理论识别与训练收益仍有距离

精确 restored intervention 很贵，便宜 proxy 可能训练效果更好。真正缺少的是固定 compute 下“更多粗 rollout”与“更少精细 credit”的效率前沿。

11. 阅读结论

这篇综述最值得带走的一句话是：在 Agent 场景中，信用问题已从“哪一步看起来正确”变为“在什么恢复状态、替代动作与后续协议下，哪个干预改变了世界”。 读任何 CA 论文时，先用六诊断检查假设，再用 CA-ID Card 约束 claim，往往比先看最终分数更重要。

参考入口

• 六诊断与识别：第 2.3–2.4 节，表 2–3
• 方法 taxonomy：第 2.6、3、5、6 节
• Agentic assumption breaks：第 4 节
• open problems 与 validity：第 10 节
• 完整方法清单与 reporting audit：附录 B–C