Bridging the Agent-World Gap：LLM Agent 文本世界模型全景综述

一句话结论：文本世界模型的本质是“给定状态与候选动作，预测动作发生后的文本状态”。这篇综述用“表示形式 × grounding domain”描述它是什么，再用“构建 → 训练时使用 → 推理时使用 → 评价”的生命周期解释它如何进入 agent 系统，从而把网页、代码、工具、用户模拟和规划研究放进同一张地图。

论文信息

• 标题：Bridging the Agent-World Gap: Text World Models for LLM-based Agents
• 作者：Yixia Li、Hongru Wang、Peng Lai 等
• arXiv：2606.09032
• PDF：论文全文
• 项目列表：sustech-nlp/awesome-text-world-models
• 版本：arXiv v1，2026-06-08

这是一篇综述，不是提出单一新算法的实验论文。所以下文的“方法”指作者提出的统一定义与 taxonomy；数值例子是我构造的教学用系统例子，用于跑通综述框架，不是论文报告的新实验。

1. 论文全景

许多 LLM agent 仍是反应式系统：看到网页或终端输出，直接生成下一个点击、命令或工具调用。它们缺少一个可检查的内部模型来回答：

如果我执行这个动作，网页、代码、API 或用户状态会怎样变化？

文本世界模型（Text World Model, TWM）补上了这层转移预测。论文把快速分散的研究整理成两个互补坐标系：

1. 对象层 taxonomy：状态如何表示，以及模拟的是哪一种世界；
2. 生命周期 taxonomy：世界模型如何构建、怎样用于训练和推理、又如何评价。

这套框架最大的价值，是避免把“LLM 扮演用户”“代码生成一个沙盒”“网页下一状态预测”“MCTS 的语言转移模型”看成互不相干的技巧。只要它们承担 (s_t,a_ts_{t+1}) 的反事实转移角色，就属于同一个设计空间。

2. Motivation：为什么文本世界需要单独的综述

视觉 world model 的评价常围绕像素、latent state 或物理轨迹；直接搬到文本世界会遇到三种冲突：

• 开放词汇与歧义：同一个状态可以有多种正确文字表达，exact match 可能误判；
• 知识依赖：API、网页、代码与用户的下一状态依赖背景事实，不只是局部物理规律；
• 语义正确性：预测文本看起来相似，不等于保留了决定下一动作的关键信息。

与此同时，相关工作散落在 web navigation、软件工程、tool use、对话与用户模拟中，缺乏共同词汇。已有 survey 多聚焦视频、自动驾驶或 embodied control，无法回答文本 agent 的三个实际问题：世界模型该用 LLM 还是代码、该放在训练还是推理、该按文本相似度还是 agent 效用评价。

3. Foundations：什么才算文本世界模型

论文从转移函数定义 TWM：

\[ \mathcal M:\mathcal S\times\mathcal A\rightarrow\mathcal T_{\mathcal S}, \]

\[ \hat s_{t+1}=\mathcal M(s_t,a_t), \]

其中 (mathcal T_{S}) 是后继状态的文本呈现。输出可以是自然语言、JSON、代码片段或其他能说明动作后“哪些事实成立”的文本工件；输入也不必纯文本，可以包含网页截图等多模态状态。

关键限定是反事实角色：它必须回答“若在状态 (s_t) 执行动作 (a_t)，会发生什么”。普通聊天回复或无动作条件的语言续写不自动构成世界模型。

3.1 对象层的二维 taxonomy

纵轴：状态/转移表示

1. Natural Language：灵活、易生成，但一致性和可执行性弱；
2. Structured：JSON、知识图、accessibility tree、PDDL predicate，更易跟踪和校验；
3. Executable Code：Python、TypeScript、HTML 或 simulator，确定、可回放，但要求领域能形式化。

横轴：grounding domain

1. Physical：家居、导航、游戏物理、灾害场景；
2. Digital：网页、操作系统、代码仓库、终端、API、GUI；
3. Social：用户意图、偏好、情绪与对话进度；
4. Abstract：规划、数学、逻辑和符号规则。

任一系统都可在这张 (3) 地图上定位。例如“用自然语言预测网页点击结果”是 Natural Language × Digital；“生成可执行 Python 游戏模拟器”是 Executable Code × Abstract/Physical。

4. Method：完整生命周期如何组织这个领域

4.1 Build：三种构建范式

Learning-based LLM-as-WM

收集 (langle s,a,s’) 轨迹，用 SFT、DPO、GRPO 等更新模型。输出可选：

• full-state prediction：生成整个下一观察，适合状态紧凑的文本游戏与代码输出；
• delta prediction：只预测动作导致的变化，适合数千 token 网页中只改动少量 DOM 的场景。

训练数据从真实 rollout、自博弈到完全合成，真实性降低的同时成本也降低。论文汇总的尺度跨度很大：结构化环境约 (2^4) 条轨迹可饱和，WebWorld 使用 1.06M 网页轨迹，Code World Model 则扩展到 5T 个含执行痕迹的 token。

Prompt-based LLM-as-WM

不更新参数，通过 ICL、CoT、RAG 或自演化 memory 把冻结 LLM 变成转移函数。优点是冷启动快，缺点是上限受基础模型知识覆盖约束，并会随 rollout 深度累积幻觉。

Programmatic Code-as-WM

LLM 不直接预测每一步状态，而是生成 PDDL、Python、HTML、FSM 或 DSL；代码与执行器共同成为 world model。这条路线可验证、可回放，但每个环境都要构造和验收，通用“环境正确性”标准仍不存在。

选择原则很清楚：规则固定且能编码时优先 code-as-WM；动态开放、依赖常识时需要 LLM-as-WM；轨迹多则学习，轨迹少则 prompting/retrieval。

4.2 Training-time：三种进入训练环的方式

1. Internalized WM：先学动态再学 policy，或把“simulate → compare → decide”写进 reasoning trace；
2. WM as Training Environment：离线合成 SFT 轨迹、在线充当 RL 环境，或与 policy 共同演化；
3. User Simulation：模拟澄清、偏好、情绪和 persona，让 agent 在多轮交互中学习。

耦合越紧，越能追上 policy 的行为分布，但训练成本和联合不稳定性也越高。共同风险是 simulator drift：policy 探索到世界模型没见过的状态后，虚构反馈逐渐脱离真实环境。

4.3 Inference-time：simulator 与 verifier

Simulator 主动产生候选未来：

• shallow lookahead：提出多个动作，各模拟一步后打分；
• deep tree search：以 TWM 为转移函数，在 MCTS 或递归搜索中展开多步未来。

Verifier 不负责提出动作，只筛选 policy 已生成的候选：

• gate：预测危险则拒绝单个动作；
• rank：对多个补丁、点击或方案排序；
• rewrite：全部低置信时，把模拟结果送回 policy 重新生成。

simulator 适合 policy 连候选都选不准的情况；verifier 适合已有可用候选、只需避免错误执行的情况。后者通常计算更省。

4.4 Evaluate：世界模型既是对象，也是工具

论文区分三层评价：

1. Intrinsic prediction fidelity：EM、F1、BLEU 或属性正确率；
2. Extrinsic task utility：接入 agent 后成功率、reward、规划质量是否提高；
3. WM-as-evaluation-environment：让世界模型模拟用户或环境来测 agent，但必须先验证模拟器本身是否忠实。

单步 EM、多步 consistency 与真实任务效用不可互相替代。一个预测可与真实文本不同却导向同一正确动作，也可几乎相同却漏掉唯一决定性 token。

5. 具体数值例子：把一个网页 agent 放进整套 taxonomy

下面用一个教学例子贯穿“定义 → 构建 → 推理 → 评价”。假设 agent 要在购物网站购买价格不超过 300 元的降噪耳机。

第 1 步：定义状态与动作

当前状态

\[ s_t=\{\text{搜索结果页；价格筛选未启用；购物车为空}\}. \]

agent 提出三个动作：

\[ a_1=\text{直接购买首项},\quad a_2=\text{启用“价格}\le300\text{”筛选},\quad a_3=\text{改搜“降噪耳机 300 元”}. \]

这是 Digital domain。若 (mathcal M) 输出自然语言页面变化，则属于 Natural Language representation。

第 2 步：构建 world model

收集真实网页三元组 (langle s_t,a_i,s_{t+1})，用 SFT 训练 delta predictor。世界模型给出：

\[ \hat s_{t+1}^{(1)}=\text{“进入 499 元商品结算页”}, \]

\[ \hat s_{t+1}^{(2)}=\text{“结果缩小为 6 件，均不超过 300 元”}, \]

\[ \hat s_{t+1}^{(3)}=\text{“返回 20 件混合结果，含非降噪商品”}. \]

它属于 learning-based LLM-as-WM + delta prediction。

第 3 步：shallow lookahead 选动作

综述没有规定统一评分函数。为了演示，假设一个外部 value scorer 对目标满足度给出教学分数：

\[ (v_1,v_2,v_3)=(0.20,0.85,0.55). \]

选择规则为

\[ a^*=\arg\max_{a_i}v(\mathcal M(s_t,a_i))=a_2. \]

于是 agent 先执行筛选，而不是把 499 元商品加入结算。这里 TWM 扮演 inference-time shallow simulator；若 policy 已经选了 (a_1)，TWM 也可作为 verifier 拒绝它。

第 4 步：算 intrinsic 与 extrinsic 指标

假设测试集中有 100 个真实转移，模型 82 个属性完全匹配：

\[ \mathrm{EM}=\frac{82}{100}=82\%. \]

但真正重要的是 agent 效用。若不使用 TWM 时 200 个任务成功 72 个，使用后成功 94 个：

\[ \mathrm{SR}_{\mathrm{base}}=72/200=36\%, \]

\[ \mathrm{SR}_{\mathrm{TWM}}=94/200=47\%, \]

绝对提升 11 个百分点，相对提升

\[ \frac{47-36}{36}\times100\%\approx30.56\%. \]

这些数字只是教学值。它们说明为什么评价不能停在 82% EM：真正的研究结论还要看这 82% 是否覆盖决策关键状态，以及剩余错误是否会造成灾难性动作。

6. Results：这篇综述整理出了哪些共识

综述不报告自有模型的主实验，其“结果”是对既有研究的结构化归纳。最稳定的几条证据是：

• 微调普遍优于纯 prompting：结构化环境中的 SFT world model 可接近 99% 单步准确率，而提示式模型在长程规划中迅速退化；
• 环境开放度决定数据门槛：Word2World 中结构化环境约 20K 轨迹饱和，WebShop 到 70K 仍提升，工具环境 160K 仍未饱和；
• delta 更适合冗长观察，full state 更适合紧凑状态，但 delta 在长时域可能丢失未显式更新的背景状态；
• shallow lookahead 便宜，tree search 更强但开销指数增长；两者都受 simulator fidelity 上限约束；
• 预测相似度不等于行为一致性，因此评价与 RL reward 都在从 EM/语义相似度转向 action preservation 和 downstream utility；
• LLM user simulator 往往过度礼貌、配合，制造“easy mode”，使 agent 成绩高估，且不同人群与方言上的忠实度不均衡。

这些是跨论文归纳，不是同一数据集上的严格 meta-analysis；不同工作模型、环境和指标不统一，不能把数字直接横向排名。

7. 最具创新性的点

最具创新性的贡献是把两个正交视角叠在一起：

• 对象层用“表示形式 × grounding domain”回答 TWM 是什么；
• 系统层用“Build → Train-time → Inference-time → Evaluate”回答 TWM 在 agent 生命周期里做什么。

这比按网页、代码、游戏、对话逐领域罗列更有解释力：同一个 code-as-WM 可同时用于训练环境、推理搜索和 agent 评价；同一个 LLM-as-WM 也可能因部署阶段不同而面临完全不同的 fidelity 要求。论文还明确把 world model 作为评价对象与评价工具区分开，揭示了“用未验证的模拟器评价 agent”这一循环风险。

8. 不足与可能的改进

8.1 综述明确提出的开放问题

• world model 与 policy 应共享、部分共享还是彻底解耦，没有统一答案；
• 复杂代码、科学与用户状态预测需要显式 reasoning，而非表面下一状态模仿；
• 一个模型很少同时服务训练、规划与评价三个生命周期阶段；
• agent 还不会可靠判断何时调用 TWM、信多少、错了如何修正；
• 物理 grounding、非平稳环境下的 continual adaptation 仍不足。

8.2 我的分析：taxonomy 边界会重叠

自然语言、结构化状态和代码并非互斥：GUI world model 可先生成文字 delta，再渲染 HTML；同一环境也可能横跨 Digital 与 Social。强行单标签会隐藏混合系统。

改进方向：把 taxonomy 从单点分类改为组件图，为每个模块标注输入表示、转移执行者、grounding source 和可验证程度。代价是失去一张表快速概览的简洁性。

8.3 我的分析：缺少可比的定量 meta-analysis

综述列举大量方法和代表数字，但环境、模型规模、真实调用预算与指标差异很大，难以回答“同等成本下哪种范式最好”。

改进方向：建立统一 evidence matrix，至少标准化真实环境调用数、模拟 token、lookahead depth、SR、CR 和校准误差，并在若干共同环境复现三类构建范式。代价是复现实验规模很大，部分闭源系统无法纳入。

8.4 我的分析：快速演化使静态综述很快过时

论文时间线显示 2025–2026 年工作数量激增，静态 PDF 很难持续维护方法状态、代码可用性和后续纠错。

改进方向：将 GitHub 列表升级为版本化 living survey：要求每条记录包含任务、表示、数据规模、是否开放代码、真实环境依赖与主要证据，并给更新日志。风险是维护成本和收录标准漂移。

8.5 我的分析：评价仍可能形成闭环自证

LLM 生成模拟状态，LLM judge 打分，再用 LLM 用户测 agent，三个环节可能共享同一种偏差。综述指出这一问题，但尚无通用独立校验协议。

改进方向：采用三角验证：真实日志的 transition test、冻结异构 agent 的 behavior test、真实用户或可执行后端的 outcome test；只有三层一致时才宣布 simulator 可用于评价。成本是需要真实数据和人工参与。

9. 读者应记住的要点

• TWM 的最低定义是反事实转移：(mathcal M(s,a)s’)。
• 表示选择决定可靠性：自然语言灵活，结构化状态可校验，代码可执行但领域受限。
• 构建方式与部署角色应分开讨论：同一个模型可以通过学习构建，却在训练中当环境、在推理中当 verifier。
• 单步相似度不足以证明可用，必须同时测长程 consistency、行为保持与真实任务效用。
• 最大风险不是偶发措辞错误，而是 simulator drift 诱导 policy 学到一个不存在的世界。