From Word to World：LLM 能否成为 Agent 的文本世界模型？

一句话结论：经过足量、覆盖多种行为的轨迹微调后，LLM 可以在结构化文本环境中充当高保真的下一状态预测器，并用于动作验证、合成经验和 RL warm-start；但这种能力高度依赖环境复杂度、行为覆盖与真实观测锚定，在 WebShop 等开放环境中仍存在明显模拟漂移。

论文信息

标题：From Word to World: Can Large Language Models be Implicit Text-based World Models?
作者：Yixia Li、Hongru Wang、Jiahao Qiu 等
arXiv：2512.18832
PDF：论文全文
代码：X1AOX1A/Word2World
版本：arXiv v2，2026-03-05

本文的数值推演包含一个标注为教学用简化例子的购物交互；实验数值均来自论文表格或图。

1. 论文全景

Agentic RL 的经验必须通过交互获得，但真实网站、工具和游戏环境既昂贵又不易扩展，还不会自动跟随 agent 能力增加难度。世界模型提供了一条替代路径：先学习“执行动作后世界会怎样变化”，再让 agent 在可回退的想象环境里试错。

这篇论文没有只问“LLM 能不能生成像真的环境回复”，而是把问题拆成三层：

Fidelity & Consistency：单步预测是否准确，多步 rollout 是否仍可在真实环境执行；
Scalability & Robustness：数据量、模型规模、环境变化和 agent 行为分布如何影响可靠性；
Agent Utility：世界模型是否真的能提高动作安全、替代真实数据并改善 RL。

作者在 ALFWorld、SciWorld、TextWorld、WebShop、StableToolBench 五类文本环境上训练 Qwen2.5-7B 与 Llama-3.1-8B 世界模型，给出的答案不是简单的“能”或“不能”：结构化环境接近可用，开放环境仍需更多数据、行为覆盖和真实信号锚定。

2. Motivation：从 next-token 到 next-state

普通语言模型学习的是

给定前文，下一个 token 最可能是什么？

世界模型需要学习的是

给定当前环境状态和 agent 动作，环境下一步应该返回什么？

两者都可用自回归生成实现，但后者受三类额外约束：

状态约束：物体位置、网页筛选条件、工具调用结果必须与历史一致；
因果约束：输出必须是动作导致的结果，而不只是语义上合理的续写；
长程约束：早期的小错误会改变后续可行动作，逐步累积成模拟漂移。

已有工作常依赖 prompt、只测单步 accuracy，或把输出限制为特定环境的标签。论文的缺口判断是：局部像真的文本不足以证明模型是可供 agent 使用的 world model，必须同时测长程一致性、分布外鲁棒性和下游效用。

3. Method：如何训练和评估隐式文本世界模型

3.1 Agent 与 world model 的统一接口

ReAct agent 在第 (n) 步根据初始状态和历史交互产生思考 (T_n) 与动作 (A_n)（论文式 1）：

\[ \mathcal A: \{S_0,(T_i,A_i,S_i)_{i=1}^{n-1}\} \rightarrow(T_n,A_n). \]

世界模型接收历史状态与当前动作，预测下一文本状态和二元终止/成功信号（论文式 2）：

\[ \mathcal W: \{S_0,(A_i,S_i')_{i=1}^{n-1},A_n\} \rightarrow(S_n',R_n'), \qquad R_n'\in\{0,1\}. \]

agent 与世界模型交替生成想象轨迹（论文式 4）：

\[ \tau_{\mathrm{wm}}= \{S_0,T_1,A_1,S_1',\ldots,T_T,A_T,S_T'\}. \]

真实环境产生对应参考轨迹（论文式 5）：

\[ \tau_{\mathrm{real}}= \{S_0,T_1,A_1,S_1,\ldots,T_T,A_T,S_T\}. \]

核心学习任务就是：给定真实前缀和当前动作，用监督微调预测下一环境回复。模型内部隐式维护状态，不要求显式数据库或 symbolic state。

3.2 数据与训练

行为策略用 GPT-4o，在 ALFWorld、SciWorld、TextWorld 各收集 40K 条轨迹，在 WebShop 收集 70K；成功和失败轨迹都保留。
StableToolBench 使用 160K 个公开单轮样本。
世界模型 backbone 为 Qwen2.5-7B 或 Llama-3.1-8B base model。
ALFWorld 与 SciWorld 提供完整初始配置；TextWorld、WebShop 等存在部分可观测性，模型必须从历史推断隐藏状态。

保留失败轨迹并非数据清洗不彻底，而是为了覆盖弱 agent 与错误动作会访问的状态。后面的 mixed-agent 实验证明，这对 OOD 行为尤为重要。

3.3 三层评价

单步 fidelity：预测 ((S_n’,R_n’)) 与真实 ((S_n,R_n)) 完全匹配才算 EM 正确；开放输出的 StableToolBench 还报告 word-level F1。

长程 consistency：论文分别在真实环境、世界模型和“世界模型生成动作再回放到真实环境”中测成功率：

Real：agent 在真实环境的成功率；
WM：agent 在世界模型内的成功率；
W2R：把 WM rollout 的动作放回真实环境后的成功率；
一致性比率：

\[ \mathrm{CR}=\frac{\mathrm{W2R}}{\mathrm{Real}}. \]

agent utility：把世界模型用于三种实际工作流：不可逆动作的执行前验证、合成成功轨迹做 SFT，以及在 Agent-SFT/RL 前先做 WM-SFT warmup。

4. 具体数值例子：一次购物动作如何被世界模型拦截

下面是教学用简化例子，流程对应论文式（2）至（5）与第 7.1 节的 WebShop verifier。

第 1 步：给定状态与候选动作

假设用户目标是“购买蓝色、M 码、价格不超过 50 元的 T 恤”。当前可见状态为

\[ S_0=\{\text{商品 P17，红色，M 码，45 元，购物车为空}\}. \]

agent 提议不可逆动作

\[ A_1=\texttt{checkout(P17)}. \]

世界模型根据历史和动作预测

\[ \mathcal W(S_0,A_1) = (S_1'=\text{“已购买红色 P17”},R_1'=0). \]

因为预测结果不满足“蓝色”，verifier 拒绝真实 checkout，agent 继续搜索。

第 2 步：模拟修正后的路径

agent 改为

\[ A_1'=\texttt{filter(color=blue,size=M,price\le50)}, \]

世界模型预测

\[ S_1'=\{\text{P23，蓝色，M 码，48 元}\},\quad R_1'=0. \]

再执行想象动作 (A_2’=)：

\[ \mathcal W(S_0,A_1',S_1',A_2') = (S_2'=\text{“已购买 P23”},R_2'=1). \]

于是想象轨迹为

\[ \tau_{\mathrm{wm}} =\{S_0,A_1',S_1',A_2',S_2'\}. \]

只有第二个 checkout 被提交到真实网站。真实环境若返回同样的商品与成功状态，就得到可执行的 ( au_{})。

第 3 步：用论文真实数值理解 CR 与收益

表 2 中，GPT-4o 在 Qwen2.5-7B world model 的 WebShop 设置下：

\[ \mathrm{Real}=29.36\%,\qquad \mathrm{W2R}=16.51\%. \]

因此

\[ \mathrm{CR}=\frac{16.51}{29.36}\approx0.5623\approx0.56. \]

也就是说，WM 内产生的策略回到真实网站后只保留约 56% 的真实成功水平，开放网页模拟仍有明显落差。

但作为短程 verifier，它依然有用：表 4 中 GPT-4o 不验证时成功率为 29.36%，最多验证 4 次时为 33.94%，绝对提升

\[ 33.94-29.36=4.58\text{ 个百分点}, \]

相对提升约

\[ \frac{4.58}{29.36}\times100\%\approx15.60\%. \]

这解释了一个关键边界：世界模型不必完美复刻整个网站，短程、聚焦高风险动作的模拟就能产生效用。

5. Results：实验结果究竟说明了什么

5.1 单步 fidelity：SFT 是分水岭

三-shot prompting 能唤起一定隐式动态知识，例如 Claude Sonnet 4.5 在 SciWorld 从 56.83% 提升到 73.08%。但微调后的开源模型明显更强：

Qwen2.5-7B 在 ALFWorld / SciWorld 达到 99.87% / 98.60% EM；
TextWorld 为 70.60% EM，WebShop 为 79.05% EM；
StableToolBench 仅 48.90% EM，但 word-level F1 为 79.15%，说明开放表述让 exact match 过于苛刻。

结论应限定为：LLM 可通过 dynamics-aligned SFT 学会转移规律，而不是“预训练 LLM 天生就是高保真模拟器”。

5.2 长程 consistency：结构化世界优于开放世界

Qwen world model 跨 agent 平均 CR：ALFWorld 0.96、SciWorld 0.91、TextWorld 0.92，而 WebShop 只有 0.67。用真实搜索结果锚定 WebShop 后，GPT-4o 的一致性可从约 56% 提升到接近 100%。这直接支持“开放环境需要周期性真实观测校正”。

5.3 scaling law 取决于环境熵

ALFWorld、SciWorld、TextWorld 等结构化环境约 20K 轨迹后趋于饱和；
WebShop 一直到约 70K 仍受益；
StableToolBench 在 160K 样本处仍未饱和；
1.5B 已能学习结构化规则，开放环境则持续受益于更大模型。

因此，“需要多少世界模型数据”没有统一答案，主要由状态与输出空间的开放程度决定。

5.4 robustness：覆盖 agent 的错误行为比只收专家轨迹更重要

在 SciWorld 上把单一 GPT-4o 轨迹换成多 agent 混合轨迹后，GPT-4o-mini 的 CR 从 0.49 提升到 0.81；OOD agent 平均 CR 从 0.83 提升到 0.91。世界模型若只见过专家的目标导向路径，就很难处理弱 agent 的怪异动作。

5.5 utility：验证、合成数据、warm-start 都有效

WebShop 执行前验证对所有被测 agent 都有正收益，但预算并非越大越好；GPT-4-turbo 从 0 次的 17.73% 提升到 2 次的 33.33%，50 次反而回落到 25.60%。
SciWorld 中 1K 合成轨迹可匹配 1K 真实轨迹，1K 真实 + 1K 合成最好；这证明合成经验能替代一部分、而非全部真实经验。
WM-SFT → Agent-SFT → RL 在 ALFWorld 与 SciWorld 均优于直接 Agent-SFT → RL，说明先学动态能减少早期盲目探索。

论文没有给统计显著性或置信区间，因而“小幅差异是否稳定”仍不能从均值表格中确定。

6. 最具创新性的点

最具创新性的不是“用 LLM 模拟环境”本身，而是建立了一条从预测准确到可供 agent 使用的完整证据链：

单步 fidelity → 长程 W2R consistency → 数据/模型/行为 scaling → verifier、合成经验与 RL warm-start 的真实效用。

尤其是 W2R 与 CR，把“语言上像环境回复”升级成“在模拟器里得到的动作能否回到真实环境执行”。再配合 mixed-agent 轨迹实验，论文明确指出了可靠 world model 的核心资源不是只有数据量，还有行为覆盖。

7. 不足与可能的改进

7.1 作者结论中明确呈现的边界

开放环境会漂移，收益依赖行为覆盖、分布对齐和环境复杂度；当前实验仍限于文本环境。

改进方向：采用混合 world model：结构化字段或工具状态由可执行后端维护，自由文本由 LLM 生成，并按不确定性周期性查询真实环境。验证时应同时测 CR、真实调用次数和单位调用带来的成功率提升。代价是系统复杂度和真实访问成本上升。

7.2 我的分析：EM 与 agent 所需的因果信息并不等价

两个文本表述可能 EM 不同但状态等价；也可能大部分字符串相同，却漏掉决定下一动作的商品 ID。StableToolBench 的 EM/F1 落差已经暴露了这个问题。

改进方向：增加 attribute-level state accuracy、可执行等价测试和 behavior preservation：把预测状态与真实状态分别交给同一冻结 agent，看其动作分布是否一致。风险是评价会依赖特定 agent。

7.3 我的分析：训练与测试仍共享有限的环境族

五个环境覆盖物理、科学、文本游戏、购物和工具，但仍主要是现有 benchmark；真实网站更新、API 演化和对抗输入没有被充分测试。

改进方向：建立按时间切分的 continual benchmark，训练后让网页/API 规则发生变化，报告适应速度、旧知识遗忘和灾难性动作率。这会牺牲实验可重复性，需要保存版本化回放。

7.4 我的分析：合成数据的闭环偏差可能被放大

同一个模型族既生成世界反馈，又生成 agent 数据，错误可能在 SFT 或 RL 中自我强化。论文证明合成数据“可竞争”，但没有长期多轮 self-training 的偏差累积实验。

改进方向：混合不同架构的 world models、真实轨迹审计与 disagreement filtering；随训练轮次报告 W2R、OOD 成功率和错误类型迁移。成本是需要多个模型和更多真实验证。

7.5 我的分析：缺少不确定性与统计置信度

verifier 目前根据单次预测放行或拒绝，却没有把世界模型置信度显式纳入决策；实验表格也没有系统给出方差。

改进方向：用 ensemble 或多样采样估计 epistemic uncertainty，只在高置信度时阻断真实动作，并通过 calibration curve、Brier score、置信区间检验收益是否稳健。多采样会削弱世界模型节省成本的优势。