R-WoM：先查教程再想象，让电脑 Agent 在执行前比较动作后果

任务是：“把桌面的图片插到文档当前光标处。”Agent 可能先去桌面复制文件，也可能使用文档软件的“插入图片”功能。两个动作都听起来合理，但它们对光标位置、剪贴板和插入对象的影响并不相同。

R-WoM 先检索软件教程，再让语言模型模拟不同动作的后果，比较哪条路径更可靠，最后只执行选中的当前一步。

这是一种推理时决策方法。这里的“奖励估计”用于排序候选动作，框架没有用这些分数做 SFT、RL 或梯度更新。它与前面几篇训练 Agent 的世界模型论文，区别首先就在这里。

本文解读 Retrieval-augmented World Model for Computer-use Agents，以所读 25 页 ICLR 2026 会议版 PDF 为依据；可参见会议论文页面。流程见 §4、Algorithm 1，主实验见 Table 2；下文具体教程片段、候选文案和排序为教学改写，沿用 Figure 1 的插图任务思路。

1. 为什么看起来合理的操作计划，执行时会失败？

语言模型知道很多一般经验，但不一定知道当前软件版本的菜单在哪里、某一步是否改变选区、某个按钮是否真的可用。

如果它用这些不准确的知识模拟未来，越往后想象，就越容易把第一个小错误当成已成立的事实继续推演。

论文先做了三个探测任务：

探测	模型要做什么	它在检验什么？
下一状态识别	从真实下一状态和相似干扰项中二选一	能否理解眼前动作的直接变化
完整流程对齐	生成计划，再与人工标注的教程流程比对	多步计划是否符合软件的实际操作约束
里程碑转换识别	在两组中间状态中选出更有希望的一组	能否辨认哪些变化表示任务有进展

Table 1 中，Claude-3.7-Sonnet 的三项结果分别为 86.0%、65.0%、86.7%；加入检索后，完整流程对齐为 95.0%。

这些结果支持“软件特定知识能改善计划对齐”，但要注意：第一项是识别题，不是自由生成完整下一页；第二项是教程参照下的模型评判，也不是端到端真实执行成功率。不能把 95% 写成电脑任务成功率。

2. R-WoM 比普通 RAG 多做了什么？

普通 RAG 可以是：查到文档，把它塞进提示词，直接生成下一动作。

R-WoM 在此基础上加入一层有教程依据的候选后果比较：同一个当前状态下，分别模拟几种动作会通往哪里，再整体排序。

组件	作用	会更新模型参数吗？
检索与重排	找到符合任务和软件操作约束的教程	不会
策略模型	提出候选动作，必要时去重	不会
世界模型角色	依据教程，推演每个候选的后续状态	不会
列表式评估	把候选轨迹放在一起比较	不会
真实环境	执行当前选中的一步，返回实际观察	改变环境状态，不是更新权重

实验通常让同一个骨干模型同时担任策略与世界模型角色。角色不同不代表训练出了两个新模型；OSWorld 设置还使用 GTA-1-7B 辅助动作定位，完整系统并非只靠一个纯文本模型。

3. 先建立教程依据

3.1 知识库来自哪里？

作者收集 WikiHow 及 Chrome、GIMP、LibreOffice、GitLab 等软件和网站的教程，形成 超过 30k 个文档块。检索组件使用 Qwen3-Embedding-8B 编码文本、FAISS 存储向量，再用语言模型做相关性重排，默认把前 5 个文档块放入上下文。（§5.1、附录 A.2–A.3）

仅按语义相似度检索可能找错操作。例如“Fork ChatGPT”可能命中泛泛的 Git 教程，却不对应当前网页的具体步骤。论文结合查询改写与重排来缓解这一问题。

Algorithm 1 将教程检索放在任务开始、动作循环之前。随后这些教程在多步决策中作为依据复用；不能仅凭总体流程图就断言每一步都重新做一轮全量检索。

3.2 教程少时怎么办？

论文还把 AgentNet 的约 2k 条公开交互轨迹转成约 1.3k 份教程：先从单条轨迹抽取可复用技能，去掉具体文件名等任务特定信息，再按领域和相似度合并、去重。

这些轨迹与测试任务没有任务重叠，按论文描述作为一般操作指南使用。这里新增的是外部知识库内容，不是对 Agent 做监督微调。（§5.5、附录 A.2）

4. 插入图片的例子：完整走一遍

4.1 当前观察与检索结果

教学初始状态：LibreOffice Writer 已打开，文本光标停在第二段末尾，桌面有 1.png。任务要求在当前插入点放入图片。

一个有用的检索方向是：“Writer 从文件插入图片，保留当前文本插入位置”。为便于展示，把实际 top-5 列表缩写为三个候选主题：

检索到的文档主题	是否直接有用？	重排理由
Writer 从文件插入图片	高	明确目标软件、插入操作和选文件流程
Ubuntu 复制桌面文件	低	只解释文件复制，没有解决文档中的插入位置
Writer 设置图片环绕	次要	图片插入后可能需要，目前还未到这一步

重排保留的关键依据可以概括为：“把光标放在所需位置，使用插入图片功能，在文件对话框中选择图片并确认。”这是教学转述，不是论文中的逐字教程引用。

4.2 生成三个候选当前动作

设候选数量 \(m=3\)，前瞻长度 \(k=3\)：

编号	当前动作	为什么会被考虑？
0	切换到文件管理器，准备复制图片	一般的复制粘贴经验
1	点击文档正文中的空白位置	试图重新确认插入点
2	打开 Writer 的“插入”菜单	按教程走图片插入流程

此时三个动作都还没有在真实电脑上执行。

4.3 分别想象后续，而不立即试错

世界模型读取当前观察、候选动作和教程，生成后续过程。以下是便于理解的压缩结果：

候选	想象的后续	主要风险或优势
0	文件管理器 → 复制文件 → 返回文档粘贴	需要确认剪贴板对象与插入点；仅有文件复制教程不足以保证正确插入
1	点击正文 → 光标位置改变 → 再找插图入口	当前已有正确插入点，额外点击可能破坏任务前提
2	插入菜单 → 图片文件对话框 → 选择图片并确认后出现在原插入点	与检索到的软件流程相符，保留当前任务约束

这里的“3 步”是教学上的状态前瞻概括；真实动作粒度由环境动作接口确定，不能把多个鼠标和键盘操作任意算作一个原子动作。

R-WoM 用一次长推理生成序列展开一个候选的多步想象，减少策略模型与世界模型逐步往返调用。一次生成请求仍包含逐 token 自回归计算，并不意味着整个未来轨迹只需一次神经网络前向就能同时吐出。（§4.2）

4.4 排序输出如何决定动作？

一种粗糙方法是分别给三个候选打分，可能它们都得到“看起来在推进”的 0.5，无法分出高下。

R-WoM 使用列表式比较：同时看全部候选轨迹和教程，输出相对排序。本例假设返回：

{"ranking": [2, 0, 1]}

于是当前动作选择候选 2。可以写成：

\[ \rho=\operatorname{Rank}(\hat\tau_0,\hat\tau_1,\hat\tau_2;g,E), \qquad a^*=a_{\rho_1}=a_2. \]

\(g\) 是任务，\(E\) 是教程证据，\(\hat\tau_j\) 是从候选 \(j\) 出发的想象轨迹。\(\rho_1\) 表示排名第一的候选编号。

这个排序不是概率分布，不需要加起来等于 1；也不是拿来反向传播的偏好训练样本。它只告诉系统这一步先执行哪个动作。

4.5 真正执行一步，再读取真实页面

系统现在才打开真实 Writer 的“插入”菜单，并观察实际结果。如果软件界面与想象不同，下一次决策必须从真实观察出发。

它不会把整条想象的“打开菜单 → 选图片 → 插入成功”当成已发生的事实，也不会不看反馈就把全部预想步骤盲目执行完。

① 查依据任务 → 检索并重排教程把软件的具体操作规则放进上下文。

② 比较后果候选 0 / 1 / 2 → 分别想象
整体排序：[2, 0, 1]尚未在真实环境执行这些候选。

③ 执行并纠正真实执行候选 2 的当前一步
读取新观察，再做下一次选择环境发生变化；模型权重保持不变。

5. 所以它的损失和梯度在哪里？

R-WoM 的这条推理流程没有训练损失，也没有 optimizer step。

上面的数学运算到排序、取首位和执行动作就结束了。参数在步骤前后保持相同，可以记为 \(\theta_{t+1}=\theta_t\)；这不是“算出了零梯度”，而是根本没有执行求梯度和参数更新。

论文用 reward estimation 描述候选评估，并引用相对奖励建模的工作，但不能据此把本方法归为 GRPO、DPO 或测试时 RL。

类似地，记录新教程会改变外部知识库；模型下次把新教程读进上下文后可能做得更好，这也不等于权重已经学到了新知识。

6. 如何避免每一步都昂贵地想象？

完整前瞻会增加推理调用和 token。R-WoM 提供两个自适应机制：

1. 自适应候选数量。下一步很明确时只产生一个候选，遇到卡住或之前动作失败时才扩展多个方向。
2. 动作去重。让模型过滤语义相同的候选，避免模拟几条实际上重复的路径。

Figure 2 中只有一个候选时可以直接选择动作，跳过多候选世界模型比较。

附录 Table 8 的 Claude-3.7 设置中，完整 R-WoM 使用输入 76.19M、输出 1.47M token；自适应版本为 35.39M、0.85M，总量从 77.66M 降至 36.24M，约减少 53.3%。这些是该实验的累计用量，不是每次动作的 token 数。

相应 Table 6 成功率从 39.13% 变为 37.80%，体现成本与成功率的权衡。这个消融值也不等同于主表三次运行均值 38.54%。

7. 实验结果的正确读法

7.1 主结果来自有教程覆盖的子集

Table 2 报告三次运行的均值。下表只摘录每个模型最强的非 R-WoM 基线与 R-WoM，单位为成功率百分数：

模型	OSWorld 最强基线 → R-WoM	绝对提升	WebArena 最强基线 → R-WoM	绝对提升
Qwen2.5-VL-72B	RAG 30.84 → 37.48	+6.64	WebDreamer 24.50 → 28.49	+3.99
Claude-3.5-Sonnet	WebDreamer 23.48 → 26.01	+2.53	RAG 30.70 → 33.15	+2.45
Claude-3.7-Sonnet	WebDreamer 31.24 → 38.54	+7.30	RAG 32.75 → 34.58	+1.83

论文所说的 23.4% 是 \(7.30/31.24\) 的相对提升，绝对提升是 7.30 个百分点。WebArena 最大相对提升 16.3% 同理，来自 \(3.99/24.50\)。

更重要的是：作者选择了教程可覆盖的任务。§5.1 写 OSWorld 从 361 个任务中选 87 个，WebArena 从 301 个独立模板中选 113 个。附录 A.2 又把 OSWorld 有教程任务写成 85 个，与正文不一致。本文保留该口径冲突，不把主结果推广成完整 OSWorld 或完整 WebArena 的成绩。

7.2 教程真的帮助了想象吗？

论文还比较无教程、检索教程、人工指定最相关教程三种条件，随教程质量提高，端到端表现上升。这支持外部依据的重要性，但人工指定教程是用于分析的 oracle 条件，不能当作自动系统的实际能力。

想象长度从 1 调到 4 时，R-WoM 的收益持续到约 3 步后下降；未使用教程的 WebDreamer 更早趋于停滞或下降。（Figure 5）

因此，教程可以缓解长程错误累积，但没有把它彻底解决。实验中的“更长”主要是这些短前瞻长度之间的比较。

附录 Table 14 中，Claude-3.7 的列表式评估得到 39.13%，独立绝对打分为 36.50%，差 2.63 个百分点。这支持整体比较的选择价值，不是奖励模型训练效果的比较。

7.3 没有现成教程的场景

§5.5 用合成教程扩展到教程稀缺任务。Table 3 中，Claude-4.5-Sonnet 的最强基线 WebDreamer 为 46.35%，R-WoM 为 49.29%，提高 2.94 个百分点。

这说明外部经验也可以整理成教程使用，但仍依赖经验覆盖与合成质量；不能推出“完全没有相关经验时也能可靠规划”。

8. 核心创新、局限与改进

最值得记住的贡献是：教程同时约束“未来会发生什么”和“哪条未来更值得选”。它把检索的作用延伸到候选模拟与评估，而不仅是给策略模型补一段背景材料。

作者通过探测和消融指出，模型的多步程序知识不足，教程能缓解但不能消除这一问题。失败分析也包含检索到相近主题却不适用的情况，例如把“根据生日计算年龄”误匹配到日期时间格式说明。

我的分析与改进设想：

局限	可以怎样改	代价与验证方式
教程与实际版本可能不一致	为知识块记录版本、界面特征和适用前提，检索时过滤	维护成本增加；专门测试跨版本界面变化
模型自己提出、模拟和评判动作，可能共享盲点	对关键预测加入界面可验证条件或独立评判	增加调用；测预测与真实下一状态的一致率
教程覆盖子集可能使收益偏乐观	在完整任务集合同时报告覆盖率与端到端成功率	需要额外评测；分开看有教程和无教程任务
自适应分支依赖模型对自身确定性的判断	用失败历史、动作分歧等校准触发规则	控制逻辑更复杂；比较成功率—token 成本曲线

这些是待验证的方案。尤其是引入另一个评判者，并不自动意味着判断独立或正确。

9. 四篇论文的一张对照表

论文	世界的主要形式	何时使用？	学习或决策方式
AWM	数据库 + 生成的工具代码	Agent 训练时	在环境中采样，GRPO 更新 Agent
Agent-World	现实信息支撑的合成环境与任务	训练和诊断循环	SFT 冷启动，RL 与定向补题迭代
DynaWeb	经过 SFT 的网页状态预测模型	Agent 训练时	想象轨迹与专家轨迹混合，GSPO 更新 Agent
R-WoM（本文）	教程约束的语言模型模拟	执行任务的推理时	比较候选，只执行当前选中动作，不更新参数

R-WoM 的关键不是“多想几步”本身，而是让想象有具体软件知识作为依据，并在真实执行一步后重新核对现实。