论文速读｜OpenClaw-RL：用对话训练任意 AI 智能体

原论文：OpenClaw-RL: Train Any Agent Simply by Talking 作者：Yinjie Wang, Xuyang Chen, Xiaolong Jin, Mengdi Wang, Ling Yang 代码：Gen-Verse/OpenClaw-RL

背景与动机

今天的大模型大量运用 RLHF、DPO 或是像 DeepSeek-R1 那样的 GRPO。但我们在实际业务（如智能客服、代码助手、GUI 自动化测试）中常常面临一个巨大的尴尬：模型在离线训练时表现极好，一旦上线，面对真实用户的交互和复杂多变的环境反馈，却很难做到“吃一堑长一智”。海量的真实线上交互数据（用户的一句抱怨、终端的一个报错、工具调用的一个异常）每天都在产生，又每天都被白白丢弃。

OpenClaw-RL 的核心出发点：把交互产生的状态变化当作通用训练信号，让策略同时从所有类型的交互中学习。

---

核心痛点

在传统的 Agent 链路中，大模型执行一个动作 ，环境（或用户）给出反馈 ，这个反馈仅仅被当成下一步生成的 Context（上下文）。但论文一针见血地指出，这里面存在严重的“信号浪费”： - 浪费 1：评估性信号（Evaluative Signals）。用户的重试、代码的报错、测试用例的通过，天然就是对上一步动作的“打分”（Reward）。目前大多系统忽视了这些免费的 Process Reward（过程奖励），还在依赖昂贵的离线人工标注。 - 浪费 2：指导性信号（Directive Signals）。当用户对 Agent 说“你应该先检查文件再修改它”时，这不仅是一个负向反馈，更包含了 Token 级别该如何修正的指令。传统的标量奖励（给个 -1 分）会把这种高维的指导信息完全抹杀。 OpenClaw-RL 的算法设计就是为了把这两种被浪费的信号全部“榨干”。

方法框架

1. 奖励信号提取（PRM 判断器）

使用过程奖励模型（Process Reward Model）对每一步交互的”下一状态”打分，提取标量奖励，无需手工标注。

2. 指导信号恢复（Hindsight-Guided OPD）

引入 Hindsight-Guided On-Policy Distillation（OPD），从自然语言文本中恢复方向性训练信号，补充奖励标量不能表达的细粒度信息。

3. 异步训练架构

模型推理、奖励判断器、训练器三个模块并行运行，零协调开销，显著提升训练效率。

---

支持的应用场景

场景	说明
个人助手	通过用户对话反馈持续自我改进
终端操作	从命令行输出中学习
GUI 操作	从界面状态变化中学习
软件工程	从代码运行结果中学习
工具调用	从 API 返回中学习

同一套框架、同一个策略，可在同一训练循环中处理以上所有场景。

---

核心贡献

1. 统一框架：首次将对话、工具调用、GUI、终端等异构交互类型纳入同一强化学习循环
2. 无需手工奖励：用 PRM 判断器自动从下一状态提取奖励，降低工程成本
3. 可扩展：异步设计使框架易于横向扩展，支持大规模训练

---

个人思考

这篇工作的思路很直觉：既然智能体无论如何都要与环境交互，为什么不把每次交互的返回值都变成训练信号？把”副产品”变成”燃料”的设计理念值得借鉴。

后续值得关注的问题：PRM 判断器本身的质量上限会不会成为瓶颈？在反馈信号非常稀疏的场景（如长对话）下表现如何？

TIPS

openclaw需要在dashboard上的基础设施处开启api访问权限，才可以使用api访问，另外在调用时的模型名字需要改成openclaw，在post请求返回失败时，可以使用

print(f”Status: {resp.status_code}“)

print(f”Response: {resp.text}“) # 这里会显示具体错误原因

来得到具体的错误原因