从 LLM 到 VLA：机器人如何把语言模型接到动作空间｜相关工作与主流范式

一句话结论：VLA 与大语言模型的结合并不是“给 LLM 接一只机械臂”这么简单。真正的技术分水岭，是语言模型负责到哪一层、动作如何表示、语义推理与高频控制怎样解耦，以及模型能否在真实世界的闭环反馈中持续纠错。

截至 2026 年，主流路线可以归纳为四类：LLM 做高层规划器、VLM/LLM 直接生成离散动作、语言视觉主干连接连续动作专家、快慢双系统协同控制。它们不是互斥替代关系，而是越来越多地被组合进同一个机器人系统。

1. 先说清楚：VLA 不是“带摄像头的 LLM”

VLA 是 Vision-Language-Action Model，即同时处理视觉、语言和动作的模型。一个典型机器人策略在时刻 \(t\) 接收：

\[ o_t=(I_t^1,\ldots,I_t^m, q_t, \ell), \]

其中 \(I_t^i\) 是多个相机画面，\(q_t\) 是关节角、末端位姿等本体状态，\(\ell\) 是自然语言任务。模型输出的通常不是一句话，而是一段未来动作：

\[ A_t=[a_t,a_{t+1},\ldots,a_{t+H-1}] \sim \pi_\theta(A_t\mid o_t). \]

这段长度为 \(H\) 的序列叫 action chunk。每个 \(a_t\) 可能包含末端位移、旋转、夹爪开合，也可能是全身几十个关节的目标位置。

LLM 与 VLA 的关系至少有三种：

关系	语言模型做什么	是否直接输出电机动作
外置规划器	拆任务、选技能、调用工具	否
VLA 主干	把视觉和语言编码成统一语义表示	可以
高层 Agent	规划、搜索、记忆、判断成功，再调用 VLA	否，由下层 VLA 执行

严格来说，大多数现代 VLA 的语义核心是 VLM（Vision-Language Model），而非纯文本 LLM。但 VLM 通常由视觉编码器加语言 Transformer 构成，继承了 LLM 的语言知识、推理接口与预训练范式。因此，“VLA 与 LLM 结合”更准确的理解是：把互联网规模的语言—视觉先验，接入真实世界的动作空间与反馈回路。

2. 技术演进：从“会说怎么做”到“真的动起来”

这条路线大致经历了四步。

2.1 2022：LLM 负责想，技能库负责做

SayCan 把语言模型对“下一步是否合理”的评分，与机器人技能的可执行性评分相乘。对于候选技能 \(\pi_k\)，可以把选择规则直观写成：

\[ k^*=\arg\max_k p_{\text{LLM}}(\ell_{\pi_k}\mid i,h) \cdot p_{\text{aff}}(\text{success}\mid s,\pi_k). \]

前一项回答“这一步对完成任务有帮助吗”，后一项回答“这台机器人在当前状态下做得到吗”。这第一次清楚地把语言知识与具身 affordance 分开。

Inner Monologue 随后把环境反馈、成功检测和场景描述重新写回语言上下文，使规划从开环脚本变成能失败恢复的闭环过程。Code as Policies 则让代码模型生成可执行的机器人策略程序，用 API、控制原语和几何库承接 LLM 的推理结果。

这一代系统的关键思想是：不要让 LLM 假装自己懂控制，而是让它组合已经被真实世界验证过的技能。

2.2 2023：把真实传感器送进语言模型

PaLM-E 将图像、机器人状态等连续输入投影成与文本 token 同空间的嵌入，再交给大语言模型处理。它重点解决的是 embodied reasoning：语言模型不再只读文字，而能让真实传感器状态进入推理上下文。

RT-2 更进一步：把连续机器人动作离散化，并编码成语言模型可以生成的 token 字符串；同时用网页视觉语言数据和机器人轨迹做 co-fine-tuning。于是一个预训练 VLM 不仅回答图像问题，还能直接输出闭环控制动作。

这一步确立了今天 VLA 的经典定义：

视觉 + 指令进入同一大模型，动作成为一种新的输出模态。

2.3 2023—2024：跨机器人数据把“单机策略”推向“基础策略”

Open X-Embodiment 汇集了 22 种机器人本体、60 个数据集和超过 100 万条真实轨迹，并训练 RT-1-X / RT-2-X，验证了跨本体数据的正迁移。

Octo 在约 80 万条轨迹上训练可适配多种观察和动作空间的通用 Transformer 策略；OpenVLA 则发布 7B 开放权重 VLA，在 Open X-Embodiment 的 97 万条机器人 episode 上训练，使“用开源 VLM 做通用机器人策略”成为可复现路线。

规模化的对象也从单纯参数量，变成了四个维度：任务数、环境数、机器人本体数、动作分布覆盖度。

2.4 2024—2026：连续动作专家与快慢双系统成为主流

RT-2 / OpenVLA 式离散动作 token 很自然地复用了语言模型，但高频、灵巧控制对量化误差和自回归延迟非常敏感。π0 因此在预训练 VLM 旁增加 flow-matching action expert，直接生成连续动作块；GR00T N1.5 使用 Eagle VLM 编码语义，再由 Diffusion Transformer 处理本体状态和带噪动作；SmolVLA 则把类似思路压缩到 450M 参数。

另一条同时发生的趋势，是把慢速语义理解和高速运动控制拆开。Figure 的 Helix 用 7–9 Hz 的 VLM System 2 做场景与语言理解，用 200 Hz 的 System 1 把语义 latent 变成连续全上身动作；Helix 02 又加入 kHz 级全身控制层。Google 的 Gemini Robotics 1.5 则把能规划、调用工具和判断进度的 Robotics-ER，与直接输出运动命令的 VLA 组合起来；到 Gemini Robotics 2，这一结构进一步扩展到全身控制、多分钟任务和多机器人协作。

3. 四种主流范式

3.1 LLM Planner + Skill Library

结构是：

用户目标 → LLM/VLM 规划 → 技能选择与可行性检查 → 低层控制器 → 环境反馈 → 重新规划

代表工作包括 SayCan、Inner Monologue、Code as Policies，以及后来各种“LLM Agent 调用机器人技能 / ROS API / 搜索工具”的系统。

它的优势是：

• 规划过程能用自然语言或代码检查；
• 可以接入搜索、地图、数据库和传统规划器；
• 不需要让一个超大模型在每个控制周期运行；
• 安全边界可以落在技能 API 和控制器层。

主要问题也很明确：

• 能力上限受技能库覆盖范围限制；
• LLM 认为合理的步骤未必物理可行；
• 状态被转成文字后会丢失几何细节；
• 长任务中的错误会在多轮规划中累积。

这条路线最适合长时任务、已有可靠技能库、需要工具调用和审计的系统。

3.2 VLM/LLM 直接生成离散动作 token

结构是：

图像 + 指令 + 状态 → 大型视觉语言 Transformer → action tokens → 反量化 → 机器人动作

RT-2、RT-2-X、OpenVLA 是最典型代表。它们将每个动作维度量化成整数区间，再使用标准 next-token prediction：

\[ \mathcal L_{\text{AR}} =-\sum_{j=1}^{M}\log p_\theta(z_j\mid z_{<j},o_t), \]

其中 \(z_j\) 是离散动作 token。

它的最大好处是训练接口统一：网页图文、VQA、语言指令和机器人动作，都可以进入同一自回归序列模型。语义泛化能力也能直接从 VLM 主干迁移过来。

但简单的“每维、每时刻分桶”会产生三个问题：

1. 连续控制被量化，细微动作损失精度；
2. 一个 action chunk 需要很多 token，自回归推理慢；
3. 高频轨迹相邻时刻高度冗余，token 利用率低。

FAST 先对动作序列做离散余弦变换，把轨迹压到频域后再 token 化，使自回归 VLA 能处理更灵巧、更高频的动作。另一条改进路线是 OpenVLA-OFT：不再逐 token 生成动作，而加入连续动作头、并行解码和 action chunking。其报告中，相对基础 OpenVLA，动作生成吞吐提升约 26 倍，LIBERO 平均成功率达到 97.1%；但这些数字来自指定 benchmark 和训练设置，不能直接外推到任意真机。

3.3 语言视觉主干 + 连续生成式 Action Expert

结构是：

VLM/LLM 语义特征 ─┐
相机与本体状态 ────┼→ diffusion / flow action expert → 连续动作块
带噪动作 ─────────┘

π0、GR00T N1/N1.5、SmolVLA，以及一批 diffusion VLA 属于这类。核心思想是：语义模型负责“理解要做什么”，动作专家负责“生成怎样连续地做”。

以 π0 为例，它从 3B PaliGemma VLM 出发，增加约 300M 参数的 action expert，生成长度 \(H=50\) 的连续动作块。训练时对真实动作加噪，并学习条件向量场：

\[ A_t^\tau=\tau A_t+(1-\tau)\epsilon, \qquad \epsilon\sim\mathcal N(0,I), \]

\[ \mathcal L_{\text{flow}} =\left\|v_\theta(A_t^\tau,o_t)-u(A_t^\tau\mid A_t)\right\|_2^2. \]

推理时从噪声出发，多步积分得到连续动作块。相较逐 token 生成，这类方法更适合多峰动作分布、双臂协同和高频灵巧操作。

这个范式内部还有一个重要选择：

• 冻结 VLM：如 GR00T N1.5，减少机器人梯度破坏语言/视觉先验，也节省训练成本；
• 联合微调 VLM 与动作头：语义能更深地适应动作，但可能发生灾难性遗忘或 modality interference；
• 先离散预训练、再连续后训练：π0.5 先用 FAST action token 统一预训练，再在后训练阶段加入连续 action expert，是两条路线的折中。

3.4 快慢双系统与 Agentic VLA

结构是：

慢系统：理解目标、空间推理、搜索、记忆、任务分解、成功检测
                         ↓ 子目标 / latent / tool call
快系统：视觉闭环、接触响应、连续动作生成、全身控制
                         ↓
                    真实世界反馈

Helix、Gemini Robotics、GR00T 的双系统架构，以及 π0.5 的高层子任务预测，都体现了这个方向。

双系统并不一定意味着两个完全独立的模型：

• Helix 显式地用低频 System 2 与高频 System 1 通信；
• Gemini Robotics-ER 是外部高层 Agent，可调用 VLA、搜索和第三方工具；
• π0.5 在一个模型里联合预测文本子任务、对象框和动作，使高层语义与低层控制共享参数；
• Gemini Robotics 1.5 还允许 VLA 在动作前生成语言形式的中间推理。

这条路线正在成为复杂机器人系统的事实主流，因为物理世界同时需要两种时间尺度：规划可能以秒计，视觉反馈以几十 Hz 计，稳定控制甚至以 kHz 计。让一个巨型语言模型统一承担所有频率，通常既慢又不稳定。

4. 四种范式横向对比

范式	代表工作	动作接口	主要优势	主要短板
LLM 规划 + 技能库	SayCan、Inner Monologue、Code as Policies	技能名、API、代码	可解释、易接工具、安全边界清楚	受技能库限制，感知与控制割裂
自回归动作 token	RT-2、OpenVLA、FAST	离散 token	复用 LLM 训练栈，语义迁移直接	量化误差与串行延迟
连续动作专家	π0、GR00T、SmolVLA	regression / diffusion / flow chunk	动作平滑、适合高频与多峰分布	训练和部署更复杂，语义—动作可能互相干扰
快慢双系统	Helix、Gemini Robotics、π0.5	子目标或 latent → 连续动作	兼顾长时推理与实时控制	模块接口、时序同步和错误归因更难

这里没有绝对赢家。一个产品级机器人很可能四种都用：LLM Agent 读取用户目标，生成技能计划；VLA 完成具体操作；action expert 输出连续轨迹；底层 MPC、阻抗控制和安全控制器兜底。

5. 动作表示：VLA 的真正“tokenizer 问题”

在 LLM 中，tokenizer 决定文本如何切分；在 VLA 中，动作表示决定语义知识能否变成可执行控制。当前主要有四种方式：

动作表示	输出方式	优点	代价
逐维离散化	每个动作维度分桶	简单，可直接用语言 softmax	高频动作 token 很长，量化粗糙
轨迹 tokenization	FAST、VQ tokenizer	压缩 action chunk，保留轨迹结构	tokenizer 本身可能成为信息瓶颈
连续回归	MLP / L1 action head	快、直接、部署简单	难表达多峰动作分布
diffusion / flow	从噪声生成连续动作块	平滑、能覆盖多种可行动作	需要多步去噪或积分，算力与延迟更高

这也是为什么“更大的 LLM”不会自动带来更好的机器人：语言模型解决了大量语义问题，但最后一公里仍取决于动作坐标系、控制频率、chunk 长度、跨本体归一化和反馈延迟。

6. 一套现代 VLA 的训练配方

把代表工作放在一起，可以抽象出六阶段 pipeline。

6.1 从预训练 VLM/LLM 初始化

语言主干提供物体常识、指令理解、组合泛化和视觉语义。RT-2 从 PaLI-X / PaLM-E 出发，OpenVLA 使用开放 VLM，π0 使用 PaliGemma，GR00T 使用 Eagle，Gemini Robotics 建立在 Gemini 多模态模型之上。

6.2 设计动作接口

选择离散 token、连续回归、diffusion 或 flow；决定单步还是 action chunk；统一不同机器人本体的维度、坐标系和控制模式。这个选择直接决定训练稳定性与运行频率。

6.3 跨任务、跨环境、跨本体预训练

机器人数据远少于网页文本，因此数据混合比单纯放大模型更重要。Open X-Embodiment 证明多本体轨迹能产生正迁移；OpenVLA、Octo、π0 和 GR00T 都依赖不同程度的跨机器人混合数据。

6.4 保留非机器人视觉语言数据

RT-2 在网页 VQA 与机器人数据上联合训练；π0.5 混入图像描述、问答、目标定位等 web data。目的不是让机器人更会聊天，而是避免它在动作训练中丢失开放世界的识别和语言泛化。

6.5 高质量 post-training

通用预训练获得 broad prior，真机高质量示范再校准精细操作。π0 的配方非常像 LLM：先大规模 pre-training，再针对困难任务 post-training。任务适配也越来越多地使用 LoRA、参数高效微调或轻量动作头。

6.6 闭环部署与异步推理

训练输出离线 success rate 不等于真机可用。真实系统还要处理观测延迟、推理延迟、action chunk 执行中环境变化、碰撞停止和人类打断。SmolVLA 的异步推理实验显示，在成功率近似不变时，任务完成时间可缩短约 30%，说明系统调度本身也是策略能力的一部分。

7. 为什么不能把通用 LLM 直接接到电机上

7.1 语言合理不等于物理可行

LLM 可以说“抓住杯柄并提起”，但不知道当前夹爪宽度、摩擦、遮挡和逆运动学是否允许。SayCan 之所以重要，就在于它明确加入了 affordance / value grounding。

7.2 控制频率差三个数量级

LLM 推理往往以秒或 token/s 计；视觉策略需要几十到数百 Hz；全身稳定控制可能需要 kHz。快慢系统不是一种审美选择，而是实时物理约束。

7.3 世界会在模型思考时变化

机器人发出动作后，物体可能滑动，人可能介入，相机可能被遮挡。纯开环计划越长，失效概率越高。VLA 必须不断重观测、重规划，并允许 action chunk 被提前终止。

7.4 错误的代价不是一句坏答案

语言幻觉在机器人上会变成碰撞、跌倒或损坏。VLA 的安全不能只依赖 prompt，需要独立的碰撞检测、力矩限制、速度边界、可达性检查、急停和人类接管。

8. 2026 年值得关注的研究方向

8.1 从模型 scaling 转向 data engine scaling

高质量真机数据贵、慢且本体相关。Open X-Embodiment 解决了共享格式和初步规模问题，但数据质量、动作标注和硬件差异仍是瓶颈。下一阶段会更依赖遥操作、仿真、视频先验、合成轨迹和自动失败挖掘。

8.2 让 reasoning 真正改善动作，而不是增加文本

生成“思维链”不等于动作更好。关键问题是：中间语言子目标是否改善成功率、是否增加延迟、错误能否被视觉反馈纠正。π0.5 的联合子任务预测、Gemini Robotics 的 embodied reasoning、2026 年出现的 latent planning 工作，都在探索推理与控制的有效接口。

8.3 世界模型与 VLA 融合

当前 VLA 多数仍是反应式策略。若能预测“执行这段动作后世界会怎样”，模型就可以在真实执行前比较候选轨迹、检测不可逆风险，并利用无动作标签视频学习物理动态。但世界模型的视觉逼真不等于接触动力学准确，验证标准仍不成熟。

8.4 长时记忆与持续学习

整理房间、仓储作业和家庭服务持续数分钟到数小时。模型需要记住完成了什么、物体被放到哪里、哪些动作失败过，并在不破坏已有技能的前提下在线适应。这会把 VLA 与 Agent memory、continual RL 和自动课程学习连接起来。

8.5 Cross-embodiment 不只是把维度补零

不同机器人在视角、自由度、控制语义和动力学上差异巨大。真正通用的 VLA 需要学习本体条件化表示、动作 latent 或可迁移的 task-space interface，而不是仅把不同动作向量 padding 到相同长度。

8.6 On-device 与异步控制

云端大模型适合复杂推理，本地模型适合低延迟、隐私与断网环境。Gemini Robotics On-Device、SmolVLA 和各种异步 VLA 表明，未来常见部署会是“云端/边缘慢脑 + 本地快脑 + 硬实时控制器”。

8.7 安全评测必须从成功率升级

只报告 task success 会隐藏危险的近失误。更完整的评测应包括碰撞率、最大接触力、人在环打断、分布外停止能力、恢复率、延迟尾部、语言注入攻击和多机器人耦合风险。

9. 如果现在开始做 VLA，如何选路线

目标	更合适的起点
已有 ROS 技能库，先做长任务 Agent	LLM/VLM planner + skill API + success detector
做开放学术研究与跨本体微调	OpenVLA / OpenVLA-OFT / Octo
消费级硬件、低成本机械臂	LeRobot + SmolVLA
双臂灵巧操作、高频连续控制	π0 / openpi 式 flow action expert 或 diffusion policy
人形机器人与全身控制	GR00T 开放生态；Helix/Gemini 作为闭源系统参照
工业落地	VLA 负责泛化，传统控制与安全层负责确定性边界

需要避免一个常见误区：不同论文使用的机器人、任务、示范数、控制频率和 success 定义都不同，表格中的单一 benchmark 分数不能构成跨模型总排名。真正有意义的比较，必须固定硬件、数据预算、延迟预算和安全协议。

10. 总结：LLM 提供先验，VLA 学会承担后果

LLM 的核心能力是从海量符号数据中获得可组合的知识；机器人控制的核心难题，是动作会改变世界，而且每个错误都要承担真实后果。VLA 的意义，就是在两者之间建立一个可训练、可执行、可闭环纠错的接口。

从 SayCan 到 RT-2，再到 π0、GR00T、Helix 和 Gemini Robotics，演进主线非常清晰：

1. 先让 LLM 选择机器人做得到的技能；
2. 再让语言视觉模型直接学习动作 token；
3. 用连续动作专家补上灵巧控制；
4. 用快慢双系统把长时推理、工具调用和实时运动放进同一个 Agent；
5. 最终把数据引擎、世界模型、持续学习与安全闭环连接起来。

因此，下一代通用机器人未必是“一个端到端巨型网络”。更可能的形态是：一个共享多模态语义底座，连接不同时间尺度的规划器、VLA、动作专家和安全控制器，并在真实反馈中持续学习。

参考资料

LLM 规划与具身推理

• SayCan: Do As I Can, Not As I Say
• Inner Monologue: Embodied Reasoning through Planning with Language Models
• Code as Policies: Language Model Programs for Embodied Control
• PaLM-E: An Embodied Multimodal Language Model

VLA 与跨本体策略

• RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control
• Open X-Embodiment: Robotic Learning Datasets and RT-X Models
• Octo: An Open-Source Generalist Robot Policy
• OpenVLA: An Open-Source Vision-Language-Action Model
• OpenVLA-OFT: Fine-Tuning Vision-Language-Action Models

连续动作、快慢系统与最新模型

• π0: A Vision-Language-Action Flow Model
• π0.5: A Vision-Language-Action Model with Open-World Generalization
• FAST: Efficient Action Tokenization for Vision-Language-Action Models
• NVIDIA GR00T N1.5
• SmolVLA
• Helix / Helix 02
• Gemini Robotics
• Gemini Robotics 1.5
• Gemini Robotics 2

综述

• A Survey on Vision-Language-Action Models for Embodied AI
• A Survey on Vision-Language-Action Models: An Action Tokenization Perspective
• Vision-Language-Action in Robotics: A Survey of Datasets, Benchmarks, and Data Engines