拆完这六条技术路线,总算知道具身智能的“窟窿”都分别在哪了!

11.gif

640.gif

  六条路线,窟窿怎么补?

——具身智能的「里子」

“我们很大程度上受限于数据与算力。” 
——这是 Figure 官方对自己现状的总结。
就在它已经让 Helix 02 自主收拾厨房、整理客厅之后。上周,它发布 Index,收集了 1600 万段人类操作视频;昨天,它与 AI 云厂商 Nscale 达成了最高 10 万张 GPU 的算力协议,意向金额超 400 亿元人民币
微信图片_20260915103846_467_78.png

图源 | Figure AI官方。Figure 已经开始把人形机器人从桌面操作推进到房间尺度的长时程任务。但另一边,公司仍在大规模收集人类真实操作视频。©【深蓝具身智能】编译

一个已经能收拾房间的机器人,为什么还如此大规模的“求”数据、豪掷数十亿美元囤算力?

答案可能正好解释了今天具身智能所处的位置。

过去几年,机器人领域几乎把 AI 技术路线试了一遍:

有人坚持经典的感知、规划与控制;

有人把大语言模型放到机器人头顶,让它负责思考;

有人靠模仿学习复现人类动作;

有人在仿真里用强化学习把机器人“练”到会跑会跳;

VLA 希望复制大模型的 Scaling 路径;

世界模型则进一步试图让机器人在行动之前先预测未来。

每一次技术更迭,都解决了上一代系统的一部分问题。但进入真实物理世界以后,新问题又会冒出来。

所以到 2026 年,更值得问的或许已经不是“哪条路线会赢”,而是:

具身智能的几条主流路线分别走到了哪里,又各自被什么东西卡住了?

先整体看这六条路线。

640 (3).webp

需要说明的是它们并不处在同一个分类维度上:模块化是工程框架,模仿学习与强化学习是学习范式,LLM+技能 / VLA / 世界模型则是模型家族。它们之所以被并置,是因为行业叙事与工程实践确实把它们当成了六种主流流派,而它们的未来,恰恰取决于彼此如何缝合。©【深蓝具身智能】编译

接下来我们将分别从发展现状、卡点、未来发展趋势三个方面,依次来看这六大技术路线。

01.webp

块化机器人:最可靠的路线,也最难把世界全部写进规则

现代机器人最熟悉的技术栈,大致可以写成:

感知 → 定位与建图 → 任务规划 → 运动规划 → 控制。

一台机器人要拿起杯子,系统可以先识别杯子、估计位姿,再计算抓取点、规划机械臂轨迹,最后由控制器执行。

每个模块负责一个相对明确的问题。

它的最大优势至今没有消失:机器人为什么这么动,工程师大体能说清楚。

碰撞约束可以明确写入规划器,机器人的质量、关节极限和动力学可以进入模型预测控制。

对于人形机器人,model-based planning 和 control 过去三十年一直是核心技术底座。

即使在最新综述中,研究者仍然强调这类方法,只是它一直存在一个老问题:模型越精确,计算往往越昂贵。

卡点:世界越开放,规则越难写,搜索空间也越容易失控

真正麻烦的是,当机器人从工厂走进开放环境,世界需要被描述的东西越来越多。

机器人不仅要考虑“手能不能伸到杯子”,还可能要推开椅子、绕过人、先打开柜门,再决定哪只手拿东西。

Task and Motion Planning(TAMP)正是试图同时解决这些高层离散任务与低层连续运动问题,但任务越复杂,搜索空间就越容易出现组合爆炸。

640 (4).webp

图2|即便在高度学习化的人形机器人系统里,运动控制、轨迹生成、动态约束和环境感知仍然是绕不开的底层问题。©【深蓝具身智能】编译

所以经典模块化路线有一个颇有意味的边界:

它最擅长解决人类能够准确建模的问题,而真实世界越来越多的问题,恰恰很难被完整建模。

发展趋势:不是抛弃模块,而是让学习替代最难手写的部分

现在很多系统并没有抛弃 planner、SLAM 或控制器,而是开始用神经网络学习过去最难手工设计的部分,例如可行性判断、搜索启发、物体 affordance 和动态预测。

传统机器人没有消失,它只是开始长出“可学习的器官”。

02.webp

大模型+技能:机器人越来越会“想”,但想到不等于做到

2022 年的 SayCan 是一个非常经典的例子。

用户可以告诉机器人:“我把饮料洒了,帮我收拾一下。”

语言模型负责理解这个要求,然后从一组已有技能中选择诸如“找到海绵”、“拿起海绵”、“走到桌边”等动作。真实机器人技能对应的 value function,则负责告诉语言模型:这件事情眼下到底做不做得到。

这套方法巧妙地绕开了一个难题:不让语言模型直接控制电机

图3|SayCan 的思路不是让 LLM 直接控制机器人,而是让语言模型从真实机器人已经掌握的技能中进行组合。©【深蓝具身智能】编译

但 SayCan 的作者自己也指出,系统最主要的瓶颈恰恰来自底层 skills 的范围和可靠性。如果机器人从来没学过某项能力,再聪明的 LLM 也调用不出来;如果一个技能执行失败,系统也不容易立刻理解失败原因并恢复。

后来 VoxPoser 等工作试图进一步放宽技能库的边界。它不是简单挑一个预设技能,而是让 LLM/VLM 把语言中的空间约束转化成 3D value map,再交给 motion planner 生成轨迹。

到了 2026 年,这个思路又以一种更成熟的形式回来了。

Google DeepMind 最新的 Gemini Robotics ER 2 被直接定义成机器人的“high-level brain”。它负责理解场景、拆分多步任务,甚至协调多台机器人,但真正的 motor execution 仍然可以交给下面的 VLA。更有意思的是,高层模型可以在机器人执行当前动作的同时继续思考下一步。

五年前是:

LLM → Skill Library

现在正在变成:

Embodied Reasoning Model → VLA / Planner / Tools / Other Robots

手越来越丰富了,但“大脑”依然不必亲自控制每个关节。

卡点:计划越来越聪明,但能力上限仍被底层技能与物理 Grounding 卡住

这一派真正的瓶颈并没有因为模型变大而消失。

SayCan 已经暴露了这个问题:如果底层没有相应技能,再聪明的语言模型也无从调用;如果技能执行失败,高层模型还必须判断“哪里失败了、下一步该如何恢复”。

到了 Gemini Robotics ER 2 这样的系统,高层能够调用的对象已经从固定技能扩展到 VLA、规划器、工具甚至其他机器人,但“高层计划是否真的能被可靠执行”仍然是关键边界。

大模型可以越来越清楚地知道“下一步应该干什么”,但从正确计划到可靠物理执行,中间仍隔着完整的机器人世界。

发展趋势:高层 Agent 不再亲自控制身体,而是编排越来越强的低层模型

这一方向现在呈现出的趋势,不是让 reasoning model 一路控制到电机,而是让它承担更长时程的任务理解、监控和协调,把具体执行交给 VLA、运动规划器和专用技能。

换句话说,机器人“大脑”正在变得更像一个会持续观察和调度的管理层。

03.webp

模仿学习:机器人最容易学会“像人一样做”,也最容易被没见过的情况难住

如果只看近年来各种精巧的机械臂 Demo,一个容易被忽略的事实是:

很多非常好用的机器人 policy,并不需要一个巨大的语言模型。

2023 年的 ACT(Action Chunking with Transformers)就是代表。

传统行为克隆每个时刻预测一个动作,很容易出现误差累积:第一步偏一点,下一步看到的状态就变了,模型逐渐进入训练数据没有覆盖的区域。

ACT 的解决办法很直接:一次预测一段动作

原始 ALOHA 工作只使用大约 10 分钟的示范数据,就能学习打开透明调料盒、插入电池等高精度双臂操作。在其真实任务中,ACT 直接以 50 Hz 预测关节位置。

图4|ALOHA 与 ACT 展示了模仿学习非常诱人的一面:少量高质量人类示范,就能得到相当精细的机器人操作。©【深蓝具身智能】编译

Diffusion Policy 则进一步处理了另一个机器人特有的问题。

把一个杯子放到桌子另一边,可以从左绕,也可以从右绕。人类示范本来就是多模态的,如果传统回归模型把两种动作“取平均”,反而可能生成一条谁也不会走的轨迹。

Diffusion Policy 用扩散过程建模复杂的动作分布,因此在高维、多解机器人动作中表现出了很强的适应性。

卡点:一旦离开示范分布,或者反应速度不够,优势就会迅速缩水

这一派始终有两堵墙。

  • 第一堵墙叫分布偏移

Diffusion Policy 的作者也明确写道,它依然继承 behavior cloning 的基本限制,当演示不足时性能会下降。

换句话说,机器人非常擅长模仿老师走过的路,但自己走错一步以后,未必知道怎么回来。

  • 第二堵墙叫实时性

扩散模型需要多轮去噪。原始 Diffusion Policy 为真实机器人专门减少 inference iterations,在 RTX 3080 上做到约 0.1 秒推理延迟。此后 One-Step Diffusion Policy 等工作继续把多轮生成压缩成一次。

这背后还有一个很有意思的矛盾。

Action chunk 越长,动作通常越平滑、模型调用越少;但机器人在一段 chunk 执行期间,对刚刚发生的环境变化也越迟钝。

Physical Intelligence 后来专门提出 Real-Time Chunking,也是因为大模型在生成下一段动作时,机器人不能总停下来等。

新旧 chunk 切换不好,还可能产生不连续甚至危险动作。

发展趋势:从独立 Policy 变成 VLA 的动作生成底座

所以 ACT、Diffusion Policy 并没有被 VLA 淘汰。恰恰相反,它们正在逐渐被吸收进 VLA,成为新的 action decoder。

这条路线从“完整方案”变成了基础设施。

04.webp

强化学习:已经把机器人“练”得很强,但现实世界依然不是一个好训练场

如果要问强化学习目前在机器人上最成功的地方,答案并不难找:

走路、跑步、跳跃、动态平衡,以及越来越复杂的全身控制。

原因也很好理解。

这些问题虽然难,但奖励往往比较明确:别摔倒、往前走、跟踪目标姿态、减少能耗。而且大量训练可以搬到仿真中并行完成。

卡点:真机试错太贵,而仿真永远不完全等于现实

问题是,机器人 RL 最理想的训练方式,与真实世界天然冲突。

游戏里的 Agent 可以在一秒钟内死几百次;真实机器人摔一次,工程师可能得过去扶起来。抓取失败了,要重新摆物体;执行器过热,要等;动作太激进,甚至可能损坏硬件。

一篇聚焦真实机器人成功案例的 Annual Review 综述,把机器人 RL 的根本困难概括得很直接:

与物理世界交互复杂,而且昂贵 

稳定、样本高效的真实世界 RL 到今天仍然是重要研究方向。

640 (5).webp

图5 | 强化学习 Sim2Real 常用的域随机化技术:在仿真中主动改变动力学参数、传感噪声等条件,让策略适应更广泛的物理变化,从而提高迁移到真实机器人的鲁棒性。©【深蓝具身智能】编译

于是 Sim2Real 成了 RL 的生命线。

机器人先在仿真里进行成千上万次甚至更多并行试错,再把 policy 部署到真机。

但新的问题随即出现:模拟器无法完全复制真实电机、摩擦、柔性、传感器噪声和时延。

针对人形机器人 locomotion,研究者至今仍在系统比较 dynamics randomization、delay/noise modeling 等方法如何缩小 reality gap。

发展趋势:从“从零练会”转向基础模型的后训练

不过 RL 最近正在出现一个很重要的分叉:

不再从零负责“教会机器人一切”,而是成为基础模型的强化训练。

Physical Intelligence 公布的 RL Token 就很典型。通用 VLA 已经知道怎样拿起螺丝刀、接近接口,但最后几毫米的精确对齐依然困难。其方案冻结大 VLA,让轻量 RL policy 专门学习这部分关键动作。

这可能是 RL 接下来非常现实的位置:

VLA 负责让机器人“什么都会一点”,RL 负责把真正需要落地的那几件事情练熟。

05.webp

VLA:从机器人版“大模型”,进入数据、记忆和“最后一毫米”的硬仗

如果要选一条今天具身智能最受关注的路线,VLA 几乎没有悬念。

它背后的愿望很像大语言模型:

不要再为每个机器人、每个任务训练一个独立策略,而是先用大量、多样数据训练一个通用模型,再让能力迁移到新任务和新本体。

Open X-Embodiment 曾联合 33 个实验室,把 22 种机器人、超过 100 万个 episode 汇集起来。OpenVLA 随后从中整理约 97 万条机器人轨迹训练一个 7B 模型,为此使用 64 张 A100 训练 15 天。

640 (6).webp

6|VLA 的目标已经从“单任务模仿”走向跨任务、跨物体乃至全身控制。Figure Helix 是目前产业界这一方向最典型的系统之一。©【深蓝具身智能】编译

2026 年,这场比赛已经明显升级。

Qwen-VLA 开始把 manipulation、navigation 与 cross-embodiment control 放进统一体系;NVIDIA 的 GR00T 系列则不断增加人类视频、仿真数据和跨本体动作表示,希望把更广泛的物理先验迁移给不同机器人。

Physical Intelligence 的 π 系列则开始展示 compositional generalization:机器人可以组合过去学到的技能,并通过语言 coaching、视觉 subgoal 等方式尝试训练中没有直接出现过的新任务。

卡点:数据、实时性、记忆,以及物理世界“最后一毫米”

VLA 越强,它目前真正的瓶颈反而越清晰。

  • 卡点一:没错,还是数据

文字、图片、视频遍布互联网,但真实机器人“手应该怎么动”的数据并不存在于网页上。

Figure 推出 Index,本质上就是在尝试把人类日常物理行为变成新的训练资源。

Figure 官方称,截至 2026 年 8 月 25 日,平台累计收集超过 1600 万条真实世界视频,并计划未来一年继续大规模投入数据和算力。

  • 卡点二:实时性

语言模型晚半秒回答,用户只会觉得卡;机器人晚半秒调整,杯子可能已经掉了。

Google 因此专门推出 Gemini Robotics On-Device,强调本地低延迟推理。

NVIDIA 的 VLA 体系也把 inference frequency 直接变成部署指标。

  • 卡点三:记忆

当机器人终于会洗锅、叠衣服以后,问题开始从“一个动作会不会”变成:

整个厨房收拾到一半,它还记不记得哪些东西已经处理过?

Physical Intelligence 推出 Multi-Scale Embodied Memory 时就明确提出:随着单个技能越来越可靠,瓶颈正逐渐转向如何组织这些技能完成复杂任务。

RoboMME、RoboMemArena 等 2026 年出现的 benchmark,也开始系统评估 temporal、spatial、object 和 procedural memory。

  • 卡点四:物理世界的“最后一毫米”

知道“插入网线”是一件事;让插头在接触、遮挡和毫米级误差下真正进入接口,是另一件事。

于是触觉、RL、专门的高速控制层又重新回到了系统里。

发展趋势:VLA 正在从“单体大模型”变成带记忆、触觉、RL 和高速执行层的复合系统

越来越多前沿系统不再坚持让一个网络包办所有时间尺度。高层 VLA 负责语义理解和通用动作先验,记忆模块负责维持长时程状态,RL 或专用 policy 负责把关键技能练熟,触觉与高速控制层负责解决接触和稳定性。

VLA 并没有让经典机器人问题消失。它只是把瓶颈从“完全不会做”推到了更深的位置。

06.webp

世界模型:机器人终于开始“想象未来”,但想象必须值得相信

在之前的很多篇内容中,我们都系统分析过VLA vs 世界模型

VLA 通常回答的是看到现在,我下一步该怎么动?

世界模型想再往前一步如果我这么动,世界接下来会发生什么?

这也是为什么视频生成模型突然开始和机器人产生越来越紧密的联系。

NVIDIA 与 Stanford 的 Cosmos Policy 是一个很典型的例子。它直接从预训练视频模型出发进行机器人后训练,不只生成 action,还同时预测未来图像和 value。这样机器人在测试时可以生成候选动作,并借助预测结果进行规划。

随后出现的 Cosmos 3 又更进一步,把语言、图像、视频、音频和 action 放进统一的 omnimodal world model 中,并同时探索 robot policy、forward dynamics 与 inverse dynamics。

图7|World Model 的目标不只是“生成一个未来画面”,而是把动作和未来状态绑定起来,让模型能预测某个动作真正会造成什么后果。©【深蓝具身智能】编译

卡点:看起来合理,不等于物理上正确

World Model 听起来很漂亮,问题也恰恰藏在“漂亮”里。

假设机器人把杯子往前推。

世界模型预测它移动了 10 厘米,画面看上去完全合理;真实世界里杯子却因为摩擦只移动 3 厘米。

作为生成视频,它可能已经合格。

作为机器人 planner,它可能已经错得足够致命。

2026 年针对机器人 world model 的综述因此把几个问题单独提出来:

  • contact modeling

  • hallucination control

  • action alignment

  • closed-loop evaluation

其中 action alignment 尤其关键。

世界模型不能只生成“某个看起来合理的未来”,它必须预测:

执行这个特定动作以后真正会发生的未来。

而目前连这一能力的统一评价标准都还不成熟。

发展趋势:从“生成未来”变成机器人决策的基础设施

真正有用的 World Model,评价标准正在从“视频像不像真的”转向“能不能改善真实决策”:它是否忠实对应特定动作,是否能筛掉危险候选,是否能在闭环里保持可信?

而不是被策略找到只存在于模型幻觉中的捷径。所以,对世界模型而言,下一阶段的比赛可能已经不是谁更会“脑补”。

而是谁的脑补,真正值得机器人拿自己的身体去相信

07.webp

比“端到端还是模块化”更有意思的答案

把这六条路线放在一起,会出现一个很有意思的变化。

几年前,端到端具身智能最“诱人”的愿景是:摄像头进,大模型出,电机直接动。

中间那些 planner、状态机、技能接口,最好统统消失。

但走到 2026 年,最前沿的系统反而重新开始出现明确的层级。

Figure 的 Helix 02 是最直观的案例。

它仍然强调一个统一学习系统,但内部按照物理世界不同的时间尺度分成三个层级:

  • System 2:负责较慢的语义理解与目标推理;

  • System 1:以 200 Hz 把感知转换成全身关节目标;

  • System 0:以 1 kHz 负责平衡、接触和全身执行。

640 (7).webp

图8|Helix 02 的 System 2 / System 1 / System 0 分层。不同层按照不同时间尺度工作:语义推理更慢,视觉动作策略更快,而平衡和接触控制进入 kHz 级。©【深蓝具身智能】编译

换句话说,大模型真的越来越接近机器人“大脑”了,但真正把身体稳稳撑住的,依然需要毫秒级的另一套智能。

Google 的 Gemini Robotics ER 2 也把高层 reasoning 和低层 VLA execution 分开;Physical Intelligence 则在 VLA 外面继续增加 memory、world model subgoal 和在线 RL。

这似乎正在指向一个比“端到端还是模块化”更有意思的答案。

未来的机器人或许不会回到过去那种每个模块都由工程师手写规则的系统,但也未必会由一个巨大网络从头包办到底。

模块化没有消失,它只是从“人工定义的模块”,逐渐变成了“学习出来的模块”。

过去,机器人按照感知、规划、控制被工程师拆成不同部件。

现在,它可能按照记忆、推理、预测、动作生成和高速控制,被学习系统重新划分。

真正的分叉,也许已经不是“经典机器人”和“大模型机器人”谁替代谁。

而是当机器人真正进入物理世界以后,我们到底应该把哪些事情交给一个通用模型,哪些事情交给专门的快速策略,又该如何让它们在不同时间尺度上共同工作。

从这个角度看,具身机器人已经走得很远。

但距离它真正成为像手机、汽车一样可靠的通用产品,也才刚刚开始。

编辑|阿豹

审编|具身君

【深蓝学院】技术交流群

 

💪致力于帮助各位朋友「打破隐形的墙」,共建一个更自由、更有深度、更有价值的交流生态社区!在各大企业工作的,可以相互内推,互通有无;在学校读研读博的,可以交流想法,携手合作。

扫码添加阿蓝,选择想要加入的交流群即可

(按照提交顺序邀请,请尽早选择)

👇

image.png