让机器人拿一瓶可乐，感知说‘在那’，认知说‘能喝’，规划说‘够不着’
——环环相扣∞
“大模型让机器人拥有了大脑”已经成为一种常见说法。
但机器人从听懂一句指令到真正完成动作，中间还要经历对环境的观察、对任务的理解、对行动的安排，以及对身体的实时控制。
即使端到端模型把多个环节压进同一套网络，真实世界中的身体、环境和反馈也不会因此消失。
因此，机器人的具身“大脑”并不是某个无所不能的单一模型，而是一套让机器人能够感知世界、理解任务、规划行动、控制身体并积累经验的智能系统。
本文将围绕这五类核心功能，讲清具身“大脑”如何理解世界、组织行动，并在真实反馈中不断调整。
▲图1 | 具身大脑不是单向流水线，而是由五类功能构成的多时间尺度闭环©【深蓝具身智能】编译
感知：不是“装了摄像头”，而是形成可行动的状态
感知要回答的核心问题是：现在的外部世界和机器人自身处于什么状态？
摄像头、激光雷达、触觉阵列和编码器能产生大量原始信号，但有信号并不意味着机器人已经“看懂”了世界。
感知模块的真正任务，是把像素、点云、触觉图像和关节角等繁杂数据，转化为后续决策可以直接使用的状态或表征。
具身感知通常需要同时处理两类信息：
-
一类是外感受（Exteroception）
它关注外部环境中有什么、在哪里、状态如何。典型的输入包括图像、点云和触觉，输出则是物体的类别、位姿、深度和接触状态等。
-
另一类是本体感受（Proprioception）
它关注机器人自身的身体状态。通过编码器和力矩传感器等输入，系统能够实时掌握关节角度、运动速度和机体受力情况。
因此，仅仅能在二维图像中框出一个物体，并不等于完成了具身感知。机器人不仅要识别“那是一个杯子”，还需要估计杯子的三维位姿、形状以及可接触区域。
特别是在手内操作时，目标物体会被手指严重遮挡，仅靠单一的视觉信号往往不够。
▲图2 | NeuralFeels 融合视觉、触觉与机器人运动学信息，在线估计手内物体的姿态和形状©【深蓝具身智能】编译
NeuralFeels 提供了一个典型例子。
该系统面向手内操作期间的物体状态估计，把 RGB-D 视觉、基于视觉的触觉图像和机器人本体/运动学信息结合起来，在线优化神经有符号距离场（neural SDF），联合估计物体姿态与三维形状。
这个案例说明，传感器读数只是输入，感知结果才是可供行动使用的状态：
多模态信号可以被融合为几何与姿态估计，并不代表它单独完成了语义理解、任务规划或控制。
认知：不是“识别到了”，而是理解它与任务的关系
认知要回答的核心问题是：这些观测和指令意味着什么，它们与当前任务有什么关系？
如果感知层告诉系统“桌面上有一个红色圆形物体，位于特定坐标”，认知层就需要进一步把它组织成与任务相关的表征：它是一个苹果，是一个可以抓取的对象，或者正是用户指令中提到的“水果”。
认知处理的重点，是提取语义、理清对象关系、判断任务约束和引入常识先验。
近年来，大语言模型和视觉语言模型确实让机器人处理开放指令和常识知识的能力有了质的飞跃。
但更准确的说法是：
大模型为机器人提供了丰富的语义与常识先验，但这并不代表它自动拥有了可靠的物理世界模型——这些常识先验仍然必须接受当前观测、机器人实际能力以及安全约束的检验。
在认知层面，最容易出现三种误解：
（1）首先是认为“视觉模型识别出了物体，所以机器人就理解了任务”。
实际上，识别出物体只是感知结果；这个物体是否与当前任务相关、是否处于可操作状态，还需要进一步的语义判断。
（2）其次是觉得“语言模型知道清理水渍应该拿海绵，所以动作一定能执行”。
语言常识只能说明这个动作在逻辑上是对的，但并不能保证机器人在当前的物理空间中够得着、抓得住那块海绵。
（3）最后是误以为“模型输出了长篇推理文本，所以它已经完成了规划”。
语言推理可以辅助生成高层计划，但最终仍需检查底层技能的可用性、几何路径的可行性以及物理执行的真实反馈。
▲图3 | SayCan 将语言模型给出的任务有用性，与机器人技能的可执行性评分结合©【深蓝具身智能】编译
SayCan 正好揭示了认知与具身执行之间的差别。
-
系统使用语言模型评价候选技能对完成高层指令是否“有用”；
-
再利用与机器人技能相关的价值函数评估该技能在当前状态下是否“可执行”；
-
最后组合两类评分，从预先定义的技能集合中选择下一步动作。
举个例子：
面对“清理洒出的饮料”，语言模型可能认为“拿海绵”在语义上有帮助；但如果海绵不在可达范围内，机器人侧的可执行性评分就会降低。
规划：任务步骤、几何路径和时间轨迹要分开
规划要回答的核心问题是：为了达到目标，接下来应该做什么，又应该如何穿过空间与时间？
“规划”可能是具身智能中最常被一词多用的概念。要准确理解它，我们至少需要把它拆开成以下三个层级：
-
任务规划（Task Planning）
解决的是“大目标应该被拆成哪些离散步骤”。它的典型输出是类似“移动到桌边—抓取杯子—走向水池—放下杯子”的动作序列。常见的方法包括行为树、状态机，以及当前流行的利用语言模型生成计划。
-
运动规划（Motion Planning）
解决的是“从当前姿态到目标姿态，怎样避开障碍并保持可行”。它的典型输出是一条没有碰撞的几何路径。经典的算法有 A、RRT 等。
-
轨迹生成/轨迹优化（Trajectory Generation/Optimization）
解决的则是“机器人应该在什么时间到达什么状态，并满足速度、加速度和力矩等物理约束”。它的输出是带有时间参数的状态或控制序列。
简单来说，路径主要描述的是几何路线，而轨迹则带有时间、速度和加速度等信息。
认知与规划的区别同样重要：
认知负责理解任务和场景的语义，而规划则是在既定目标和物理约束下选择未来的具体行动。
语言模型可以同时参与这两个环节，但“同一个模型参与”并不代表这两种功能已经变成了同一回事。
▲图4 | PaLM-E 将视觉和连续状态等具身输入编码进语言模型，并以文本形式生成多阶段计划©【深蓝具身智能】编译
PaLM-E 是一个容易被“误读”的案例。
它可以接收图像、连续状态估计和文本等交错输入，并在机器人任务中生成文本化的多阶段计划；其核心仍是自回归生成文本的具身多模态语言模型。
Google Research 的系统说明明确指出，机器人执行还需要把文本决策交给低层 language-to-action policy 转换成动作。
因此，PaLM-E 展示的是大模型如何参与具身多模态理解、推理和任务层计划，而不是“一个语言模型直接输出电机控制”。
控制与动作策略：会输出动作，不等于就是底层控制器
控制要回答的核心问题是：如何把期望状态或参考轨迹，稳定、及时地变成物理执行？
在经典机器人学中，反馈控制器会不断比较参考目标与实时状态之间的误差，并据此输出位置、速度、力或力矩命令，持续修正偏差。
控制循环通常比高层的语言推理和任务规划快得多，以便及时应对物理世界中的突发扰动。
而在当前的具身智能研究中，我们更常听到的词是动作策略（Action Policy）。策略通常表示从观测状态到具体动作的映射，可以通过模仿学习或强化学习等方式训练得到。
这两个概念虽然密切相关，但不能简单画等号：
-
策略（Policy）强调的是在当前观测下“系统应该选择什么动作”。
它输出的可能是目标位姿、动作序列或技能编号。但策略并不天然具备可证明的稳定性，也不一定直接驱动底层的电机。
-
反馈控制器（Controller）则强调“如何依据误差稳定地跟踪参考目标并抵抗外界扰动”。
它输出的是底层的位置、速度或力矩命令。相对地，控制器通常不负责语义理解和高层的任务分解。
Diffusion Policy 就是一个典型的学习策略。
它把视觉运动策略表示为以观测为条件的去噪扩散过程，生成一段未来动作序列，并采用滚动时域方式执行：系统执行其中一部分动作，获得新观测后再重新生成后续序列。
这里的“闭环滚动执行”不等于最底层的电流环或关节伺服。
策略给出的动作目标，通常仍需通过机器人平台更低层的位置、速度或力控制接口落实。
▲图5 | RT-2 将机器人动作离散化为 token，使视觉、语言与动作预测在同一模型中联合学习©【深蓝具身智能】编译
RT-2
RT-2 则进一步压缩了语义理解、任务判断和动作策略之间的接口。它把机器人动作离散化为 token，与视觉—语言数据和机器人轨迹数据共同训练；推理时再把动作 token 反解为机器人动作，并在闭环中执行。
但“端到端输出动作”也并不等于“一个模型取代全部控制栈”。
RT-2 可以跨越传统的认知、规划和动作策略边界，却不会自动消除状态估计、底层伺服、安全约束、碰撞检查和实时系统。端到端压缩的是功能接口，不是物理世界的反馈需求。
记忆：不是上下文窗口，也不是简单接一座向量数据库
记忆要回答的核心问题是：哪些过去的信息需要被保留、如何组织，以及在什么时候被取回？
在机器人系统中，历史信息可以隐式地存在于循环网络的隐藏状态中，也可以显式地存放在地图、场景图、技能库和外部数据库里。
经典机器人系统早已在使用地图和信念状态；而今天具身智能所推动的新变化，是把时间跨度更长、语义更开放的信息，纳入到可检索、可推理的记忆系统中。
为了便于理解，我们可以把记忆按功能粗略分为四类：
-
首先是工作记忆（Working Memory）
主要用于短期保持和操作当前任务信息，例如刚刚收到的指令、最近几帧的视觉观测以及尚未完成的子任务。
-
其次是情景记忆（Episodic Memory）
负责保存过去发生的具体事件及其时空背景。例如，让机器人能够回想起“十分钟前在会议室的桌子上见过那个红色的杯子”。
-
第三是语义记忆（Semantic Memory）
用于保存抽象事实、对象关系和环境常识。比如“厨房里通常会有冰箱”或者“这种柜门需要向外拉”。
-
最后是技能或程序性记忆（Procedural Memory）
用来保存如何执行特定动作或复用已有技能，包括抓取策略、导航参数和成功经验的索引。
此外，我们还需要区分记忆功能与记忆载体。
大模型的上下文窗口只是一种短期的信息载体，向量数据库也只是负责存储和检索，而模型参数承载的则是训练阶段形成的统计知识。
一个完整的具身记忆系统，不仅涉及存储，还涉及信息的写入、压缩、更新、遗忘，以及检索结果如何真正影响后续的认知、规划和行动。
▲图6 | ReMEmbR 将视频描述、机器人位置和时间戳写入可检索的时空记忆，用于问答和导航目标生成©【深蓝具身智能】编译
ReMEmbR 展示了一种外部、非参数化的长时空记忆方案。
系统把机器人长期视频切分为片段，生成文本描述，并将描述嵌入、机器人位置和时间戳写入向量数据库；查询时，LLM 代理可以迭代调用文本、空间和时间检索函数，回答历史问题或生成可导航位置。
因此，机器人可以处理类似“之前在哪里看到过某个物体”的查询，并把检索结果转成导航目标。但 ReMEmbR 并不等于机器人获得了统一的人类式长期记忆，也不意味着模型参数会根据每次经历持续更新。
该研究展示的本质，是外部时空记录、检索、语言推理与行动接口如何被组合起来；系统仍可能因物体描述混淆而产生错误目标。
记忆也不是认知之后的附加组件。
没有记忆，机器人只能依赖当前观测被动反应；有了可写入、可检索、可用于行动的历史，认知和规划才可能真正跨越长时间尺度。
把五类功能放回同一个任务：机器人“拿一瓶可乐”时发生了什么？
抽象概念最终要回到身体与环境中。假设对机器人说：“把我刚才放在客厅的那瓶冰可乐拿过来。”
这句话至少同时调动五类功能：
顺序也不是固定的。
机器人可能先从记忆中找到大致位置，再导航到客厅；
新的视觉观测发现瓶子已被移动后，感知结果会促使认知更新指代，规划器重新规划，控制器继续执行。
这才是具身智能真正的闭环：智能并不只发生在“想出答案”的瞬间，也发生在动作改变世界、世界反过来修正系统的过程中。
端到端还是模块化？未来不是一道二选一
当感知、认知、规划、控制和记忆被放进同一套系统后，一个新的问题随之出现：
这些功能应该分别实现，还是尽可能交给一个端到端模型？
当前具身智能主要沿着两条路线发展。
-
一条是端到端融合。
VLA、扩散策略等模型试图减少人工设计的中间接口，让视觉、语言和动作数据在同一套网络中学习。
这样做有机会减少模块之间的信息损失，也更容易从大规模数据中学习复杂的跨模态关系。
-
另一条是模块化协同。
大模型负责理解开放指令、处理语义和安排高层任务；状态估计、运动规划、反馈控制和安全系统则继续负责实时执行与物理约束。
这样做更容易定位问题，也更便于保证关键环节的稳定性。
▲图7 | 从传统模块化系统到端到端 VLA，变化的是接口边界，而不是感知、反馈和物理约束的消失©【深蓝具身智能】编译
现实中的机器人系统很可能长期处在两者之间：
部分接口被大模型合并，部分安全关键和高频模块继续保持独立；某些能力由数据驱动策略完成，另一些能力仍由解析模型、搜索、优化和反馈控制承担。
所以，面对一个新的具身模型，真正值得追问的并不是“它是不是机器人大脑”，而是：
它让感知、认知、规划、控制或记忆中的哪一环变得更强？它接收什么信息、输出什么结果？在真实机器人上还需要哪些系统与它配合？
把这几个问题说清楚，我们才能判断一个模型究竟是在完善具身“大脑”的某一部分，还是已经真正打通了从理解到行动的闭环。
编辑｜阿豹
审编｜具身君
扫码添加阿蓝，选择想要加入的交流群即可
（按照提交顺序邀请，请尽早选择）
👇
