统一跟踪控制器完成抓取‑移动、推拉、姿态调整多种行为，适配多样物体
——重建手‑物体交互（HOI）
如何把生成视频里的动作意图变成真实机械手可完成的物理操作？是灵巧操作领域一个棘手的现实痛点。
伯克利等机构推出GALATEA，完整打通“生成视频→3D手物轨迹重建→仿真强化学习蒸馏统一跟踪控制器→真机闭环执行”全链路。
整套系统不依赖动捕采集，从2500段AI生成操作视频中，重建出约2000条可用手‑物体交互轨迹，超过1500条在仿真中完成物理落地训练；仿真训练成功率相比基线高出25个百分点以上。
这种把视频生成模型作为高层动作规划器，给灵巧机器人提供一套大规模获取操作参考的新思路。
三类灵巧视频迁移方案
想要用视频给灵巧机器人提供操作参考，行业主要有三类路线
-
第一类，野外互联网真人视频作为数据源。
网上人类操作视频数量巨大，但画面混杂无关动作，视角、遮挡、光照不可控。想要提取可用的机器人参考轨迹，需要大量人工筛选标注。
已有工作统计，2000条互联网手部视频里，真正具备可重建交互的样本占比仅4.2%，人力成本极高。
-
第二类，动捕采集的高质量人‑物交互数据集。
动作准确、接触关系清晰，但动捕设备昂贵，采集、标定流程繁琐，很难大批量生成“推、拉、拧、侧身抓取”这类多样化交互样本，样本规模存在天花板。
-
第三类，AI生成视频做动作规划的现有方案。
一部分方案只预测手腕运动，忽略手指与物体接触；另一类只跟踪物体关键点，手部抓取策略没有被明确指定。
它们大多只输出开环运动，缺少仿真层面的物理校验，生成视频里看起来可行的抓取，放到真实机器人上会出现手穿模、抓不住物体、接触时序错乱，很难闭环运行。
三类灵巧视频迁移方案，要么数据采集成本极高，要么拿到的参考轨迹缺少物理可行性校验，无法同时做到大规模参考样本获取、手‑物完整轨迹还原、仿真物理校验、真机闭环执行。
GALATEA的定位，就是利用生成视频的丰富创意，搭配重建管线与仿真RL蒸馏控制器，填补这一缺口。
GALATEA整套系统：视频重建 + RL仿真落地 + 策略蒸馏
整套工作分为两大阶段：
-
第一阶段是HOI手‑物体重建管线，从AI生成视频还原3D手部、物体完整时序轨迹；
-
第二阶段在仿真环境，基于大量带噪声的重建轨迹，使用SAPG优化器训练跟踪专家策略，再蒸馏为单一通用控制器，最终部署到真实机器人。
▲图｜GALATEA系统总览示意图©深蓝具身智能编译
HOI手‑物体交互重建流水线：从视频拿到3D运动参考
研究团队使用Seedance2.0视频生成模型，输入真实场景首帧RGB图像+语言指令，生成三类典型任务视频：
grasp‑and‑move抓取移动、push‑and‑pull桌面推拉、pose‑adjust空中姿态调整。
同时用立体相机采集首帧深度，作为度量尺度锚点，解决生成视频尺度漂移的通病。重建流程分为多步：
-
深度度量对齐
MoGe‑2输出每帧稠密深度，但单目深度尺度会飘。利用第一帧立体深度，通过背景像素做最小二乘拟合，对每帧深度做缩放、偏移修正，保证整套视频具备真实物理尺度。
-
目标检测与初始姿态估计
SAM2输出物体、手部掩码；FoundationPose估计物体6D位姿，WiLoR估计MANO手部网格，HOI‑DETR检测手与物体发生接触的时间片段。
-
手‑物体联合优化（核心）
在初始估计基础上做联合优化。损失项包含物体重投影损失、手部关键点损失、轮廓匹配损失、接触约束损失、时序平滑损失。
也就是说优化时强制手和物体不能互相穿透，接触时间段让手部顶点贴合物体表面，同时约束运动速度、加速度不能突变。
▲图｜HOI重建流水线。首帧深度做度量对齐，生成视频经过深度估计、分割、手物姿态估计，联合优化输出精细化HOI轨迹©深蓝具身智能编译
这套重建管线在2500段生成视频中，83%通过质量校验，产出约2000条可用手‑物交互轨迹。
仿真RL落地：参考增强、SAPG优化与专家蒸馏
拿到重建轨迹不能直接丢给机器人，很多轨迹运动幅度大、关节位置会发生穿模，必须在Isaac Gym仿真中完成物理筛选与策略学习。
硬件仿真模型为Franka Research 3机械臂搭配Sharpa Wave灵巧手，29维动作空间（7臂关节+22手关节）。
-
轨迹参考增强与预筛选
每一条原始重建轨迹，生成5组手靠近阶段、接触后相对姿态的扰动变体；再用逆运动学求解，检查轨迹是否在机器人关节极限内，对运动过快片段做时间插值减速。
过滤掉IK不可解、自碰撞的样本，最终有1500+轨迹可以被仿真专家控制器执行。
-
非对称Actor‑Critic强化学习训练
Actor网络输入观测包含机器人本体状态、上一步动作、指尖状态、物体位姿、手物之间跟踪误差、物体BPS形状编码；Critic可以访问仿真内的特权真实状态。
网络输出为关节增量/目标位置，输出之后经过EMA平滑，送入30Hz位置PD控制器。
奖励函数是整套RL训练的关键，由手跟踪项、物体跟踪项、指尖靠近、多手指接触、抓取抬升、动作平滑正则多项组成。
核心逻辑在于不只是单纯复刻手部姿态，同时鼓励多根手指和物体发生有效接触；抓取抬升任务设置专门奖励激励物体离开桌面，同时惩罚过大功耗与动作跳变。
-
优化器选用SAPG（Split and Aggregate Policy Gradients）
把仿真rollout分配给多个不同探索程度的PPO子agent，再聚合经验更新共享策略。对比标准PPO基线，在多噪声参考轨迹数据集下成功率提升显著。
同时训练全程开启域随机化：PD增益、物体质量、摩擦系数、执行器时延随机扰动，观测物体位姿加入噪声，提升sim‑to‑real迁移能力。
▲图｜成功率统计小提琴图。黑色圆点全部训练物体，彩色圆点基准物体，菱形代表全新未见物体©深蓝具身智能编译
训练策略上，不会直接拿全部1500条轨迹一锅训。按物体类别训练最多2个专家策略，每个专家覆盖约40条原始轨迹，增强后约200条样本。最后对全部专家做行为克隆蒸馏，再用DAgger微调得到单一通用蒸馏策略。
真机闭环部署架构
真机端使用Intel RealSense D455实时输出物体6D姿态；另外一台相机仅用来拍摄生成视频的首帧图像，执行任务阶段移除，不参与闭环感知。
针对手眼标定带来的平移偏差，研究采用抓取已知物体的方式，修正FoundationPose输出的全局平移偏移，消除系统性标定误差。
▲图｜生成人类参考动作与对应真实世界执行效果。全部参考轨迹策略训练阶段从未见过©深蓝具身智能编译
实验
整套实验分成重建消融、仿真RL消融、真机闭环三大块。
-
仿真成功率
专家策略在训练物体集上平均成功率78.6%；蒸馏之后仅下降4.2个百分点。在完全没有见过的新物体上，依然可以达到54.2%的中位数成功率。这说明蒸馏得到的统一控制器学到了通用灵巧交互模式，而不是死记每一条轨迹。
-
真机实验
真机测试选取四类未见任务：瓶颈部姿态调整、瓶口自上而下捏取、杯沿推、杯把手拉动，每个任务10次试验。
▲表｜未见轨迹真实世界成功率（每项任务 10 次尝试）©深蓝具身智能编译
40次未见视频规划任务中总成功27次。可以观察到，把手拉动任务成功率最高，瓶颈部姿态调整难度最大。
真机失败主要集中在接触突变、摩擦不匹配，这也是几乎所有灵巧手sim‑to‑real共同的工程痛点。
生成视频可以充当高层规划源，给机器人输出一套完整操作方案；但还处在研究原型，距离稳定产品级灵巧抓取仍有距离。
-
消融实验
▲表｜HOI重建基准与组件消融实验结果©深蓝具身智能编译
去掉深度对齐，物体ADD‑S误差明显恶化；
移除联合手物优化，手腕‑物体相对位置MRRPE、接触CDev指标大幅变差。
但是，重建出来的轨迹依然带有噪声，并非完美动捕级别，后续强化学习阶段必须要容忍这种噪声输入。
结语
GALATEA给出了一条完整链路：利用AI生成视频作为灵巧机器人的动作设想来源，通过手‑物体联合重建拿到时序3D参考，再通过仿真强化学习克服重建噪声与物理约束，蒸馏得到统一闭环跟踪控制器，最终在真机复现视频中的抓取、推拉、姿态调整行为。
大模型生成的想象视频，经过重建‑仿真物理过滤，是可以作为灵巧机器人大规模的动作规划数据源。
当然，这套方案依然受限于生成视频质量、重建噪声、仿真现实鸿沟。未来可以进一步结合视觉反馈闭环纠错、扩充在‑手操作样本，进一步缩小仿真‑真机之间的性能差距。
编辑｜小小怪博士
审编｜具身君
Ref
论文标题：GALATEA : Grounding Generated Video Plans in Simulation Towards Versatile Dexterous Controllers
论文链接：https://arxiv.org/pdf/2609.10050
项目链接：https://boyuan-an.github.io/GALATEA/
扫码添加阿蓝，选择想要加入的交流群即可
（按照提交顺序邀请，请尽早选择）
👇
