ETH Hutter 团队两篇新作:多接触RL + 物理孪生ForceTwin

11.gif

640.gif

数字孪生建模动力学 + 接触引导强化学习

——足式机器人操作的两条主线

门、抽屉、洗碗机这类铰链物体,和推箱子、搬椅子这类非抓取搬运,对四足/移动操作机器人来说难在哪?

前者:一扇门长什么样和推起来什么手感完全是两回事,闭门器、弹簧、摩擦这些物理参数从外观根本看不出来;后者:推和搬属于接触稀疏的非抓取操作,接触点找不准,RL 策略连任务门槛都摸不到。

640.webp

ETH Zurich Marco Hutter 组联合 NVIDIA 等团队近期连发两篇论文:

ForceTwin 主打“人拿力传感夹爪戳一戳”,把铰链物体的完整动力学辨识成物理一致的数字孪生,Spot 和 Franka 上 9 组物体-本体组合完成率 87%;

Contact-Guided Exploration 主打多 Critic RL,让策略先学会“往哪接触“再学会“干任务”,四足机械臂平台真机搬椅子 58 次尝试成功 40 次。

两篇一个解决“接触里藏着什么物理”,一个解决“该往哪里接触”,分别从动力学建模、控制策略两个层面补足足式操作能力:ForceTwin 辨识出的门模型,正是用来训练 ANYmal 全身开门策略的仿真底座。

01.webp

ForceTwin: Physics-informed Digital Twins for Robotic Manipulation from Instrumented Human Interaction

手持力传感夹爪人工探查,惯参误差比 VLM 先验近乎减半

研究方法

传统数字孪生管线从视频恢复的主要是运动学,物理参数要么靠先验硬赋值,要么干脆缺失;而状态相关的机构力:闭门器随开合角度变力矩、弹簧随压缩变劲度,在标准资产格式里没有表达,机器人拿到一扇视觉正常的门照样推不开。

ForceTwin 的思路是:让懂物理的人替机器人做一次“探查”。

640.png

▲图| ForceTwin 总览:手持仪器化交互提供同步工具位姿与接触力,辨识铰链模型与动力学,生成数字孪生用于控制与仿真©【深蓝具身智能】编译

  • 仪器化人工探查

硬件是一支集成 RGB-D、Project Aria MPS 轨迹追踪和腕部力/力矩传感的手持夹爪,人握着它抓物体的可动部件反复开合。

探查协议有讲究:慢速低加速度运动激励库仑摩擦,宽速度范围扫描激励黏性阻尼,猛拉快推激励惯量,被动跟随看机构响应——一种探查动作对应回归模型里的一项,保证参数可辨识。

夹爪自身的重力与惯性力先做标定补偿,剩下的才是物体真实受力。

  • 半参数动力学辨识

模型分两截:参数项(惯量 I、库仑摩擦 μ、黏性阻尼 b)用非负约束最小二乘直接估计,保证物理有效、可以直接写进模拟器;

解释不了的部分交给结构化神经残差——一个只看关节角度的构型相关载荷头(闭门器、弹簧这类),加一个 softplus 输出的方向不对称阻尼头,既守住“阻尼非负”的物理底线,又不把机构行为硬塞进固定公式。

先拟合参数项、再在残差上训网络,两阶段顺序进行。

640 (1).png

▲图| 木门力矩拟合:实测力矩对比纯参数模型与加入机构项的模型©【深蓝具身智能】编译

  • 前馈控制与仿真资产

辨识出的模型两条用途:

一是作为笛卡尔阻抗控制的前馈项,机构力矩经物体雅可比映射成末端补偿力,Spot 和 Franka FR3 零样本开合真实物体;

二是导出成 USD 仿真资产,在 Isaac Lab 里训练全身开门通行策略,部署到带机械臂的 ANYmal 四足,木门 5 次真机试验全部通过。

研究亮点

  • 仪器化人工探查的孪生辨识范式

人手持力传感夹爪按激励协议探查,一次采集同时解决运动学和动力学辨识——12 轴铰链上轴类型分类 100%、轴位置误差 23mm,绕开了“被动录像无法辨识动力学”的根本限制。

640 (1).webp

▲图| Spot 与 Franka FR3 两套机器人本体的零样本基于模型铰接操作真实世界实验©【深蓝具身智能】编译

  • 结构化神经残差

不把所有非线性都丢给黑箱,惯量/摩擦/阻尼保持参数化、物理有效,机构力单独建模。

消融显示,加入黏性阻尼力矩误差最多降 12%,再加机构项,在机构主导物体上再降 67–73%。

640 (2).png

▲表| 真实机器人铰接操作实验结果©【深蓝具身智能】编译

实验结果显示:5 个真实物体 × 2 台机器人共 9 组组合,模型驱动零样本开合完成率 87.3%,对比 VLM 先验 59.7%、纯运动学孪生 56.9%;

强机构物体(烤箱、金属门)上两个基线完成率不足 5% 完全停滞,ForceTwin 达 67–100%;惯参误差 29.5% 对 VLM 先验的 53.0%。

640 (2).webp

▲图| 惯性参数估计保真度对比,FORCETWIN 与 VLM 先验的误差量化©【深蓝具身智能】编译

02.webp

(RA-L)Contact-Guided Exploration for Non-Prehensile Locomanipulation with Multi-Critic RL

专用探索 critic 先教策略"往哪接触",权重自动衰减再收敛到任务最优

640 (3).webp

▲图| 接触引导探索:足式机器人依靠物体中心接触先验完成富接触交互©【深蓝具身智能】编译

研究方法

推箱子、搬椅子这类非抓取操作对 RL 并不“不友好”:接触一瞬间的奖励信号极稀疏,策略大部分时间在"空挥",不同随机种子下有的学会接触、有的直接“摆烂”。

Contact-Guided Exploration 的解法是把"找到接触点"从任务里拆出来,单独喂一个 critic。

640 (3).png

▲图| 多评价器(Multi-Critic)强化学习框架,支撑三类非抓取操作任务©【深蓝具身智能】编译

  • 多 Critic 奖励分解

在 PPO 上扩展出三个价值头:

任务组(物体位置跟踪)、探索组(接触引导)、正则组(动作平滑与安全),每个头独立计算 TD 误差与优势,加权混合后更新策略。

探索组的奖励非常稠密:每次环境重置时,从候选点集里采一个 3D 目标接触点,奖励末端执行器不断逼近它——把“碰上”这个离散事件变成了连续的距离优化。

  • 权重自动衰减

探索 critic 不是全程在岗:训练前期权重大(0.1),第 5k 到 10k 步线性退火到 0.01,先“找到接触”,再平滑交还给任务目标,避免策略锁死在摸来摸去的次优行为里。

同一套调度不加修改地复用于所有任务。

  • 抓取算法当接触先验

候选接触点来自通用抓取算法 Grasp It Like a Pro 2.0——本来为抓取稳定性设计,这里被用作非抓取操作的接触点先验,策略因此能泛化到椅腿、洗碗机把手这类复杂几何。

底层接一个冻结的预训练 locomotion policy,高层只管手臂和基座指令,训练用了 15 把 IKEA 椅子加 100 把程序化随机生成的椅子。

研究亮点

640 (4).webp

▲图| 不同算法在推箱子、运椅子任务中的成功率与失败类型对比©【深蓝具身智能】编译

  • 接触引导的探索 critic

把稀疏接触问题转化为稠密的“逼近目标点”子任务。

消融很直观:去掉探索奖励,成功率直接归零;单 critic 基线漏接触率高达 9.1% 且种子间波动剧烈,本文方法成功率 94.1%、倾翻率 4.4%,种子标准差不到 1%。

  • 通用抓取算法跨几何泛化

接触先验不依赖任务定制,同一套框架覆盖箱推、椅子搬运、洗碗机开启;洗碗机任务还涌现出"先拉把手、再切到门板、最后下压"的接触序列,机械臂关节顶到位置极限的时间步减少 59%。

实验结果显示:仿真椅子搬运成功率 94.1%;真机 ALMA 四足移动操作平台上 4 个未见 IKEA 物体 58 次尝试成功 40 次(69%),椅子加配重到 6.5kg(超过机械臂全展开的额定静态负载),仍然完成搬运。

640 (4).png

▲图| 复杂几何上的接触候选点:程序化随机椅子与 IKEA 模型©【深蓝具身智能】编译

03.webp

结语

足式机器人要真干活,光会走路远远不够,得做到物理世界的“手上有数”——知道门有多沉、椅子该推哪儿。

这两篇研究内容分工明确:

ForceTwin 从数据侧下手,把接触里藏着的物理辨识成可仿真的孪生,连全身开门策略的 sim-to-real 训练底座都是它提供的;

Contact-Guided 从策略侧下手,让 RL 自己学会往哪里接触、何时收手。

一个“人教机器”,一个“机器自学”,凑成了力与接触这条主线的两个拼块。

同时短板在于:

ForceTwin 每个物体都得单独探查,装了东西的抽屉、重新调过的闭门器就得重来,迟滞、齿隙这类现象也不在模型能力圈内;

Contact-Guided 真机依赖外部动捕做物体定位,野外部署还差一步,侧向接近引发的里程计误差仍是主要翻车原因。

距离巡检、配送这类真实作业场景都还有打磨空间,但方向上的信号很明确:下一代足式操作系统的核心竞争力,可能就藏在“力”这个不算起眼的感知通道里。

编辑|小小怪博士

审编|具身君

Ref

1. ForceTwin: Physics-informed Digital Twins for Robotic Manipulation from Instrumented Human Interaction(https://arxiv.org/pdf/2609.21751)

2. Contact-Guided Exploration for Non-Prehensile Locomanipulation with Multi-Critic RL(https://arxiv.org/pdf/2608.28140)

~【深蓝学院】技术交流群~

 

💪致力于帮助各位朋友「打破隐形的墙」,共建一个更自由、更有深度、更有价值的交流生态社区!在各大企业工作的,可以相互内推,互通有无;在学校读研读博的,可以交流想法,携手合作。

扫码添加阿蓝,选择想要加入的交流群即可

(按照提交顺序邀请,请尽早选择)

👇

image.png