RoboTwin:双臂机器人策略学习数据生成与测试一体化基准

主讲人:穆尧 | 香港大学博士生

  • 开课时间

    2025.02.05 20:00

  • 课程时长

    50分钟

  • 学习人数

    609人次学习

立即报名
添加助教,领取课件

立即报名

RoboTwin:双臂机器人策略学习数据生成与测试一体化基准

在快速发展的机器人领域中,双臂协调和复杂物体操作是开发先进自主系统的关键能力。本文介绍了RoboTwin,这是一个创新的生成式数字孪生框架,它利用3D生成式基础模型和大型语言模型来生成多样化的专家数据集。该框架可以从单个2D图像创建物体的数字孪生体,生成真实且可交互的场景,同时引入了空间关系感知的代码生成框架,将物体标注与大语言模型结合,用于任务分解、确定空间约束和生成精确的机器人运动代码。研究团队在开源COBOT Magic Robot平台上进行了验证,结果显示使用RoboTwin生成的数据预训练,并用少量真实世界样本微调的策略,在单臂任务中成功率提高超过70%,在双臂任务中提高超过40%。这些显著改进表明RoboTwin在增强双臂机器人操作系统的开发和评估方面具有巨大潜力,为解决机器人领域中高质量演示数据缺乏和真实世界对齐评估基准有限的问题提供了有效解决方案。

 

在快速发展的机器人领域中,双臂协调和复杂物体操作是开发先进自主系统的关键能力。本文介绍了RoboTwin,这是一个创新的生成式数字孪生框架,它利用3D生成式基础模型和大型语言模型来生成多样化的专家数据集。该框架可以从单个2D图像创建物体的数字孪生体,生成真实且可交互的场景,同时引入了空间关系感知的代码生成框架,将物体标注与大语言模型结合,用于任务分解、确定空间约束和生成精确的机器人运动代码。研究团队在开源COBOT Magic Robot平台上进行了验证,结果显示使用RoboTwin生成的数据预训练,并用少量真实世界样本微调的策略,在单臂任务中成功率提高超过70%,在双臂任务中提高超过40%。这些显著改进表明RoboTwin在增强双臂机器人操作系统的开发和评估方面具有巨大潜力,为解决机器人领域中高质量演示数据缺乏和真实世界对齐评估基准有限的问题提供了有效解决方案。

直播课件暂未上传
机器人与自动驾驶 具身智能 进阶
机器人与自动驾驶 定位与建图 机器人学基础 进阶
机器人与自动驾驶 规划控制 定位与建图 具身智能 机器人学基础 基础