人类视频驱动的机器人技能学习

主讲人:马君驿 | 上海交通大学博士生

  • 开课时间

    2025.12.18 20:00

  • 课程时长

    63分钟

  • 学习人数

    1511人次学习

立即学习
添加助教,参与直播,领取课件

立即学习

人类视频驱动的机器人技能学习

面对机器人学习中示教数据稀缺的挑战,从海量的人类活动视频中学习操作技能已成为关键方向。然而,如何让机器人在缺乏动作标注的条件下,从人类视频中自主提取可迁移的动作表征,并据此构建与训练动作预测模型,实现从人类到机器人的技能迁移,仍是一个开放性的难题。
 
为此,主讲人团队提出了一种基于末端轨迹+交互关键时刻的可迁移操作表征。基于该表征,研究团队利用真实人类视频数据训练通用人手预测算法,并直接部署于机器人以实现末端动作规划,从而完成多样化的单臂与双臂操作任务。这项工作为人类操作视频驱动的机器人技能学习方向提供了一种可行的技术方案。

直播精华文稿暂未上传
具身智能与机器人 具身智能 人形机器人 进阶
具身智能与机器人 具身智能 高级
具身智能与机器人 具身智能 人形机器人 高级