-
学习时长
10周/建议每周至少6小时
-
答疑服务
专属微信答疑群/讲师助教均参与
-
作业批改
每章节设计作业/助教及时批改评优
-
课程有效期
一年/告别拖延，温故知新
- 第1章: 机器人抓取与操作介绍
- 第1节: 课程介绍
- 第2节: 机器人运动规划控制方法介绍
- 第3节: 机器人传感器和视觉介绍
- 第4节: 机器人学习方法介绍
- 第5节: 实践工具
- 第6节: Project1：使用 ACT 在 MuJoCo 中训练机械臂完成抓取任务
- 第2章: 经典规划控制方法
- 第1节: 规划算法
- 第2节: 控制算法
- 第3节: 抓取方法
- 第4节: 使用案例
- 第5节: Project2：基于RRT算法的 PiPER 机械臂路径规划
- 第3章: 机器人视觉方法
- 第1节: 传感器和标定介绍
- 第2节: 视觉图像和神经网络+3D感知和点云处理
- 第3节: 3D位姿估计-机器人场景
- 第4节: Project3：PoseCNN 6D姿态估计与抓取
- 第4章: 基于深度学习的抓取
- 第1节: 2D平面抓取
- 第2节: 6DoF Grasping
- 第3节: Other Applications
- 第4节: Project4：基于GR-ConvNet的物体检测与机械臂抓取
- 第5章: 模仿学习方法
- 第1节: Intro and BC
- 第2节: Interactive IL
- 第3节: Inverse RL
- 第4节: IL with Sequence Information
- 第5节: Generative model for IL
- 第6节: Project5：基于Diffusion Policy的物体检测与机械臂抓取
- 第6章: 强化学习方法
- 第1节: 强化学习基础
- 第2节: Value-based方法
- 第3节: 策略学习方法
- 第4节: Actor-Critic方法
- 第5节: 逆强化学习与Offline RL
- 第6节: 其他RL方法与讨论
- 第7节: Project6：基于强化学习的机械臂逆运动学解算与抓取
- 第7章: 具身智能：VLM与VLA模型（3次课）
- 第1节: Introduction
- 第2节: Transformers and Generative Model
- 第3节: ACT & Variants, Diffusion Policy
- 第4节: VLM&LLM for Planning
- 第5节: VLA: RT1, RT2, Octo and OpenVLA
- 第6节: VLA: RDT, Pi0 and Others
- 第7节: Dataset and Benchmark
- 第8节: Others & Summary
- 第9节: Project7：GR00T N1在 Libero 数据上微调对比
- 第8章: 工程经验和总结展望
- 第1节: 后处理&传统方法优化
- 第2节: 总结&展望
实践项目介绍
课程围绕机械臂抓取核心任务，设计了从经典到前沿的7个实践项目，系统掌握操作与抓取技术演进
环境配置与实验环境搭建
Project1：使用ACT在MuJoCo中训练机械臂完成抓取任务
基于经典规划控制方法的抓取
Project2：基于RRT算法的PiPER机械臂路径规划
基于视觉与深度学习方法的抓取（上）
Project3：PoseCNN 6D姿态估计与抓取
基于视觉与深度学习方法的抓取（下）
Project4：基于GR-ConvNet的物体检测与机械臂抓取
基于模仿学习方法的抓取
Project5：基于Diffusion Policy的物体检测与机械臂抓取
基于强化学习方法的抓取
Project6：基于强化学习的机械臂逆运动学解算与抓取
基于视觉语言动作VLA方法的抓取
Project7：GROOT N1在Libero数据上微调对比
