-
学习时长
10周/建议每周至少6小时
-
答疑服务
专属微信答疑群/讲师助教均参与
-
作业批改
课程配有作业/助教1V1批改
-
课程有效期
一年/告别拖延，温故知新
预约下一期 *课程已报满，可预约下一期
支持花呗分期
*课程已报满，可预约下一期
为什么要学这门课程
具身智能的发展被视为实现通用人工智能的基本途径，它不仅要求智能体在数字空间中表现出智能，还要能够应对物理世界的复杂性和不可预测性。当下，具身智能应用落地依附的本体依然以机械臂为主，涉及到机器人视觉、轨迹规划与控制、抓取等。
本课程主要覆盖机械臂的相关算法，包括视觉、经典的规划控制以及基于深度学习、强化学习的操作与抓取，并逐步延伸到与大模型相结合的具身智能方法，在讲解方法原理的同时，配套了7个Project用于将理论转化为实践应用。
通过这门课程的学习，同学们可以掌握机械臂的主流任务以及主流技术，在具身智能以及人形机器人火热的时代，通过扎实的基础和丰富的实践经验，为自己赢得一席之地。
讲师简介
课程亮点
- 涵盖抓取与操作的技术演变关键节点：传统方法-监督学习-强化学习-大模型
- 算法原理讲解侧重分明，关键算法配套Project实践演练
- 课程内容融合了工业界机器人与具身智能的开发实战经验
课程大纲
- 1-1：【资料】推荐论文合集
- 1-2：开课仪式
- 第1章: 机器人抓取与操作介绍
- 2：【课件】机器人抓取与操作介绍
- 第1节: 课程介绍
- 免费 3：【视频】课程大纲和介绍
- 第2节: 机器人运动规划控制方法介绍
- 免费 4：【视频】机器人运动规划控制方法介绍
- 第3节: 机器人传感器和视觉介绍
- 免费 5：【视频】机器人传感器和视觉介绍
- 第4节: 机器人学习方法介绍
- 免费 6：【视频】机器人学习方法介绍
- 第5节: 实践工具
- 7：【视频】实践工具与总结
- 第6节: Project1：使用 ACT 在 MuJoCo 中训练机械臂完成抓取任务
- 8-1：【文档】作业说明
- 8-2：【作业】Project1：使用 ACT 在 MuJoCo 中训练机械臂完成抓取任务
- 8-3：【文档】作业代码
- 第2章: 经典规划控制方法
- 第1节: 规划算法
- 9：【课件】 经典的规划方法
- 10：【视频】规划算法
- 11：【视频】基于树结构的方法
- 12：【视频】基于图结构的方法
- 13：【视频】规划算法的扩展
- 14：【视频】轨迹生成
- 15：【视频】轨迹优化，插值，样条曲线
- 第2节: 控制算法
- 16：【课件】 控制算法介绍
- 17：【视频】控制算法简介
- 第3节: 抓取方法
- 18：【课件】操作与抓取算法
- 19：【视频】操作与抓取的传统方法
- 第4节: 使用案例
- 20：【课件】机器人应用案例
- 21：【视频】机器人实用案例讨论
- 第5节: Project2：基于RRT算法的 PiPER 机械臂路径规划
- 22-1：【文档】作业说明
- 22-2：【作业】Project2：基于RRT算法的机械臂路径规划
- 22-3：【文档】作业代码
- 第3章: 机器人视觉方法
- 第1节: 传感器和标定介绍
- 第2节: 视觉图像和神经网络+3D感知和点云处理
- 第3节: 3D位姿估计-机器人场景
- 第4节: Project3：PoseCNN 6D姿态估计与抓取
- 第4章: 基于深度学习的抓取
- 第1节: 2D平面抓取
- 第2节: 6DoF Grasping
- 第3节: Other Applications
- 第4节: Project4：基于GR-ConvNet的物体检测与机械臂抓取
- 第5章: 模仿学习方法
- 第1节: Intro and BC
- 第2节: Interactive IL
- 第3节: Inverse RL
- 第4节: IL with Sequence Information
- 第5节: Generative model for IL
- 第6节: Project5：基于Diffusion Policy的物体检测与机械臂抓取
- 第6章: 强化学习方法
- 第1节: 强化学习基础
- 第2节: Value-based方法
- 第3节: 策略学习方法
- 第4节: Actor-Critic方法
- 第5节: 逆强化学习与Offline RL
- 第6节: 其他RL方法与讨论
- 第7节: Project6：基于强化学习的机械臂逆运动学解算与抓取
- 第7章: 具身智能：VLM与VLA模型（3次课）
- 第1节: Introduction
- 第2节: Transformers and Generative Model
- 第3节: ACT & Variants, Diffusion Policy
- 第4节: VLM&LLM for Planning
- 第5节: VLA: RT1, RT2, Octo and OpenVLA
- 第6节: VLA: RDT, Pi0 and Others
- 第7节: Dataset and Benchmark
- 第8节: Others & Summary
- 第9节: Project7：GR00T N1在 Libero 数据上微调对比
- 第8章: 工程经验和总结展望
- 第1节: 总结&展望
实践项目介绍
课程围绕机械臂抓取核心任务，设计了从经典到前沿的7个实践项目，系统掌握操作与抓取技术演进
Project1：使用ACT在MuJoCo中训练机械臂完成抓取任务
Project2：基于RRT算法的PiPER机械臂路径规划
Project3：PoseCNN 6D姿态估计与抓取
Project4：基于GR-ConvNet的物体检测与机械臂抓取
Project5：基于Diffusion Policy的物体检测与机械臂抓取
Project6：基于强化学习的机械臂逆运动学解算与抓取
Project7：GR00T N1在Libero数据上微调对比
课程收获
回顾机器人视觉、运动学、经典规划与控制算法
理解基于Learning的方法在机器人规划控制上的应用
掌握分别基于经典方法、DL&RL方法以及大模型的抓取和操作实现
把握大模型和具身智能的结合方式和应用的发展趋势
这门课适合谁
基础&设备要求
全方位的学习服务
上课流程说明
更多信息，请添加客服咨询
