课程价格 ：
¥899.00
剩余名额
39
-
学习时长
10周/建议每周至少6小时
-
答疑服务
专属微信答疑群/讲师助教均参与
-
作业批改
课程配有作业/助教1V1批改
-
课程有效期
一年/告别拖延，温故知新
为什么要学这门课程
具身智能的发展被视为实现通用人工智能的基本途径，它不仅要求智能体在数字空间中表现出智能，还要能够应对物理世界的复杂性和不可预测性。当下，具身智能应用落地依附的本体依然以机械臂为主，涉及到机器人视觉、轨迹规划与控制、抓取等。
本课程主要覆盖机械臂的相关算法，包括视觉、经典的规划控制以及基于深度学习、强化学习的操作与抓取，并逐步延伸到与大模型相结合的具身智能方法，在讲解方法原理的同时，配套了7个Project用于将理论转化为实践应用。
通过这门课程的学习，同学们可以掌握机械臂的主流任务以及主流技术，在具身智能以及人形机器人火热的时代，通过扎实的基础和丰富的实践经验，为自己赢得一席之地。
讲师简介
敬巍
资深机器人专家
卡耐基梅隆大学博士
敬巍，资深机器人专家，曾作为多个团队的技术负责人就职于网易伏羲，阿里巴巴达摩院和新加坡科研局，成功落地过多个项目和产品。2017年在卡耐基梅隆大学获得博士学位，2010年在南洋理工大学获得学士学位，其主要研究方向为机器人与自动驾驶；在RSS，ICRA，IROS，CORL, RAL，CVPR，ACL，NeurIPS，TPAMI等会议和刊物上发表多篇论文。
课程亮点
- 涵盖抓取与操作的技术演变关键节点：传统方法-监督学习-强化学习-大模型
- 算法原理讲解侧重分明，关键算法配套Project实践演练
- 课程内容融合了工业界机器人与具身智能的开发实战经验
课程大纲
- 1-1：【资料】推荐论文合集
- 1-2：开课仪式
- 第1章: 机器人抓取与操作介绍
- 2：【课件】机器人抓取与操作介绍
- 第1节: 课程介绍
- 免费 3：【视频】课程大纲和介绍
- 第2节: 机器人运动规划控制方法介绍
- 免费 4：【视频】机器人运动规划控制方法介绍
- 第3节: 机器人传感器和视觉介绍
- 免费 5：【视频】机器人传感器和视觉介绍
- 第4节: 机器人学习方法介绍
- 免费 6：【视频】机器人学习方法介绍
- 第5节: 实践工具
- 7：【视频】实践工具与总结
- 第6节: Project1：使用 ACT 在 MuJoCo 中训练机械臂完成抓取任务
- 8-1：【文档】作业说明
- 8-2：【作业】Project1：使用 ACT 在 MuJoCo 中训练机械臂完成抓取任务
- 8-3：【文档】作业代码
- 第2章: 经典规划控制方法
- 第1节: 规划算法
- 第2节: 控制算法
- 第3节: 抓取方法
- 第4节: 使用案例
- 第5节: Project2：基于RRT算法的 PiPER 机械臂路径规划
- 第3章: 机器人视觉方法
- 第1节: 传感器和标定介绍
- 第2节: 视觉图像和神经网络+3D感知和点云处理
- 第3节: 3D位姿估计-机器人场景
- 第4节: Project3：PoseCNN 6D姿态估计与抓取
- 第4章: 基于深度学习的抓取
- 第1节: 2D平面抓取
- 第2节: 6DoF Grasping
- 第3节: Other Applications
- 第4节: Project4：基于GR-ConvNet的物体检测与机械臂抓取
- 第5章: 模仿学习方法
- 第1节: Intro and BC
- 第2节: Interactive IL
- 第3节: Inverse RL
- 第4节: IL with Sequence Information
- 第5节: Generative model for IL
- 第6节: Project5：基于Diffusion Policy的物体检测与机械臂抓取
- 第6章: 强化学习方法
- 第1节: 强化学习基础
- 第2节: Value-based方法
- 第3节: 策略学习方法
- 第4节: Actor-Critic方法
- 第5节: 逆强化学习与Offline RL
- 第6节: 其他RL方法与讨论
- 第7节: Project6：基于强化学习的机械臂逆运动学解算与抓取
- 第7章: 具身智能：VLM与VLA模型（3次课）
- 第1节: Introduction
- 第2节: Transformers and Generative Model
- 第3节: ACT & Variants, Diffusion Policy
- 第4节: VLM&LLM for Planning
- 第5节: VLA: RT1, RT2, Octo and OpenVLA
- 第6节: VLA: RDT, Pi0 and Others
- 第7节: Dataset and Benchmark
- 第8节: Others & Summary
- 第9节: Project7：GR00T N1在 Libero 数据上微调对比
- 第8章: 工程经验和总结展望
- 第1节: 总结&展望
实践项目介绍
课程围绕机械臂抓取核心任务，设计了从经典到前沿的7个实践项目，系统掌握操作与抓取技术演进
环境配置与实验环境搭建
Project1：使用ACT在MuJoCo中训练机械臂完成抓取任务
基于经典规划控制方法的抓取
Project2：基于RRT算法的PiPER机械臂路径规划
基于视觉与深度学习方法的抓取（上）
Project3：PoseCNN 6D姿态估计与抓取
基于视觉与深度学习方法的抓取（下）
Project4：基于GR-ConvNet的物体检测与机械臂抓取
基于模仿学习方法的抓取
Project5：基于Diffusion Policy的物体检测与机械臂抓取
基于强化学习方法的抓取
Project6：基于强化学习的机械臂逆运动学解算与抓取
基于视觉语言动作VLA方法的抓取
Project7：GR00T N1在Libero数据上微调对比
课程收获
回顾机器人视觉、运动学、经典规划与控制算法
理解基于Learning的方法在机器人规划控制上的应用
掌握分别基于经典方法、DL&RL方法以及大模型的抓取和操作实现
把握大模型和具身智能的结合方式和应用的发展趋势
这门课适合谁
有一定机器人算法基础的同学，希望在机器人行业深入发展
经典机器人算法背景，希望将深度学习算法应用于机器人任务的同学
有一定深度学习算法基础的同学，希望往机器人具身智能方向发展的同学
基础&设备要求
编程基础
熟悉Python编程以及PyTorch框架
基础知识
熟悉机器人学基础，了解深度学习与强化学习基本原理
硬件要求
建议3060以上显卡，显存≥8G，不推荐使用50系列显卡
系统要求
Ubuntu 20.04操作系统
全方位的学习服务
作业批改
助教1V1批改作业，定期针对作业中的“通病”进行点评
结业证书
本课程将根据作业完成情况评选结业学员及优秀学员，颁发证书
社群答疑
讲师和助教微信群答疑，及时解决大家遇到的问题
班班督学
班主任全程带班，不定时“关照”未交作业的同学，克服拖延
上课流程说明
进入答疑群，参加开课仪式
每周学习课程，完成作业
助教1V1批改作业、社群内讲评答疑
完成课程，领取证书
— 开启「机器人抓取与操作」的学习之旅吧 —
开启学习之旅吧
Q1
学习形式是什么样的?
A：为了保证学习效果，本门课程采取录播的形式，每周解锁一章。建议同学们登录深蓝学院PC端官网，体验更佳!
Q2
课程有有效期吗？
A：为了督促同学们学习，保证学习效率，学院的课程有效期均为一年，当课程有效期截止后将不再支持观看视频、下载课件等课程服务及操作。若同学们依旧想观看视频和下载课件，建议可选择续费本课程。需要提醒大家的是，课程答疑、作业批改&讲评等课程相关服务仅限开课仪式至结课仪式期间。
Q3
作业会提供参考答案吗？
A：课程不提供参考答案。每章作业截止提交后，会组织作业讲解。我们倾向于引导大家培养独立思考的习惯与敢于动手实践的勇气，以便于更快适应实际工作中解决问题的模式。做作业过程中，如果有任何困惑和问题，可以在答疑群中提问解决。
Q4
如果不满意，可以退款吗？
A：我们承诺：开班后7天内可以无条件全额退款。课好不好，学了就知道了！
更多信息，请添加客服咨询
添加时请备注关键词『机器人抓取』
