三维点云处理
全面讲解三维点云经典算法与深度学习前沿算法
手写经典的点云处理算法，不依赖PCL等第三方库
总监级工程师主讲，算法与落地经验融合输出
讲师：黎嘉信
对课程有疑问？ 点击视频立即观看课程介绍！
课程服务
至少3个月
作业批改
助教1v1批改
课程有效期
365天
学习时长
10周
您已经是《三维点云处理》-学员，是否购买最新一期？
课程持续10周 · 每周建议学习8小时
- 本课程包括：
- 3个月群内答疑，讲师助教及时解答
- 课程有效期为1年，建议合理规划学习
- 课程配有作业练习，助教一对一批改
- 班主任带班，严格督学，告别拖延
- 根据学习情况颁发结业证书、优秀学员证书
黎嘉信
高仙机器人深度学习与融合感知负责人。2014年清华大学本科毕业，2018年新加坡国立大学博士毕业，师从陈本美教授和Lee Gim Hee教授。此前历任Motional感知科学家和夜间驾驶负责人、字节跳动Al Lab视觉科学家。以第一作者发表多篇计算机视觉/机器人顶级会议论文，包括CVPR、ICCV、ICRA、IROS等。
从技术角度看，在三维重建、SLAM、机器人感知等多个领域，三维点云都是最简单最普遍的表达方式。应用角度上，从无人驾驶中的激光雷达到微软Kinect、iPhoneFacelD及AR/VR应用，都需要基于点云的数据处理。三维点云技术应用广，需求庞大，但技术难度高，更难找到系统学习三维点云的资料，自学要多走很多弯路。通过课程学习，能够高效入门，系统学习点云多种算法。
课程目标
O1 点云处理算法原理与细节
深入理解各种经典点云处理算法，比如KD-Tree，Octree等最近邻搜索算法，GMM，Spectral Clustering等点云聚类算法，Mean Shift，RANSAC等模型拟合算法。Pointnet系列深度学习方法等。从最基础公式出发，详解算法实现各个步骤。
O2 点云处理算法实践及应用
在真实数据集中应用自己复现的算法，对于算法各个部分理解更加深入。根据可视化结果调整算法参数，优化算法结果，并增强自己的实践能力。
O3 工程项目思维与能力
对三维点云领域有全方位的认知，了解三维感知的各种问题及方案思路。了解各种算法的应用场景和实际效果，能够在不同的应用场景挑选不同的适配方案。
课程脉络
-
01
1
首先从点云数据的概念出发，将数据处理分成多个模块，包括最近邻算法，点云聚类，模型拟合，目标检测等，不仅详细推导了每个公式，并且分析了算法思路。
-
02
2
点云学习因其在计算机视觉、自动驾驶、机器人等领域的广泛应用而受到越来越多的关注。课程将探讨用深度神经网络处理点云的方法，摸清近几年的发展脉络，捋清发展方向。
-
03
3
课程设计了以具体项目为背景的大作业，在对前几章算法理解并掌握的基础上，加入自己的算法思维，完成点云目标检测任务，在公开数据集上进行测评，进一步强化项目能力。
课程大纲
-
第1章：Introduction and Basic Algorithms
本节课作为点云处理课程的起始，简单介绍了点云数据的特性。从数据特性出发，讲解了PCA算法在点云处理中的算法原理和实际应用，还介绍了其他演变算法。
-
第2章：Nearest Neighbor Problem
熟悉点云数据之后，进一步研究最近邻问题。从最基础的二叉树结构开始讲解，讲述了最近邻算法的基础框架，之后拓宽到KD-Tree和Octree结构，让学生全面了解最近邻算法的处理思路和实现细节。
-
第3章：Clustering
基于前一章的内容，系统讲解了各种经典点云聚类算法。从基础公式推导讲起，详细讲述了各种点云聚类算法的实现思路和详细流程。根据算法的理论内核，分类讲解算法内容，帮助学生理解算法间的区别与联系。
-
第4章：Model Fitting
讲解了一些适用性更广泛的聚类算法，比如谱聚类、Mean Shift以及DBSCAN，之后由点云聚类思想引出模型拟合的概念，探讨了非常经典的霍夫变换以及RANSAC算法理念，将RANSAC理念应用在地平面分割上，让学生进行实际数据的操作和调试。
项目实践
-
实践一：主成分变换与降采样
使用Python语言，实现主成分变换和法向量估计，以及基于 Voxel的降采样方法。感受从0到1的创造乐趣。
-
实践二：KD-Tree/Octree建树与搜索
基于Python，手动实现KD-Tree/Octree建树与搜索，并进行耗时对比。理解最近邻搜索对于点云应用的重要性与实时搜索的难度。
-
实践三：Kmeans/GMM/谱聚类
此次，我们将从零实现Kmeans/GMM/谱聚类方法，并使用 Sklearn生成的聚类测试数据集进行测试，可视化聚类结果。对比不同聚类方法对不同数据的适用性。
-
实践四：地面拟合与聚类
在本次实践中，将学会使用LSQ/Hough/RANSAC模型拟合方法，对KITTI 3D目标检测数据进行地面拟合，并将地面以外的障碍物点云进行聚类。地面去除与聚类是后续3D目标检测的重要前置步骤。
-
实践五：从零搭建PointNet
基于Pytorch从头实现PointNet网络。并利用PointNet++处理好的ModelNet40数据集，辅以相关数据增广预处理进行训练。本章实践有助于进一步理解端到端点云分类方法基本内涵。
-
实践六：目标检测
基于实践3、4、5，给出3D目标分类与Bounding Box，并使用KITTI目标检测精度评价工具对3D目标检测结果进行评估，报告Precision-Recall Curve。
-
实践七：实现ISS关键点检测
动手实现Intrinsic Shape Signatures(ISS)算法，并使用 ModelNet40数据集进行测试。
-
实践八：实现FPFH，SHOT特征描述子
使用PCL库或者自己实现实现FPFH，SHOT特征描述子。使用 ModelNet40数据集进行测试。关键点检测与特征描述子是基于特征点云匹配的基础。
-
实践九：点云配准
在本节实践中，你可以从零实现一种基于特征的匹配方法(包括关键点检测和特征描述)，也可以调用现有的API。此外，你还将需要从零实现ICP/NDT配准方法，以便理解点云配准的一般流程。
学习收获
- 1对三维点云这一领域有全方位的认知，了解三维感知的各种问题及解决方案。
- 2深入理解各个经典点云算法，比如Octree，GMM，Spectral Clustering，PointNet++ ICP，NDT等，并且在真实数据集上实现、应用这些算法。
- 3涉猎前沿的感知(Perception)方向的深度学习算法，比如物体检测、特征提取，点云配准等，了解学术界的热点问题及发展趋势。
- 4了解实际应用中各种算法的优势及局限，对于具体问题如何选择合适的算法，以及如何修改算法应对长尾/边缘问题(longtail/edgecases)。
- 课程适合谁学习
- 希望入门三维视觉、感知方向的同学
- 从事机器人、三维视觉领域工作的工程师，希望了解更多点云算法的实际应用
- 相关方向的科研人员，希望了解前沿研究的进展及方向
- 课程所需的基础知识
- Python编程基础
- 深度学习基础知识及PyTorch的基本用法，最好具备用于网络训练及推理的GPU
- 线性代数基础知识，了解基本的优化算法
全方位的学习服务
个性化增值服务，学习有保障更高效
-
作业批改
作业批改 助教1V1批改作业，定期针对作业中的“通病”进行点评
-
结业证书
结业证书 本课程将根据作业完成情况评选结业学员及优秀学员，颁发证书
-
实时答疑
实时答疑 讲师助教微信群答疑，及时解决大家遇到的问题
-
班班督学
班班督学 班主任全程带班，不定时“关照”未交作业的同学，克服拖延
- 1：【开课仪式】
- 2-1：【视频】如何获得免费的GPU服务器资源
- 2-2：【文档】点云作业要求
-
第1章: Introduction and Basic Algorithms 5节课程2篇阅读材料·1次作业·2小时21分钟
本节课作为点云处理课程的起始，简单介绍了点云数据的特性。从数据特性出发，讲解了PCA算法在点云处理中的算法原理和实际应用，还介绍了其他演变算法。
-
第1节: Introduction of 3D Point Cloud
- 3-1：【课件】PointCloudLecture1
- 3-2：【视频】本章知识点的实际应用
-
第2节: Course outline and prerequisite
- 4：【视频】introduction
-
第3节: PCA and Kernel PCA
- 5-1：【视频】PCA
- 5-2：【视频】kernal PCA
-
第4节: Surface normal on surface
- 6：【视频】surface normal and filters
-
第5节: Project
- 7-1：【资料】说明文档
- 7-2：【数据集】Modelnet40
- 7-3：【作业】第一章
- 7-4：第一章作业思路提示
- 7-5：面试题汇总
-
第2章: Nearest Neighbor Problem 5节课程2篇阅读材料·1次作业·1小时52分钟
熟悉点云数据之后，进一步研究最近邻问题。从最基础的二叉树结构开始讲解，讲述了最近邻算法的基础框架，之后拓宽到KD-Tree和Octree结构，让学生全面了解最近邻算法的处理思路和实现细节。
-
第1节: Nearest Neighbor (NN) Problem
- 8-1：【课件】Lecture2
- 8-2：【视频】本章知识点的实际应用
-
第2节: Binary Search Tree(BST)
- 9：【视频】Binary Search Tree
-
第3节: KD-Tree
- 10：【视频】KD-tree
-
第4节: Octree
- 11：【视频】OCtree
-
第5节: homework：practice
- 12-1：面试题汇总
- 12-2：【作业】第二章
- 12-3：第二章作业思路提示
-
第3章: Clustering 7节课程2篇阅读材料·1次作业·2小时24分钟
基于前一章的内容，系统讲解了各种经典点云聚类算法。从基础公式推导讲起，详细讲述了各种点云聚类算法的实现思路和详细流程。根据算法的理论内核，分类讲解算法内容，帮助学生理解算法间的区别与联系。
-
第1节: Introduction Clustering
- 13-1：【课件】PointCloudLecture3Clustering
- 13-2：【视频】本章知识点的实际应用
-
第2节: Math prerequisite
- 14：【视频】math prerequisite
-
第3节: K-Means
- 15：【视频】K-means
-
第4节: Gaussian Mixture Model (GMM)
- 16：【视频】GMM
-
第5节: Expectation-Maximization (EM)
- 17：【视频】EM
-
第6节: Spectral Clustering
- 18：【视频】Spectral Clustering
-
第7节: homework：practice
- 19-1：面试题汇总
- 19-2：【作业】第三章
- 19-3：第三章作业思路提示
-
第4章: Model Fitting 8节课程2篇阅读材料·1次作业·2小时32分钟
讲解了一些适用性更广泛的聚类算法，比如谱聚类、Mean Shift以及DBSCAN，之后由点云聚类思想引出模型拟合的概念，探讨了非常经典的霍夫变换以及RANSAC算法理念，将RANSAC理念应用在地平面分割上，让学生进行实际数据的操作和调试。
-
第1节: 为什么讲解这些知识点
- 20：【视频】本章知识点的实际应用
-
第2节: Lecture Slides
- 21：【课件】三维点云第四章课件
-
第3节: Spectral Clustering
- 22：【视频】Spectral Clustering
-
第4节: meanshift & dbscan
- 23：【视频】meansh & dbscan
-
第5节: Robust Least Square
- 24：【视频】least_square
-
第6节: Hough Transform
- 25：【视频】hough_transform
-
第7节: RANSAC
- 26：【视频】ransac
-
第8节: homework：practice
- 27-1：面试题汇总
- 27-2：【作业】第四章
- 27-3：第四章作业思路提示
-
第5章: Deep Learning on Point Cloud 7节课程1篇阅读材料·1次作业·3小时32分钟
深度学习在点云上的应用越来越广泛，本节课以点云深度学习的发展脉络为导向，从Pointnet讲起，让学生深入了解深度学习在点云处理中的应用理念。
-
第1节: 为什么讲解这些知识点
- 28：【视频】本章知识点的实际应用
-
第2节: Lecture Slides
- 29：【课件】DeepLearningwithPointClouds.pdf
-
第3节: Introduction to Deep Learning
- 30：【视频】introduction to Deep learning
-
第4节: PointNet & PointNet++
- 31-1：【视频】PointNet
- 31-2：【视频】PointNet++
-
第5节: GCN
- 32-1：【课件】Lecture5-Supplementary.pdf
- 32-2：【视频】DGCNN
- 32-3：【视频】GCN
-
第6节: Supplementary
- 33：【视频】some comments on deep learning
-
第7节: homework：practice
- 34-1：【代码框架】framework
- 34-2：【作业】第五章
- 34-3：第五章作业思路提示
-
第6章: 3D Object Detection 7节课程2篇阅读材料·1次作业·2小时55分钟
基于前一节课的内容，讲解了三维目标检测的发展脉络和发展方向。探究了各种深度学习模型的特性和算法优势，深入浅出的剖析了各种方法的出发点和创新点。
-
第1节: 为什么讲解这些知识点
- 35：【视频】本章知识点的实际应用
-
第2节: Introduction
- 36-1：【课件】Point Cloud Lecture 6
- 36-2：【视频】introduction
-
第3节: Image based object detection - RCNN, FastRCNN, FasterRCNN, SSD
- 37：【视频】Image based object detection
-
第4节: VoxelNet, PointPillars
- 38：【视频】Voxelnet&Pointpillar
-
第5节: PointRCNN
- 39：【视频】PointRCNN
-
第6节: Image and Point Cloud fusion - Frustum PointNet, PointPainting
- 40：【视频】fusion
-
第7节: homework：practice
- 41-1：面试题汇总
- 41-2：【作业】第六章
- 41-3：第六章作业思路提示
-
第7章: 3D Feature Detection 7节课程1篇阅读材料·1次作业·2小时8分钟
点云处理算法一定绕不开特征点提取部分，本节课以图像特征提取为出发点，讲解点云特征点检测方法，并分析了相关案例，增强算法理解。
-
第1节: 为什么讲解这些知识点
- 42：【视频】L7&8 为什么要讲本章节知识点
-
第2节: Introduction & harris 2d
- 43-1：【课件】Point Cloud Lecture7
- 43-2：【视频】introduction & harris 2d
-
第3节: harris 3d & 6d
- 44：【视频】harris 3d & 6d
-
第4节: Intrinsic Shape Signatures (ISS)
- 45：【视频】ISS
-
第5节: Deep learning 3D features - USIP
- 46：【视频】USIP
-
第6节: SO-Net
- 47：【视频】SO-Net
-
第7节: homework：practice
- 48-1：【作业】第七章
- 48-2：第七章作业思路提示
-
第8章: 3D Feature Description 5节课程1篇阅读材料·1次作业·2小时27分钟
从特征检测方法拓展到特征描述子的计算方法，从传统算法的思想内核，到深度学习方法的实现效果，让学生理解特征描述的思想和思路，方便学生进一步学习配准算法。
-
第1节: PFH & FPFH
- 49-1：【课件】Point Cloud Lecture 8
- 49-2：【视频】Classical method-PFH & FPFH
-
第2节: SHOT
- 50：【视频】Classical method-SHOT
-
第3节: 3DMatch & Perfect Match
- 51：【视频】3DMatch & Perfect Match
-
第4节: PPFNet & PPF-FoldNet
- 52：【视频】PPFNet & PPF-FoldNet
-
第5节: homework：practice
- 53-1：【作业】第八章
- 53-2：第八章作业思路提示
-
第9章: Registration 6节课程2篇阅读材料·1次作业·2小时21分钟
融合前几节课的精华，引出点云配准算法。将算法框架模块化，易于学生理解掌握，从零实现一种基于特征的匹配方法，掌握点云配准的一般流程。
-
第1节: 为什么讲解这些知识点
- 54：【视频】本章知识点的实际应用
-
第2节: Lecture Slides
- 55-1：【课件】Point Cloud Lecture9
- 55-2：【视频】ICP part I
-
第3节: Iterative Closest Point (ICP)
- 56：【视频】ICP part 2
-
第4节: Normal Distribution Transform (NDT)
- 57：【视频】NDT
-
第5节: Registration by RANSAC with feature detection, description, matching
- 58：【视频】RANSAC Registration
-
第6节: homework：practice
- 59-1：面试题汇总
- 59-2：【作业】第九章
- 59-3：第九章作业思路提示
- 第10章: Project 1节课程1篇阅读材料·1次作业
-
第1节: Final Project
- 60-1：【作业】Final Project
- 60-2：大作业思路提示
课程讨论区
已累计讨论26495个问题
课程配备专属讨论区，不仅有讲师、助教全程答疑，更能与同学们交流讨论，在思维碰撞中加深理解
在课程中随想随问，同学们的问题也可能启发到你
在课程讨论区，和684位同学一起探讨更多问题···
作业批改
已累计批改4951份作业
助教一对一批改作业，定期针对作业中的问题进行评讲
结业证书
课程根据作业完成情况评选结业学员及优秀学员，颁发证书
优秀学员更能获得额外购课优惠
班班督学
班班、助教、讲师全程带班，日常答疑解惑
FAQ
1、课程可以试听吗？
可以，您可以联系客服领取试听内容，根据试听的效果决定是否报名。
2、报名课程后，如果不满意，可以退款吗？
我们承诺: 报名后7天内且学习进度停留在第一章节的内容可以无条件全额退款，若您的学习进度超过第一章或报名时间超过7天将不再支持退款哦。课好不好，学了就知道了!（2023年6月16日前报名的用户统一视为2023年6月16日完成报名）
3、报名课程的费用可以开发票吗？
深蓝学院所有课程都可以开具发票。您可以登录深蓝学院官网（https://www.shenlanxueyuan.com），进入个人“账户中心”，在线申请。
4、报名后怎么开始学习呢？
PC端：登录深蓝学院官网（https://www.shenlanxueyuan.com），进入“个人中心”或“我的课程” 的课程即可开始学习。课程中包含讲师讲解的视频、课件、代码、作业及其它学习资料。建议在PC端学习体验更好。
如果想缓存视频，可下载深蓝学院APP。
5、可以跟讲师直接交流吗？
报名课程后添加课程对应的班主任微信，由其邀请加入微信答疑群。在答疑群内，您可以直接跟讲师和其他同学讨论交流。
报名后在对应的课程详情页，可查看对应的班主任微信。
6、学习形式和学习周期是怎样的？
为保证学习质量方便同学们反复观看，本课程采用录播形式。建议同学们登录深蓝学院PC端官网体验更佳。
7、课程有有效期吗？
为了督促同学们学习，保证学习效率，学院的课程有效期均为一年，当课程有效期截止后将不再支持观看视频、下载课件等课程服务及操作。若同学们依旧想观看视频和下载课件，建议可选择续费本课程。需要提醒大家的是，课程答疑、作业批改&讲评等课程相关服务仅限开课仪式至结课仪式期间。
8、作业会提供参考答案吗？
不提供参考答案。当每章作业截止提交后，会解锁作业思路讲解。我们希望引导大家培养独立思考的习惯和敢于动手实践的勇气，以便尽快适应实际工作中解决问题的模式。做作业过程中，如果有任何困惑和问题，可以在课程讨论区和交流群内提问解决。
其他问题请咨询客服
添加客服，了解课程信息！
课程预览
三维点云处理
