精品课

三维点云处理

全面讲解三维点云经典算法与深度学习前沿算法

手写经典的点云处理算法,不依赖PCL等第三方库

总监级工程师主讲,算法与落地经验融合输出

  • 讲师:黎嘉信

 对课程有疑问? 点击视频立即观看课程介绍!

课程服务

至少3个月

作业批改

助教1v1批改

课程有效期

365天

课程时长

23 h

¥999.00

更多信息添加客服书哲咨询,请备注【三维点云】
请确认
X
三维点云处理 您已经是《三维点云处理》-学员,是否购买最新一期?

i提示:

1. 您的《三维点云处理》-暂未到期,可直接学习

2. 针对以上信息如有问题,您可联系工作人员进行咨询

购买最新一期
课程介绍 课程大纲 学习服务 售前疑问
¥999.00

课程持续23周 · 每周建议学习8小时

本课程包括:
3个月群内答疑,讲师助教及时解答
课程有效期为1年,建议合理规划学习
课程配有作业练习,助教一对一批改
班主任带班,严格督学,告别拖延
根据学习情况颁发结业证书、优秀学员证书

黎嘉信

高仙机器人深度学习与融合感知负责人。2014年清华大学本科毕业,2018年新加坡国立大学博士毕业,师从陈本美教授和Lee Gim Hee教授。此前历任Motional感知科学家和夜间驾驶负责人、字节跳动Al Lab视觉科学家。以第一作者发表多篇计算机视觉/机器人顶级会议论文,包括CVPR、ICCV、ICRA、IROS等。

从技术角度看,在三维重建、SLAM、机器人感知等多个领域,三维点云都是最简单最普遍的表达方式。应用角度上,从无人驾驶中的激光雷达到微软Kinect、iPhoneFacelD及AR/VR应用,都需要基于点云的数据处理。三维点云技术应用广,需求庞大,但技术难度高,更难找到系统学习三维点云的资料,自学要多走很多弯路。通过课程学习,能够高效入门,系统学习点云多种算法。

课程目标

从零开始掌握三维点云算法与项目应用,聚焦算法细节,提升工程能力
3D视觉领域目前正蓬勃发展,针对原始三维点云数据的处理成为新的研究热点。其理论体系错综复杂,系统性强,且涉及多种领域,这更加增大了自学难度。课程通过抽丝剥茧的讲解形式,从原始理论出发,详细的讲解了算法实践中最常用的三维点云数据处理方法,打通知识间的关联,让学员易于融会贯通,在工程实践中完成点云处理算法的提高。

O1 点云处理算法原理与细节

深入理解各种经典点云处理算法,比如KD-Tree,Octree等最近邻搜索算法,GMM,Spectral Clustering等点云聚类算法,Mean Shift,RANSAC等模型拟合算法。Pointnet系列深度学习方法等。从最基础公式出发,详解算法实现各个步骤。

O2 点云处理算法实践及应用

在真实数据集中应用自己复现的算法,对于算法各个部分理解更加深入。根据可视化结果调整算法参数,优化算法结果,并增强自己的实践能力。

O3 工程项目思维与能力

对三维点云领域有全方位的认知,了解三维感知的各种问题及方案思路。了解各种算法的应用场景和实际效果,能够在不同的应用场景挑选不同的适配方案。

课程脉络

从公式推导到思路解析,从理论分析到代码实践
  • 01 1

    首先从点云数据的概念出发,将数据处理分成多个模块,包括最近邻算法,点云聚类,模型拟合,目标检测等,不仅详细推导了每个公式,并且分析了算法思路。

  • 02 2

    点云学习因其在计算机视觉、自动驾驶、机器人等领域的广泛应用而受到越来越多的关注。课程将探讨用深度神经网络处理点云的方法,摸清近几年的发展脉络,捋清发展方向。

  • 03 3

    课程设计了以具体项目为背景的大作业,在对前几章算法理解并掌握的基础上,加入自己的算法思维,完成点云目标检测任务,在公开数据集上进行测评,进一步强化项目能力。

课程大纲

  • 第1章:Introduction and Basic Algorithms

    本节课作为点云处理课程的起始,简单介绍了点云数据的特性。从数据特性出发,讲解了PCA算法在点云处理中的算法原理和实际应用,还介绍了其他演变算法。

  • 第2章:Nearest Neighbor Problem

    熟悉点云数据之后,进一步研究最近邻问题。从最基础的二叉树结构开始讲解,讲述了最近邻算法的基础框架,之后拓宽到KD-Tree和Octree结构,让学生全面了解最近邻算法的处理思路和实现细节。

  • 第3章:Clustering

    基于前一章的内容,系统讲解了各种经典点云聚类算法。从基础公式推导讲起,详细讲述了各种点云聚类算法的实现思路和详细流程。根据算法的理论内核,分类讲解算法内容,帮助学生理解算法间的区别与联系。

  • 第4章:Model Fitting

    讲解了一些适用性更广泛的聚类算法,比如谱聚类、Mean Shift以及DBSCAN,之后由点云聚类思想引出模型拟合的概念,探讨了非常经典的霍夫变换以及RANSAC算法理念,将RANSAC理念应用在地平面分割上,让学生进行实际数据的操作和调试。

点击此处查看完整目录

项目实践

配备多个实践项目,在实战中掌握所学并积累经验
  • 实践一:主成分变换与降采样

    使用Python语言,实现主成分变换和法向量估计,以及基于 Voxel的降采样方法。感受从0到1的创造乐趣。

  • 实践二:KD-Tree/Octree建树与搜索

    基于Python,手动实现KD-Tree/Octree建树与搜索,并进行耗时对比。理解最近邻搜索对于点云应用的重要性与实时搜索的难度。

  • 实践三:Kmeans/GMM/谱聚类

    此次,我们将从零实现Kmeans/GMM/谱聚类方法,并使用 Sklearn生成的聚类测试数据集进行测试,可视化聚类结果。对比不同聚类方法对不同数据的适用性。

  • 实践四:地面拟合与聚类

    在本次实践中,将学会使用LSQ/Hough/RANSAC模型拟合方法,对KITTI 3D目标检测数据进行地面拟合,并将地面以外的障碍物点云进行聚类。地面去除与聚类是后续3D目标检测的重要前置步骤。

  • 实践五:从零搭建PointNet

    基于Pytorch从头实现PointNet网络。并利用PointNet++处理好的ModelNet40数据集,辅以相关数据增广预处理进行训练。本章实践有助于进一步理解端到端点云分类方法基本内涵。


  • 实践六:目标检测

    基于实践3、4、5,给出3D目标分类与Bounding Box,并使用KITTI目标检测精度评价工具对3D目标检测结果进行评估,报告Precision-Recall Curve。

  • 实践七:实现ISS关键点检测

    动手实现Intrinsic Shape Signatures(ISS)算法,并使用 ModelNet40数据集进行测试。

  • 实践八:实现FPFH,SHOT特征描述子

    使用PCL库或者自己实现实现FPFH,SHOT特征描述子。使用 ModelNet40数据集进行测试。关键点检测与特征描述子是基于特征点云匹配的基础。

  • 实践九:点云配准

    在本节实践中,你可以从零实现一种基于特征的匹配方法(包括关键点检测和特征描述),也可以调用现有的API。此外,你还将需要从零实现ICP/NDT配准方法,以便理解点云配准的一般流程。

学习收获

  • 1对三维点云这一领域有全方位的认知,了解三维感知的各种问题及解决方案。
  • 2深入理解各个经典点云算法,比如Octree,GMM,Spectral Clustering,PointNet++  ICP,NDT等,并且在真实数据集上实现、应用这些算法。
  • 3涉猎前沿的感知(Perception)方向的深度学习算法,比如物体检测、特征提取,点云配准等,了解学术界的热点问题及发展趋势。
  • 4了解实际应用中各种算法的优势及局限,对于具体问题如何选择合适的算法,以及如何修改算法应对长尾/边缘问题(longtail/edgecases)。
课程适合谁学习
希望入门三维视觉、感知方向的同学
从事机器人、三维视觉领域工作的工程师,希望了解更多点云算法的实际应用
相关方向的科研人员,希望了解前沿研究的进展及方向
课程所需的基础知识
Python编程基础
深度学习基础知识及PyTorch的基本用法,最好具备用于网络训练及推理的GPU
线性代数基础知识,了解基本的优化算法

全方位的学习服务

个性化增值服务,学习有保障更高效

  • 作业批改

    作业批改 助教1V1批改作业,定期针对作业中的“通病”进行点评

  • 结业证书

    结业证书 本课程将根据作业完成情况评选结业学员及优秀学员,颁发证书

  • 实时答疑

    实时答疑 讲师助教微信群答疑,及时解决大家遇到的问题

  • 班班督学

    班班督学 班主任全程带班,不定时“关照”未交作业的同学,克服拖延

课程相关问题请咨询客服

添加客服,了解课程信息!

点击查看
课程大纲
点击了解
学习服务
  • 1:【开课仪式】
  • 8分钟 2-1:【视频】如何获得免费的GPU服务器资源
  • 2-2:【文档】点云作业要求
  • 第1章: Introduction and Basic Algorithms 5节课程2篇阅读材料·1次作业·2小时21分钟

    本节课作为点云处理课程的起始,简单介绍了点云数据的特性。从数据特性出发,讲解了PCA算法在点云处理中的算法原理和实际应用,还介绍了其他演变算法。

  • 第1节: Introduction of 3D Point Cloud

  • 3-1:【课件】PointCloudLecture1
  • 2分钟 3-2:【视频】本章知识点的实际应用
  • 第2节: Course outline and prerequisite

  • 15分钟 4:【视频】introduction
  • 第3节: PCA and Kernel PCA

  • 25分钟 5-1:【视频】PCA
  • 21分钟 5-2:【视频】kernal PCA
  • 第4节: Surface normal on surface

  • 1小时16分钟 6:【视频】surface normal and filters
  • 第5节: Project

  • 7-1:【资料】说明文档
  • 7-2:【数据集】Modelnet40
  • 7-3:【作业】第一章
  • 7-4:第一章作业思路提示
  • 7-5:面试题汇总
  • 第2章: Nearest Neighbor Problem 5节课程2篇阅读材料·1次作业·1小时52分钟

    熟悉点云数据之后,进一步研究最近邻问题。从最基础的二叉树结构开始讲解,讲述了最近邻算法的基础框架,之后拓宽到KD-Tree和Octree结构,让学生全面了解最近邻算法的处理思路和实现细节。

  • 第1节: Nearest Neighbor (NN) Problem

  • 8-1:【课件】Lecture2
  • 0小时0分钟 8-2:【视频】本章知识点的实际应用
  • 第2节: Binary Search Tree(BST)

  • 49分钟 9:【视频】Binary Search Tree
  • 第3节: KD-Tree

  • 32分钟 10:【视频】KD-tree
  • 第4节: Octree

  • 29分钟 11:【视频】OCtree
  • 第5节: homework:practice

  • 12-1:面试题汇总
  • 12-2:【作业】第二章
  • 12-3:第二章作业思路提示
  • 第3章: Clustering 7节课程2篇阅读材料·1次作业·2小时24分钟

    基于前一章的内容,系统讲解了各种经典点云聚类算法。从基础公式推导讲起,详细讲述了各种点云聚类算法的实现思路和详细流程。根据算法的理论内核,分类讲解算法内容,帮助学生理解算法间的区别与联系。

  • 第1节: Introduction Clustering

  • 13-1:【课件】PointCloudLecture3Clustering
  • 1分钟 13-2:【视频】本章知识点的实际应用
  • 第2节: Math prerequisite

  • 22分钟 14:【视频】math prerequisite
  • 第3节: K-Means

  • 28分钟 15:【视频】K-means
  • 第4节: Gaussian Mixture Model (GMM)

  • 39分钟 16:【视频】GMM
  • 第5节: Expectation-Maximization (EM)

  • 28分钟 17:【视频】EM
  • 第6节: Spectral Clustering

  • 25分钟 18:【视频】Spectral Clustering
  • 第7节: homework:practice

  • 19-1:面试题汇总
  • 19-2:【作业】第三章
  • 19-3:第三章作业思路提示
  • 第4章: Model Fitting 8节课程2篇阅读材料·1次作业·2小时32分钟

    讲解了一些适用性更广泛的聚类算法,比如谱聚类、Mean Shift以及DBSCAN,之后由点云聚类思想引出模型拟合的概念,探讨了非常经典的霍夫变换以及RANSAC算法理念,将RANSAC理念应用在地平面分割上,让学生进行实际数据的操作和调试。

  • 第1节: 为什么讲解这些知识点

  • 0小时0分钟 20:【视频】本章知识点的实际应用
  • 第2节: Lecture Slides

  • 21:【课件】三维点云第四章课件
  • 第3节: Spectral Clustering

  • 1小时14分钟 22:【视频】Spectral Clustering
  • 第4节: meanshift & dbscan

  • 25分钟 23:【视频】meansh & dbscan
  • 第5节: Robust Least Square

  • 13分钟 24:【视频】least_square
  • 第6节: Hough Transform

  • 15分钟 25:【视频】hough_transform
  • 第7节: RANSAC

  • 23分钟 26:【视频】ransac
  • 第8节: homework:practice

  • 27-1:面试题汇总
  • 27-2:【作业】第四章
  • 27-3:第四章作业思路提示
  • 第5章: Deep Learning on Point Cloud 7节课程1篇阅读材料·1次作业·3小时32分钟

    深度学习在点云上的应用越来越广泛,本节课以点云深度学习的发展脉络为导向,从Pointnet讲起,让学生深入了解深度学习在点云处理中的应用理念。

  • 第1节: 为什么讲解这些知识点

  • 1分钟 28:【视频】本章知识点的实际应用
  • 第2节: Lecture Slides

  • 29:【课件】DeepLearningwithPointClouds.pdf
  • 第3节: Introduction to Deep Learning

  • 1小时1分钟 30:【视频】introduction to Deep learning
  • 第4节: PointNet & PointNet++

  • 47分钟 31-1:【视频】PointNet
  • 30分钟 31-2:【视频】PointNet++
  • 第5节: GCN

  • 32-1:【课件】Lecture5-Supplementary.pdf
  • 38分钟 32-2:【视频】DGCNN
  • 20分钟 32-3:【视频】GCN
  • 第6节: Supplementary

  • 13分钟 33:【视频】some comments on deep learning
  • 第7节: homework:practice

  • 34-1:【代码框架】framework
  • 34-2:【作业】第五章
  • 34-3:第五章作业思路提示
  • 第6章: 3D Object Detection 7节课程2篇阅读材料·1次作业·2小时55分钟

    基于前一节课的内容,讲解了三维目标检测的发展脉络和发展方向。探究了各种深度学习模型的特性和算法优势,深入浅出的剖析了各种方法的出发点和创新点。

  • 第1节: 为什么讲解这些知识点

  • 2分钟 35:【视频】本章知识点的实际应用
  • 第2节: Introduction

  • 36-1:【课件】Point Cloud Lecture 6
  • 35分钟 36-2:【视频】introduction
  • 第3节: Image based object detection - RCNN, FastRCNN, FasterRCNN, SSD

  • 52分钟 37:【视频】Image based object detection
  • 第4节: VoxelNet, PointPillars

  • 46分钟 38:【视频】Voxelnet&Pointpillar
  • 第5节: PointRCNN

  • 20分钟 39:【视频】PointRCNN
  • 第6节: Image and Point Cloud fusion - Frustum PointNet, PointPainting

  • 19分钟 40:【视频】fusion
  • 第7节: homework:practice

  • 41-1:面试题汇总
  • 41-2:【作业】第六章
  • 41-3:第六章作业思路提示
  • 第7章: 3D Feature Detection 7节课程1篇阅读材料·1次作业·2小时8分钟

    点云处理算法一定绕不开特征点提取部分,本节课以图像特征提取为出发点,讲解点云特征点检测方法,并分析了相关案例,增强算法理解。

  • 第1节: 为什么讲解这些知识点

  • 3分钟 42:【视频】L7&8 为什么要讲本章节知识点
  • 第2节: Introduction & harris 2d

  • 43-1:【课件】Point Cloud Lecture7
  • 34分钟 43-2:【视频】introduction & harris 2d
  • 第3节: harris 3d & 6d

  • 26分钟 44:【视频】harris 3d & 6d
  • 第4节: Intrinsic Shape Signatures (ISS)

  • 7分钟 45:【视频】ISS
  • 第5节: Deep learning 3D features - USIP

  • 38分钟 46:【视频】USIP
  • 第6节: SO-Net

  • 17分钟 47:【视频】SO-Net
  • 第7节: homework:practice

  • 48-1:【作业】第七章
  • 48-2:第七章作业思路提示
  • 第8章: 3D Feature Description 5节课程1篇阅读材料·1次作业·2小时27分钟

    从特征检测方法拓展到特征描述子的计算方法,从传统算法的思想内核,到深度学习方法的实现效果,让学生理解特征描述的思想和思路,方便学生进一步学习配准算法。

  • 第1节: PFH & FPFH

  • 49-1:【课件】Point Cloud Lecture 8
  • 36分钟 49-2:【视频】Classical method-PFH & FPFH
  • 第2节: SHOT

  • 27分钟 50:【视频】Classical method-SHOT
  • 第3节: 3DMatch & Perfect Match

  • 44分钟 51:【视频】3DMatch & Perfect Match
  • 第4节: PPFNet & PPF-FoldNet

  • 38分钟 52:【视频】PPFNet & PPF-FoldNet
  • 第5节: homework:practice

  • 53-1:【作业】第八章
  • 53-2:第八章作业思路提示
  • 第9章: Registration 6节课程2篇阅读材料·1次作业·2小时21分钟

    融合前几节课的精华,引出点云配准算法。将算法框架模块化,易于学生理解掌握,从零实现一种基于特征的匹配方法,掌握点云配准的一般流程。

  • 第1节: 为什么讲解这些知识点

  • 0小时0分钟 54:【视频】本章知识点的实际应用
  • 第2节: Lecture Slides

  • 55-1:【课件】Point Cloud Lecture9
  • 39分钟 55-2:【视频】ICP part I
  • 第3节: Iterative Closest Point (ICP)

  • 33分钟 56:【视频】ICP part 2
  • 第4节: Normal Distribution Transform (NDT)

  • 54分钟 57:【视频】NDT
  • 第5节: Registration by RANSAC with feature detection, description, matching

  • 12分钟 58:【视频】RANSAC Registration
  • 第6节: homework:practice

  • 59-1:面试题汇总
  • 59-2:【作业】第九章
  • 59-3:第九章作业思路提示

课程讨论区

已累计讨论26495个问题

课程配备专属讨论区,不仅有讲师、助教全程答疑,更能与同学们交流讨论,在思维碰撞中加深理解

在课程中随想随问,同学们的问题也可能启发到你

在课程讨论区,和684位同学一起探讨更多问题···

作业批改

已累计批改4951份作业

助教一对一批改作业,定期针对作业中的问题进行评讲

结业证书

课程根据作业完成情况评选结业学员及优秀学员,颁发证书

优秀学员更能获得额外购课优惠

班班督学

班班、助教、讲师全程带班,日常答疑解惑

FAQ

1、课程可以试听吗?

可以,您可以联系客服领取试听内容,根据试听的效果决定是否报名。

2、报名课程后,如果不满意,可以退款吗?

我们承诺: 报名后7天内且学习进度停留在第一章节的内容可以无条件全额退款,若您的学习进度超过第一章或报名时间超过7天将不再支持退款哦。课好不好,学了就知道了!

3、报名课程的费用可以开发票吗?

深蓝学院所有课程都可以开具发票。您可以登录深蓝学院官网(https://www.shenlanxueyuan.com),进入个人“账户中心”,在线申请。

4、报名后怎么开始学习呢?

PC端:登录深蓝学院官网(https://www.shenlanxueyuan.com),进入“个人中心”或“我的课程” 的课程即可开始学习。课程中包含讲师讲解的视频、课件、代码、作业及其它学习资料。建议在PC端学习体验更好。

如果想缓存视频,可下载深蓝学院APP。

5、可以跟讲师直接交流吗?

报名课程后添加课程对应的班主任微信,由其邀请加入微信答疑群。在答疑群内,您可以直接跟讲师和其他同学讨论交流。

报名后在对应的课程详情页,可查看对应的班主任微信。

6、学习形式和学习周期是怎样的?

为保证学习质量方便同学们反复观看,本课程采用录播形式。建议同学们登录深蓝学院PC端官网体验更佳。

7、课程有有效期吗?

为了督促同学们学习,保证学习效率,学院的课程有效期均为一年,当课程有效期截止后将不再支持观看视频、下载课件等课程服务及操作。若同学们依旧想观看视频和下载课件,建议可选择续费本课程。需要提醒大家的是,课程答疑、作业批改&讲评等课程相关服务期从报名加入课程后开始计算至少保证三个月。

8、作业会提供参考答案吗?

不提供参考答案。当每章作业截止提交后,会解锁作业思路讲解。我们希望引导大家培养独立思考的习惯和敢于动手实践的勇气,以便尽快适应实际工作中解决问题的模式。做作业过程中,如果有任何困惑和问题,可以在课程讨论区和交流群内提问解决。

X

课程预览

三维点云处理