精品课

多传感器融合定位

由浅入深全面讲解多传感器融合建图与定位原理

深入代码剖析市面主流的融合定位开源框架

课后实践紧扣教学内容,实践框架结构清晰易懂

  • 讲师:任乾

 对课程有疑问? 点击视频立即观看课程介绍!

课程服务

至少3个月

作业批改

助教1v1批改

课程有效期

365天

课程时长

16 h

¥999.00

更多信息添加客服书哲咨询,请备注【多传感器】
请确认
X
多传感器融合定位 您已经是《多传感器融合定位》-学员,是否购买最新一期?

i提示:

1. 您的《多传感器融合定位》-暂未到期,可直接学习

2. 针对以上信息如有问题,您可联系工作人员进行咨询

购买最新一期
课程介绍 课程大纲 学习服务 售前疑问
¥999.00
本课程包括:
3个月群内答疑,讲师助教及时解答
课程有效期为1年,建议合理规划学习
课程配有作业练习,助教一对一批改
班主任带班,严格督学,告别拖延
根据学习情况颁发结业证书、优秀学员证书

任乾

自动驾驶建图与定位总监,北京理工大学导航、制导与控制硕士。从2011年起,开始进入惯性导航、多传感器融合定位领域,具有多种精度等级、多种配置、多种场景下的传感器融合定位系统成功研发经验。在IEEETransactionsonIndustrial Electronics,Sensors and Actuators等SCI期刊上发表文章,并撰写知乎专栏《从零开始做自动驾驶定位》 (累计阅读70万+)。

多传感器融合已成为自动驾驶及机器人的主流定位方案,涉及内容广泛且繁杂,包括传感器的标定、数据处理、SLAM、滤波等。自学入门难度比较大,通过本课程不仅能够入门最困难的传感器IMU,为后续深入学习打下坚实基础,并且可以学习到3D Lidar SLAM的前沿成果。在ROS框架下,从零开始,亲手搭建前端-回环检测-基于滤波-基于图优化的融合定位解决方案。课程中所讲的无论是基于滤波的还是基于优化的方法,都可以很好的运用在实际工作中,分析新加入的传感器的模型及融合思路,帮助实现新传感器的融合定位,同时捋清了优化框架的实现方法。

课程目标

由浅入深讲述基于激光雷达+GNSS+IMU+轮速计等多传感器的融合建图与定位原理与技术实践

目标O13D激光里程计

掌握3D激光里程计的基础理论,理解帧间点云匹配和位姿优化的原理和应用

目标O2激光点云特征地图的构建

基于后端优化理论,掌握在多种约束下的点云特征地图构建方法

目标O3多源传感器融合定位

基于多源传感器数据(GNSS+IMU+轮速计+点云特征地图),掌握基于滤波与图优化两类方法的融合定位原理和应用

课程脉络

从基础到进阶,从理论模型到实战剖析
  • 1 01激光里程计从基础到进阶:

    激光里程计从基础到进阶:首先讲述了激光里程计的基本原理,包括直接法和特征法。再结合后端优化的基本原理,讲述了如何运用回环检测和惯导先验位姿修正里程计误差。最后基于惯性导航基础原理,讲述如何运用IMU对激光里程计进行融合。

  • 2 02点云建图从基础到进阶:

    点云建图从基础到进阶:结合后端优化的基本原理,运用回环检测和惯导先验位姿对点云地图进行构建和优化;结合图优化理论对地图进行优化。

  • 3 03实时定位从基础到进阶:

    实时定位从基础到进阶:首先讲述基于特征地图匹配的定位方法,然后分别讲述了基于Kalman滤波的融合定位方法和基于图优化的融合定位方法。

  • 4 04课程每章节均安排了实践作业:

    课程每章节均安排了实践作业:作业中提供了代码框架,方便大家对所学的知识进一步理解和巩固。

课程大纲

  • 第1章:概述

    本章节主要介绍多传感器融合定位行业的发展现状,并概况了本课程的整体讲解思路,方便学生对本课程有个大致理解。

  • 第2章:3D激光里程计 I

    本章节讲述3D激光里程计的理论和实现方法。本章节重点介绍直接法,包括ICP和NDT,其中ICP又介绍了基于SVD的方法和基于优化的方法,然后介绍了激光点云畸变补偿的方法,最后基于KITTI数据集实现基于直接法的激光里程计。

  • 第3章:3D激光里程计 II

    本章节带领学生巩固SLAM基础——非线性优化的同时,对非线性优化进行扩展,教给学生不同的优化方法。并讲解针对VIO-SLAM的优化方法。循序渐进,由浅入深的带领学生理解整个算法框架的优化过程。

  • 第4章:点云地图构建及基于地图的定位

    首先基于回环检测和惯导先验位姿优化的原理,讲述了如何采用里程计相对位姿、回环相对位姿、惯导先验位姿进行融合,构建点云地图。然后介绍了基于点云地图的定位方法。最后介绍了开源的激光SLAM方案LeGO-LOAM。

点击此处查看完整目录

项目实践

  • 项目一:基于直接匹配的前端里程计

    学习激光传感器原理。学习基于直接匹配的前端里程计方案,包括ICP匹配以及NDT匹配算法。推导基于点到点的ICP算法的SVD解法以及推导经典NDT算法。学习点云畸变的原因以及补偿方法。最后使用KITTI数据集,结合KITTI数据集实现一个基于SVD的ICP匹配算法的前端里程计。并学习使用evo工具评测前段里程计精度。

  • 项目二:基于特征的前端里程计

    学习特征中的点线面几何基础,及点云线面特征提取。学习基于线面特征的位姿优化,推导特征法中的线,面残差模型,并推导相应的雅可比。学习现有的开源特征里程计,包括A-LOAM,F-LOAM,LOAM。学习ceres-solver的解析求导与自动求导。使用C++语言和ceres-soler实现基于特征的解析式求导特征里程计。


  • 项目三:基于点云地图的定位

    学习回环检测方法,主要包括有初始相对位姿和无初始相对位姿的方法;学习后端优化基本原理,以及相关数学知识和公式推导。学习基于回环的位姿优化。在课程提供的工程框架的基础上学习点云地图建立的流程,以及工程框架的设计思路。使用C++实现基于点云地图的定位,及载体在地图中任意位置的初始化。

  • 项目四:惯性器件误差分析及标定

    学习惯性器件的误差组成并分析惯性器件的误差。学习惯性器件内参误差标定的方法。使用C++语言,按照不需要转台标定方法中所给出的内参模型及残差模型,推导加速度计对应残差对加速度内参的雅可比。使用推导出来的内参模型在仿真数据上验证内参的标定。

  • 项目五:惯性导航解算

    学习三维运动描述的基础知识与微分性质,包括四元数和旋转矩阵以及微分方程。学习惯性导航解算,包括欧拉法以及中值法。推导误差方程,包括姿态,速度,位置误差方程。使用C++语言,利用IMU仿真数据,完成基于中值法和欧拉法的解算,并对精度做对比分析。

  • 项目六:基于滤波的融合方法

    学习滤波器的作用基本原理,主要包括贝叶斯滤波的原理,卡尔曼滤波的推导,扩展卡尔曼滤波和迭代扩展卡尔曼滤波的推导。学习卡尔曼滤波器实际使用流程。使用C++语言,构建滤波器,在KITTI上实现基于地图的Lidar和IMU的融合定位。


  • 项目七:运动模型约束融合定位

    学习编码器运动模型与标定,学习融合编码器,运动约束和点云特征的的滤波方法。在基于滤波的融合方法的基础上,实现融合运动模型的滤波方法。对比加入运动约束模型约束前后的滤波精度变化。

  • 项目八:基于图优化的建图方法

    学习预积分的融合方案流程,以及预积分的模型设计和预积分在优化中的使用。设计预积分的残差,推导雅可比和计算残差的方差。介绍典型方案LIO-SAM。推导融合编码器时的预积分公式的推导。使用C++实现基于IMU预积分的融合方法。

学习收获

  • 1掌握常用3D激光SLAM算法的原理以及代码实现,并具备根据需求改进算法的能力
  • 2掌握点云地图构建及基于地图定位的原理,具备独立建图和定位的工程能力
  • 3掌握惯性器件误差分析及标定、温补方法,以及多传感器时空标定的方法
  • 4熟悉基于滤波器和基于图优化的多传感器融合方法,并有能力实现一套融合系统
课程适合谁学习
工程师:自动驾驶及机器人领域融合定位/SLAM的工程师
专业进阶:融合定位领域的研究生及高年级本科生 
课程所需的基础知识
具备基础的ROS工程编译及使用能力
具备一定的C++基础,系统阅读过至少一种主流的SLAM开源代码
系统学习过高数、矩阵论或 线性代数、概率论的知识

全方位的学习服务

个性化增值服务,学习有保障更高效

  • 作业批改

    作业批改 助教1V1批改作业,定期针对作业中的“通病”进行点评

  • 结业证书

    结业证书 本课程将根据作业完成情况评选结业学员及优秀学员,颁发证书

  • 实时答疑

    实时答疑 讲师微信群答疑,及时解决大家遇到的问题

  • 班班督学

    班班督学 班主任全程带班,不定时“关照”未交作业的同学,克服拖延

课程相关问题请咨询客服

添加时请备注【多传感器】

点击查看
课程大纲
点击了解
学习服务
  • 第1章: 概述 2节课程1篇阅读材料·1次作业·45分钟

    本章节主要介绍多传感器融合定位行业的发展现状,并概况了本课程的整体讲解思路,方便学生对本课程有个大致理解。

  • 1:多传感器融合定位-第1讲 V2.pdf
  • 第1节: 课程概述

  • 45分钟 2:【视频】课程概述
  • 第2节: 【作业】环境搭建

  • 3-1:【作业】第一章
  • 3-2:【资料】课程数据集
  • 3-3:【环境代码】01-introduction
  • 3-4:【作业思路】第一章
  • 第2章: 3D激光里程计 I 7节课程1篇阅读材料·1次作业·1小时52分钟

    本章节讲述3D激光里程计的理论和实现方法。本章节重点介绍直接法,包括ICP和NDT,其中ICP又介绍了基于SVD的方法和基于优化的方法,然后介绍了激光点云畸变补偿的方法,最后基于KITTI数据集实现基于直接法的激光里程计。

  • 4:【课件】多传感器融合定位-第2讲 V1.pdf
  • 第1节: 激光雷达工作原理及课程框架

  • 8分钟 5:【视频】激光雷达工作原理及课程框架
  • 第2节: 基于SVD的ICP

  • 31分钟 6:【视频】基于SVD的ICP
  • 第3节: 基于优化的ICP

  • 26分钟 7:【视频】基于优化的ICP
  • 第4节: NDT理论讲解

  • 16分钟 8:【视频】NDT理论讲解
  • 第5节: 点云畸变补偿方法

  • 21分钟 9:【视频】畸变补偿
  • 第6节: 基于KITTI数据集的实现

  • 8分钟 10:【视频】基于kitti的实现
  • 第7节: 作业

  • 11-1:【作业】第二章
  • 11-2:【代码框架】02-lidar-odometry-basic
  • 11-3:【作业思路】第二章
  • 第3章: 3D激光里程计 II 6节课程1篇阅读材料·1次作业·1小时44分钟

    本章节继续讲述3D激光里程计的理论和实现方法。本章节重点介绍特征法,包括点云线特征和面特征。然后介绍了基于线、面特征的位姿优化方法原理,并基于开源的里程计(如:ALOAM、FLOAM)进行代码讲解实现。

  • 12:【课件】多传感器融合定位-第3讲 V1.pdf
  • 第1节: 线面特征几何基础

  • 19分钟 13:【视频】线面特征几何基础
  • 第2节: 点云线面特征提取

  • 11分钟 14:【视频】点云线面特征提取
  • 第3节: 基于线面特征的位姿优化

  • 22分钟 15:【视频】基于线面特征的位姿变化
  • 第4节: 位姿优化代码实现

  • 13分钟 16:【视频】位姿优化代码实现
  • 第5节: 开源里程计

  • 35分钟 17:【视频】开源里程计
  • 第6节: 作业

  • 18-1:【作业】第三章
  • 3分钟 18-2:【视频】作业
  • 18-3:【代码框架】lidar-odometry-advanced
  • 18-4:【作业思路】第三章
  • 第4章: 点云地图构建及基于地图的定位 6节课程1篇阅读材料·1次作业·1小时28分钟

    首先基于回环检测和惯导先验位姿优化的原理,讲述了如何采用里程计相对位姿、回环相对位姿、惯导先验位姿进行融合,构建点云地图。然后介绍了基于点云地图的定位方法。最后介绍了开源的激光SLAM方案LeGO-LOAM。

  • 19:【课件】多传感器融合定位-第4讲 V1.pdf
  • 第1节: 整体流程介绍与回环检测

  • 24分钟 20:【视频】整体流程介绍与回环检测
  • 第2节: 后端优化

  • 37分钟 21:【视频】后端优化
  • 第3节: 点云地图建立

  • 7分钟 22:【视频】点云地图建立
  • 第4节: 基于地图的定位

  • 5分钟 23:【视频】基于地图的定位
  • 第5节: LeGO-LOAM

  • 9分钟 24:【视频】LeGO-LOAM
  • 第6节: 作业

  • 25-1:【代码框架】mapping-and-matching
  • 25-2:【作业】第四章
  • 4分钟 25-3:【视频】作业
  • 25-4:【作业思路】第四章
  • 第5章: 惯性导航原理及误差分析 6节课程1篇阅读材料·1次作业·1小时52分钟

    本章节首先介绍了惯性器件IMU中陀螺仪和加速度计的工作原理,然后介绍了IMU的误差、误差模型,以及误差分析方法。最后基于误差模型,介绍了IMU内参的标定方法,包括基于转台的标定方法和不依赖转台的标定方法。

  • 26:【课件】多传感器融合定位-第5讲 V1.pdf
  • 第1节: 本节内容介绍

  • 8分钟 27:【视频】内容概述
  • 第2节: 惯性技术简介

  • 28分钟 28:【视频】惯性技术简介
  • 第3节: 惯性器件误差分析及处理

  • 16分钟 29:【视频】惯性器件误差分析
  • 第4节: 内参标定:内参模型、基于转台的标定方法&不依赖转台的标定方法

  • 51分钟 30:【视频】内参标定
  • 第5节: 惯性器件温补

  • 6分钟 31:【视频】惯性器件温补
  • 第6节: 作业

  • 32-1:【作业】第五章
  • 32-2:【代码框架】05-imu-calib.
  • 32-3:【作业思路】第五章
  • 第6章: 惯性导航解算及误差模型 5节课程1篇阅读材料·1次作业·1小时37分钟

    介绍了三维刚体姿态的表达方法:欧拉角、旋转矩阵、四元数,以及它们之间的转换关系,并推导出它们各自的微分方程。然后介绍了基于姿态微分方程、速度微分方程、位置微分方程分别进行姿态、速度、位置的更新求解。最后对姿态误差方程、速度误差方程、位置误差方程进行推导。

  • 33:【课件】多传感器融合定位-第6讲 V1.pdf
  • 第1节: 三维运动描述基础知识

  • 51分钟 34:【视频】三维运动描述基础知识
  • 第2节: 三维运动微分性质

  • 12分钟 35:【视频】三维运动微分性质
  • 第3节: 惯性导航解算

  • 16分钟 36:【视频】惯性导航解算
  • 第4节: 惯性导航误差分析

  • 15分钟 37:【视频】惯性导航误差分析
  • 第5节: 作业

  • 38-1:【作业】第六章
  • 38-2:【代码框架】06-imu-navigation.
  • 38-3:【作业思路】第六章
  • 第7章: 基于滤波的融合方法 I 5节课程1篇阅读材料·1次作业·1小时36分钟

    本章节从概率基础知识出发,介绍了贝叶斯理论,以及经典卡尔曼滤波。通过推导卡尔曼滤波方程,了解卡尔曼滤波的基本原理。最后根据上一节误差方程的推导,讲述了基于误差卡尔曼滤波器的融合定位方法和使用流程。

  • 39:【课件】多传感器融合定位-第7讲 V1.pdf
  • 第1节: 滤波器作用

  • 8分钟 40:【视频】滤波器的作用
  • 第2节: 概率基础知识

  • 22分钟 41:【视频】概率基础知识
  • 第3节: 滤波器的基本原理

  • 35分钟 42:【视频】滤波器基本原理
  • 第4节: 基于滤波器的融合

  • 20分钟 43:【视频】基于滤波的融合
  • 第5节: 作业

  • 44-1:【作业】第七章
  • 8分钟 44-2:【视频】作业
  • 44-3:【代码框架】filtering-basic
  • 44-4:【作业思路】第七章
  • 第8章: 基于滤波的融合方法 II 3节课程1篇阅读材料·1次作业·56分钟

    本章节讲述了基于轮速编码器、车辆运动约束,以及点云特征的融合滤波方法。首先介绍了轮速编码器的运动模型和标定方法,及其观测方程的推导,然后介绍了融合运动约束的滤波方法及其观测方程的推导,最后介绍了IMU融合点云线面特征的滤波模型及其状态方程、观测方程的推导。

  • 45:【课件】多传感器融合定位-第8讲 V1
  • 第1节: 编码器运动模型与标定及基于编码器的滤波

  • 27分钟 46:【视频】编码器运动模型及基于编码器的滤波
  • 第2节: 融合运动约束与点云特征的滤波方法

  • 23分钟 47:【视频】基于运动约束与点云特征的滤波
  • 第3节: 作业

  • 48-1:【作业】第八章
  • 5分钟 48-2:【视频】作业安排
  • 48-3:【作业思路】第八章
  • 第9章: 基于图优化的建图方法 6节课程1篇阅读材料·1次作业·1小时21分钟

    本章节开始讲述了IMU预积分模型,及其在融合建图流程中的应用,然后介绍了轮速编码器与IMU基于预积分的融合方法。

  • 49:【课件】传感器融合定位-第9讲 V1
  • 第1节: 基于预积分的优化流程

  • 16分钟 50:【视频】基于预积分的优化流程
  • 第2节: 预积分模型

  • 8分钟 51:【视频】预积分模型
  • 第3节: 预积分在优化中的使用

  • 24分钟 52:【视频】预积分在优化中的使用
  • 第4节: 典型方案介绍

  • 4分钟 53-1:【视频】典型方案介绍
  • 9分钟 53-2:【视频】典型方案介绍--LIO SAM
  • 第5节: 基于编码器的预积分

  • 17分钟 54: 【视频】基于编码器的预积分
  • 第6节: 作业

  • 55-1:【资料附件】detailed_derivation
  • 55-2:【作业】第九章
  • 55-3:【代码框架】graph-optimization
  • 55-4:【作业思路】第九章
  • 55-5:【附件】详细推导过程
  • 第10章: 基于图优化的定位方法 5节课程1篇阅读材料·1次作业·1小时18分钟

    本章节介绍另一种融合定位方法:基于图优化的定位。为了解决性能问题,提出边缘化的思想,然后介绍在KITTI工程中基于地图定位的滑动窗口模型实现原理和边缘化过程,最后介绍了LIO-mapping的核心思想和具体流程。

  • 56:【课件】多传感器融合定位-第10讲 V1
  • 第1节: 基于优化的定位简介

  • 14分钟 57:【视频】基于优化的定位简介
  • 第2节: 边缘化原理及应用

  • 13分钟 58:【视频】边缘化原理及应用
  • 第3节: 基于KITTI的实现原理

  • 25分钟 59:【视频】基于kitti的实现原理
  • 第4节: Lio-mapping

  • 21分钟 60:【视频】Lio-mapping
  • 第5节: 作业

  • 61-1:【作业】第十章
  • 3分钟 61-2:【视频】作业
  • 61-3:【代码框架】sliding-window
  • 61-4:【作业思路】第十章
  • 第11章: 多传感器时空标定(综述) 1节课程·31分钟

    本章节介绍了传感器(激光雷达、IMU、轮速编码器、相机)的内参标定,以及它们之间的外参标定方法和思路。然后介绍了传感器之间的时间标定方法。

  • 第1节: 多传感器时空标定

  • 62-1:【课件】多传感器融合定位-第11讲
  • 31分钟 62-2:【视频】多传感器时空标定
  • 第12章: 大作业 1节课程1篇阅读材料·1次作业

    检验学生对点云建图和融合定位相关知识的掌握情况,让学生具备在不同数据集上适配算法的能力,理解不同数据质量对算法效果的影响。

  • 第1节: 大作业project

  • 63-1:【作业】大作业
  • 63-2:【作业思路】大作业

课程讨论区

已累计讨论26495个问题

课程配备专属讨论区,不仅有讲师、助教全程答疑,更能与同学们交流讨论,在思维碰撞中加深理解

在课程中随想随问,同学们的问题也可能启发到你

在课程讨论区,和684位同学一起探讨更多问题···

作业批改

已累计批改4951份作业

助教一对一批改作业,定期针对作业中的问题进行评讲

结业证书

课程根据作业完成情况评选结业学员及优秀学员,颁发证书

优秀学员更能获得额外购课优惠

班班督学

班班、助教、讲师全程带班,日常答疑解惑

FAQ

1、课程可以试听吗?

可以,您可以联系客服领取试听内容,根据试听的效果决定是否报名。

2、报名课程后,如果不满意,可以退款吗?

我们承诺: 报名后7天内且学习进度停留在第一章节的内容可以无条件全额退款,若您的学习进度超过第一章或报名时间超过7天将不再支持退款哦。课好不好,学了就知道了!

3、报名课程的费用可以开发票吗?

深蓝学院所有课程都可以开具发票。您可以登录深蓝学院官网(https://www.shenlanxueyuan.com),进入个人“账户中心”,在线申请。

4、报名后怎么开始学习呢?

PC端:登录深蓝学院官网(https://www.shenlanxueyuan.com),进入“个人中心”或“我的课程” 的课程即可开始学习。课程中包含讲师讲解的视频、课件、代码、作业及其它学习资料。建议在PC端学习体验更好。

如果想缓存视频,可下载深蓝学院APP。

5、可以跟讲师直接交流吗?

报名课程后添加课程对应的班主任微信,由其邀请加入微信答疑群。在答疑群内,您可以直接跟讲师和其他同学讨论交流。

报名后在对应的课程详情页,可查看对应的班主任微信。

6、学习形式和学习周期是怎样的?

为保证学习质量方便同学们反复观看,本课程采用录播形式。建议同学们登录深蓝学院PC端官网体验更佳。

7、课程有有效期吗?

为了督促同学们学习,保证学习效率,学院的课程有效期均为一年,当课程有效期截止后将不再支持观看视频、下载课件等课程服务及操作。若同学们依旧想观看视频和下载课件,建议可选择续费本课程。需要提醒大家的是,课程答疑、作业批改&讲评等课程相关服务期从报名加入课程后开始计算至少保证三个月。

8、作业会提供参考答案吗?

不提供参考答案。当每章作业截止提交后,会解锁作业思路讲解。我们希望引导大家培养独立思考的习惯和敢于动手实践的勇气,以便尽快适应实际工作中解决问题的模式。做作业过程中,如果有任何困惑和问题,可以在课程讨论区和交流群内提问解决。

X

课程预览

多传感器融合定位