课程价格 :
¥899.00
剩余名额
0
-
学习时长
9周/建议每周至少8小时
-
答疑服务
专属微信答疑群/讲师助教均参与
-
作业批改
课程配有作业/助教1V1批改
-
课程有效期
一年/告别拖延,温故知新
课程价格:
¥899.00
预约下一期 *课程已报满,可预约下一期
支持花呗分期
*课程已报满,可预约下一期
为什么要学这门课程
在自动驾驶技术向L4及以上高阶迈进的关键阶段,传统“感知-预测-规划-控制”模块化架构的局限性日益凸显——模块间信息损耗、误差累积、复杂场景适配不足等问题,成为技术落地的核心瓶颈。端到端自动驾驶方案凭借数据驱动+端到端优化的核心优势,直接从原始传感器数据映射到车辆控制指令,大幅简化系统复杂度、提升场景泛化能力,已成为行业技术突破的核心方向。
从行业需求来看,当前头部车企、自动驾驶科技公司(如特斯拉、Momenta、华为、理想、小鹏等)均在大力布局端到端技术研发,掌握端到端感知、规划全链路技术的从业者具备极强的职业竞争力。从技术学习来看,端到端自动驾驶融合了Transformer、Diffusion、VLA、世界模型等前沿AI技术与自动驾驶工程实践,本课程旨在帮助学习者构建端到端自动驾驶的完整知识体系,实现从“模块化思维”到“端到端系统思维”的升级,抓住自动驾驶技术迭代的核心机遇。
课程亮点
体系化知识框架
贴合行业技术迭代节奏,构建端到端自动驾驶全链路知识框架,覆盖BEV Encoder/Decoder、动静态感知任务、Query-based/自回归AR/Diffusion三大nnPlanner范式等核心技术,囊括了模型、训练、数据、评测等研发全流程。
理论与实践结合
摒弃纯理论讲解,每个核心模块配套“原理拆解+模型设计+代码讲解”三步教学,从论文思路到代码实现逐步解析Transformer、BEV、Diffusion等关键算法的设计、实现与落地要点,学完可上手搭建端到端核心模块。
衔接行业新前沿
课程内容衔接VLA、世界模型、强化学习等前沿方向,建立新技术在自动驾驶领域的落地逻辑,匹配行业长期发展需求,提升职业竞争力。
课程收获
全面掌握端到端自动驾驶的核心理论,理解感知与规划的端到端融合逻辑,清晰认知自动驾驶技术发展路线与行业趋势。
01熟练掌握基于Transformer的BEV Encoder构建方法、动静态感知Decoder设计、三大端到端规划范式(Query-based/AR/Diffusion)的模型设计与训练技巧;具备端到端多任务训练方案设计、多阶段模型训练/微调、开环/闭环评测指标设计、数据清洗/分类/增强等工程能力。
02建立端到端系统优化思维,能够从“数据-模型-评测”全链路分析并解决自动驾驶技术问题,理解前沿AI技术与自动驾驶场景的融合逻辑。
03具备端到端自动驾驶核心模块的研发能力,适配车企、自动驾驶科技公司的算法工程师、研发工程师等岗位需求,为职业进阶或技术创业奠定基础。
04
讲师简介
张 巍
自动驾驶高级算法专家
张巍,毕业于清华大学计算机系,深耕自动驾驶领域将近十年,兼具前沿技术探索与量产交付落地经验。先后任职于Momenta、阿里达摩院、百度 Apollo等行业标杆机构,核心聚焦自动驾驶感知、端到端规划、VLA(视觉-语言-动作)等关键领域。主导多项核心技术研发,推动BEV、OCC、端到端感知、端到端规划等技术升级,探索VLA、RL等前沿技术在自动驾驶领域的应用,成果落地于 Robotaix、无人物流车、智能辅助驾驶等场景。
课程大纲
- 1:开班典礼
- 第1章: 端到端自动驾驶概述与课程介绍
- 2:【课件】端到端自动驾驶概述与课程介绍
- 第1节: 自动驾驶简介与功能描述
- 3:【视频】自动驾驶简介与功能描述
- 第2节: 自动驾驶的技术发展路线
- 4:【视频】自动驾驶的技术发展路线
- 第3节: 自动驾驶端到端简介
- 5:【视频】端到端自动驾驶简介
- 第4节: 课程安排与相关内容推荐
- 6:【视频】课程安排与相关内容推荐
- 第2章: 端到端感知:BEV Encoder
- 7:【课件】端到端感知:BEV Encoder
- 第1节: 感知任务简介及其技术发展
- 8:【视频】感知任务简介及其技术发展
- 第2节: Dense BEV特征Encoder:LSS-based
- 9-1:【视频】LSS
- 9-2:【视频】CaDDN
- 9-3:【视频】BEVDet
- 9-4:【视频】BEVFusion
- 第3节: Dense BEV特征Encoder:Query-based
- 10-1:【视频】LSS-based方法与Query-based方法的对比
- 10-2:【视频】Deformable Attention知识回顾
- 10-3:【视频】BEVFormer
- 第4节: Sparse BEV特征Encoder
- 11-1:【视频】Dense BEV特征方法与Sparse BEV特征方法的对比
- 11-2:【视频】PETR
- 11-3:【视频】PETRv2
- 11-4:【视频】StreamPETR
- 第5节: 本章小结
- 12:【视频】本章小结
- 第6节: 代码讲解:用Code Agent读PETR源码
- 13:【视频】代码讲解:用Code Agent读PETR源码
- 第7节: 本章作业:动态OD感知模型实现与可视化
- 14-1:作业说明文档
- 14-2:本章作业:动态OD感知模型实现与可视化
- 14-3:作业代码文件
- 第3章: 端到端感知:动静态感知Decoder
- 15:【课件】端到端感知:动静态感知Decoder
- 第1节: 动态障碍物感知方法
- 16:【视频】课程回顾与本章内容介绍
- 17:【视频】动态障碍物感知问题定义
- 18:【视频】Sparse4Dv1
- 19:【视频】Sparse4Dv2
- 20:【视频】Sparse4Dv3
- 21:【视频】动态障碍物感知方法总结
- 第2节: 静态道路结构感知方法
- 22:【视频】静态道路结构感知问题定义与挑战
- 23:【视频】HDMapNet
- 24:【视频】VectorMapNet
- 25:【视频】MapTR v1&v2
- 26:【视频】静态道路结构感知方法总结
- 第3节: OCC感知方法
- 27:【视频】OCC感知问题定义
- 28:【视频】 VoxFormer
- 29:【视频】TPVFormer
- 30:【视频】OpenOccupancy
- 31:【视频】 SurroundOcc
- 32:【视频】Occ3D
- 33:【视频】OCC感知方法总结
- 第4节: 感知任务总结及其与Planner的关系
- 34:【视频】感知任务总结及其与Planner的关系
- 第5节: 代码讲解:用Code Agent读MapTR源码
- 35:【视频】代码讲解:用Code Agent读MapTR源码
- 第6节: 本章作业:静态地图感知模型实现与可视化
- 36-1:作业说明文档
- 36-2:本章作业:静态地图感知模型实现与可视化
- 第4章: 端到端规划:基于Query的端到端Planner
- 第1节: 端到端PlannNN简介
- 第2节: Query-based模型设计思路
- 第3节: Query-based端到端模型方案
- 第4节: 训练目标:模仿学习与约束条件
- 第5节: 本章作业:Query-based Planner模型实现与可视化
- 第5章: 端到端规划:基于自回归AR的端到端Planner
- 第1节: 自回归大语言模型简述
- 第2节: Trajectory Tokenizer的设计方法
- 第3节: 自回归端到端模型方案
- 第4节: 本章小结
- 第6章: 端到端规划:基于Diffusion的端到端Planner
- 第1节: Diffusion原理简介
- 第2节: Diffusion Planner方法
- 第3节: 端到端感知与规划总结
- 第7章: 端到端模型的训练范式
- 第1节: 端到端多任务训练概述以及难点
- 第2节: 解决思路:多阶段训练
- 第3节: 一段式与二段式训练方法的对比
- 第4节: 补充内容:DriveTransformer架构分享
- 第8章: 端到端训练数据与评测方法
- 第1节: 训练数据简述
- 第2节: 数据分类、清洗方法
- 第3节: 开环评测方法及其指标
- 第4节: 闭环评测方法及其指标
- 第9章: 端到端与VLA、世界模型、RL的关系
- 第1节: 端到端的局限性
- 第2节: VLA的发展历程
- 第3节: 世界模型简述
- 第4节: 深入浅出强化学习RL
- 第5节: 端到端未来展望
课程项目介绍

课程项目围绕DriveTransformer进行设计,从宏观到微观、从理论到实践,全面深入地探索并掌握前沿端到端自动驾驶系统。通过四个层层递进的实践项目,从动态与静态感知,到规控决策,再到端到端训练与闭环推理,循序渐进地构建并优化系统,全方位培养自动驾驶领域工程实践能力。

这门课适合谁
自动驾驶行业从业者
AI与计算机相关专业学生
端到端智驾技术转型人员
基础&设备要求
编程基础
具备Python编程基础,熟悉PyTorch框架模型搭建与训练流程
基础知识
具备深度学习、计算机视觉的基础理论知识,了解自动驾驶的基本概念
系统要求
建议使用配备独立GPU的工作站,推荐RTX4090,显存≥24GB,Ubuntu操作系统
全方位的学习服务
作业批改
助教1V1批改作业,定期针对作业中的“通病”进行点评
结业证书
本课程将根据作业完成情况评选结业学员及优秀学员,颁发证书
实时答疑
讲师和助教微信群答疑,及时解决大家遇到的问题
班班督学
班主任全程带班,不定时“关照”未交作业的同学,克服拖延
上课流程说明
进入答疑群,参加开课仪式
每周学习课程,完成作业
助教1V1批改作业、社群内讲评答疑
完成课程,领取证书
— 开启“端到端自动驾驶 ”的学习之旅吧 —
开启学习之旅吧
Q1
学习形式是什么样的?
A:为了保证学习效果,本门课程采取录播的形式,每周解锁一章。建议同学们登录深蓝学院PC端官网,体验更佳!
Q2
课程有有效期吗?
A:为了督促同学们学习,保证学习效率,学院的课程有效期均为一年,当课程有效期截止后将不再支持观看视频、下载课件等课程服务及操作。若同学们依旧想观看视频和下载课件,建议可选择续费本课程。需要提醒大家的是,课程答疑、作业批改&讲评等课程相关服务仅限开课仪式至结课仪式期间。
Q3
作业会提供参考答案吗?
A:课程不提供参考答案。每章作业截止提交后,会组织作业讲解。我们倾向于引导大家培养独立思考的习惯与敢于动手实践的勇气,以便于更快适应实际工作中解决问题的模式。做作业过程中,如果有任何困惑和问题,可以在答疑群中提问解决。
Q4
如果不满意,可以退款吗?
A:我们承诺:开班后7天内可以无条件全额退款。课好不好,学了就知道了!
更多信息,请添加客服咨询
添加时请备注关键词『端到端』
