NeRF系列公开课

本系列公开课一共7场次,为纯公益性质,我们鼓励大家在课后以知乎博客动手尝试等形式推动这一领域的发展。如需引用公开课相关内容,请注意标明内容参考、来源。

 

NeRF系列公开课发起人

谷溢

博士在读

研究方向为神经渲染以及自动驾驶场景理解

 

整体安排
NeRF系列公开课.png

 

01

基于NeRF的三维内容生成

>>分享嘉宾

张凯,康奈尔大学博士生,清华大学本科,主要研究方向为基于图片的三维内容生成,具体包括新视角合成、基于神经场函数表征的反渲染、三维重建等。以第一(共同)作者在CVPR发表数篇论文,NeRF++第一作者。

>> 内容摘要

本次系列公开课以 NeRF 为背景,以科普、启发为目的,希望从多个方面让大家来认识这项技术。我们会从最基本的 NeRF 开始讲起,逐步涉及一些更高层更深入的课题,比如语义,重建,SLAM 以及优化和加速等有趣的 topic. 我们希望大家具有一定的三维视觉的基础,每次公开课我们都会尽量邀请相关工作的原作者进行讲解,所以希望大家能在课前课后对文章进一步熟悉和思考。

>>回放地址(7月4日直播)

https://www.shenlanxueyuan.com/open/course/153

>>课件下载

链接:

https://pan.baidu.com/s/1Cvq4v1X7ZVGMqaVqlD7wKw

提取码:5pdp

02

基于NeRF的三维场景重建和理解

02.png

>>分享嘉宾

智帅锋,国防科技大学讲师,伦敦帝国理工学院博士

主要研究方向为场景理解和视觉SLAM,关于基于三维空间的语义场景表征学习,SceneCode和Semantic-NeRF第一作者。

>>内容摘要

在本次分享中,我们将关注NeRF在图像生成任务外“Beyond Novel View Synthesis”方面的工作和研究,主要围绕NeRF在三维场景重建和语义理解方面的相关工作讨论两个方面:如何将语义信息与NeRF进行有机融合,以及基于NeRF的SLAM/语义理解系统。之后,我们会对现有相关工作进行梳理和总结,讨论目前存在的优缺点,并展望该方向一些重要的或亟待解决的研究问题,和各位老师同学一起讨论交流。

>>回放地址

https://www.shenlanxueyuan.com/open/course/156

>>课件下载

链接:

https://pan.baidu.com/s/1s7ZugqBoPYN_GQO-VmGU8Q

提取码:70m9

03

Multiplane Images and Neural Rendering

>>分享嘉宾

冯子健,高仙机器人深度学习研究科学家,前字节跳动AI Lab视觉算法研究科学家

在自动驾驶、互联网行业均有丰富的经验。主要研究方向为三维场景感知,包括多视图合成,深度估计,点云理解等。MINE(ICCV 2021)共同第一作者。

>>内容摘要

近年来,基于神经辐射场(NeRF)的三维场景隐式表达(implicit 3D representation)相关的工作取得了巨大的进展。在本次分享中,我们将会讨论Multiplane Images(MPI)——一种经典的显式三维场景表达形式,我会介绍近年来的一些基于MPI进行新视图合成(Novel View Synthesis)的工作,然后介绍我们利用NeRF来拓展MPI的一个尝试(MINE ICCV2021)。最后我们会讨论上述三维表达存在的一些问题。

>>回放地址

https://www.shenlanxueyuan.com/open/course/154

>>课件下载

链接:

https://pan.baidu.com/s/10yvPwScQMDiqvPMU-ffONw

提取码:fnz2

04

光影幻象:神经辐射场中的时空流转

>>分享嘉宾

陈星宇,西安交通大学硕士,腾讯AI Lab实习生

研究方向为计算机视觉、计算机图形学和机器人,目前的主要研究兴趣是神经渲染和隐式神经表示。先后于CVPR、ICRA、IV等国际会议发表薯片论文,Ha-NeRF(CVPR 2022)第一作者。

>>内容摘要

在本次分享中,将介绍如何克服光照变化和近景遮挡,通过网络上游客分享的图像建立神经辐射场,实现在家里漫游远在德国首都柏林的勃兰登堡门等风景名胜的光影幻象。

>>回放地址

https://www.shenlanxueyuan.com/open/course/155

>>课件下载

链接:

https://pan.baidu.com/s/1JkCImf1CelJ1BwVNOTI8VQ

提取码:ng68

05

神经隐式SLAM方法

>>分享嘉宾

朱紫涵,浙江大学竺可桢学院本科

将于2022年9月前往苏黎世联邦理工学院攻读博士学位。研究兴趣为神经隐式表达和可微渲染。已发表两篇SIGGRAPH论文,一篇一作CVPR论文。

>>内容摘要

在本次分享中,将介绍两种神经隐式SLAM方法:iMAP与NICE-SLAM。iMAP展示了多层感知器 (MLP) 可以作为 RGB-D SLAM 系统中的场景表示。网络在没有先验数据的情况下进行实时训练,构建了一个稠密的、特定于某一场景的隐式 3D 几何和颜色模型。NICE-SLAM主要创新点是通过引入分层场景表示来融合多级局部信息,经过几何先验预训练优化后,NICE-SLAM的分层场景表示可以用来对大型室内场景进行高细节重建。

>>回放地址

https://www.shenlanxueyuan.com/open/course/157 

>>课件下载

链接:

https://pan.baidu.com/s/1DTEGnXh573l_M5jCpacdhA

提取码:3o01

06

高动态范围神经辐射场—HDR-NeRF

>>分享嘉宾

黄鑫,西北工业大学博士,目前就职于腾讯AI Lab

主要研究方向为新视点合成、计算摄像、光场成像等。CVPR 2022 HDR-N二RF第一作者。

>>内容摘要

神经辐射场(NeRF)是近年来兴起的神经场景表征方式。不同于传统表征方法,神经辐射场使用多层感知机(MLP)隐式地建模三维场景。通过体渲染,可合成高保真视点。通常,我们使用多视角的低动态范围(LDR)图像构建神经辐射场,这导致神经辐射场无法表征高动态范围(HDR)的场景。在本次分享中,我将主要介绍HDR成像与神经辐射场结合的相关工作,与大家一起探讨高动态范围神经辐射场(HDR NeRF)的构建方法。

>>回放地址

https://www.shenlanxueyuan.com/open/course/158

>>课件下载

链接:

https://pan.baidu.com/s/1Ras8JtKppXSKO_1MlEEdLw

提取码:4xku

07

在非理想输入下NeRF的重建    

>>分享嘉宾

马力,香港科技大学博士

主要研究方向神经渲染。Deblur-NeRF第一作者

>>内容摘要

神经辐射场 (NeRF) 作为一种通用的场景表达, 已经得到越来越多研究者的注意。给定几张不同视角下的图片, 我们就能重建出一个非常精细的NeRF。然而在实际应用中, 我们经常会遇到不同种输入图像的退化, 比如镜头畸变, 噪声和模糊。如果在这些非理想状态下重建精细的NeRF是一个值得研究的问题。本次分享中, 我会梳理已有的一些在非理想输入状况下的NeRF重建的相关工作, 然后介绍我们的工作:Deblur-NeRF, 即如何在输入图像有运动模糊或者失焦时依然能够重建一个清晰的NeRF。

>>回放地址

https://www.shenlanxueyuan.com/open/course/159

>>课件下载

链接:

https://pan.baidu.com/s/18elQV_yj4ZPhhJvfLArk6g

提取码:ouhv

更新已完成,感谢大家对《NeRF系列公开课》的支持!


欢迎关注【深蓝AI】公众号,关注以后的深蓝课程及活动~