
「面向大规模户外重建」
3D Gaussian Splatting(3DGS)不仅是仿真领域被经常讨论的话题,这一年来在具身智能、空间智能的话题度也逐渐走高。
当我们回归到它的技术应用层面不难发现,要把一片小街区、中等规模的工业园区,甚至街道级别的城市区域转化为可以自由浏览的三维场景,通常是要跨过两道门槛:
一是如何用更少的采集次数完成大范围采样,二是如何让不断增长的数据和模型规模仍然能够被训练。
对这两个问题,业界或许会有一个直观答案。
采集端可以使用全景相机,一次记录 360° 环境。训练端则可以把场景划分为空间块,让不同分块独立优化。但当这两种思路真正结合,一个反直觉的矛盾出现了:
全景相机降低了采集成本,却破坏了分块并行赖以成立的前提:传统分块方法面向透视镜头的成像模式而设计。
一台透视相机只观察局部区域,因此每个空间块只需要处理与自己相关的少量图像。全景图则能看到所有方向的场景内容。如果仍按照是否可见分配数据,同一张图会被反复送入多个分块。空间看似被切开,训练任务却仍然高度重叠,最终重新接近全局训练,多 GPU 并行也难以发挥应有价值。
影石研究院(Insta360 Research)提出的PanoLOG框架,正是从这个矛盾出发。它没有继续追问“相机能不能看到这个分块”,而是把问题改写为:
指定全景图对该分块的优化是否真正有贡献?
围绕这一判断,影石创新的方案是先建立可靠的、全局性质的粗三维几何,再通过几何与梯度分块策略(即:G²PS)来选择真正重要的相机,让各分块重新获得独立优化和并行扩展的能力。论文还构建了覆盖超百万平方米的全景户外数据集Pano360,用真实的大尺度场景检验这套方案。
分块训练之所以在透视图像上有效,靠的是一种天然的选择性。
透视相机的视锥只覆盖局部区域,因此可以根据相机的位置、朝向和视野,较容易地判断它应该服务于哪个空间块。
然而全景相机改变了这个前提。一台全景相机即使离某个区域很远,也可能在画面中看见它。于是,可见即分配会让同一张图进入许多分块,每个分块处理的数据越来越接近全局,空间虽然被切开,计算负担却没有真正被拆开。
更棘手的是,全景户外场景还带来两类几何噪声:天空缺少稳定的多视图约束,容易产生漂浮高斯。ERP 图像越靠近两极拉伸越明显,也会让特征匹配和三角化变得不稳定。
因此,PanoLOG 没有急着回答怎么分块,而是先退了一步:如果全局几何本身不可靠,再精巧的分块也只是把错误分得更细。这也是它采用两阶段设计的初衷。

图 | PanoLOG 大规模户外全景重建示意图©【深蓝 AI】编译
PanoLOG 的技术转折可以浓缩成一句话:把相机分配的依据,从物理上的“能否看见”,改成优化中的“是否重要”。
但在判断贡献之前,系统需要先有一个覆盖全场景的粗模型。这个模型不追求最终细节,它的任务是提供足够可信的几何,让后面的空间划分和重要性判断有据可依。他们的整体范式如下:
-
第一步:先把全局几何做对
PanoLOG 为全景场景加入了两项专门设计。
第一项是天空球,把缺少深度约束的天空从近场物体中分离,在远处用球面高斯表示,避免天空高斯无序漂移,并保持不同分块的远景一致。天空高斯被初始化在半径(, 为 SfM 点云相对相机质心的最大范围)的远处球面上,粗训练时位置梯度被置零、且不参与致密化,仅优化颜色等外观参数。
第二项是首次引入全景单目深度监督。系统使用 DAP(影石创新的深度全景预测方法,CVPR2026)生成稠密深度先验,再借助稀疏 SfM 深度完成尺度与偏移对齐,即 (尺度 与偏移 逐图估计)。这里监督的是从相机中心出发的径向深度,更符合全景成像方式;深度约束会随训练按指数衰减,前期帮助搭好结构,后期再由图像信息补足细节。整个粗阶段在统一目标下优化:。到这一步,PanoLOG 得到的不是最终模型,而是一张可靠的全局底图。接下来,G²PS才开始真正分块。

图 | PanoLOG 两阶段流程与 G²PS 分块策略©【深蓝 AI】编译
-
第二步:关注两个核心问题
-
首先,空间应该在哪里切?
传统方案中固定大小的包围盒很难适应无界户外场景:切得太紧,会截断远处建筑;放得太宽,又会留下大量空区域。
G²PS 根据相机分布和三角化视差估计几何不确定性,建立自适应轴对齐包围盒(AABB)。它先由相机质心与各轴基础半径框住相机轨迹,再依据三角化可靠性向外扩展一个余量 :其中 是相机间的代表性基线(取最近邻相机距离的中位数), 是三角化范围因子(全场景取 5)。
这背后是全景三角化的误差传播——视差越小,深度越不可靠,边界就留得越宽。于是视差充分、三角化稳定的地方可以收得更紧;远距离、低视差区域则留下更多余量。
-
其次,哪些相机对这个块真正重要?
这是 PanoLOG 最有洞察力的一步。
全局粗模型收敛后,系统让每张训练图像做一次前向与反向传播,观察它在块内高斯位置上产生的梯度。具体地,对相机 和空间块 ,把块内所有高斯位置梯度的 幅值取平均,得到重要性得分 。
梯度越大,说明这张图对该区域的误差和优化方向影响越明显,也就越值得被分配给这个块。最终的分配规则同时考虑几何归属与梯度贡献:只要相机几何上落在块内,或其归一化得分 超过阈值 (默认 0.8),就把它分给该块。
换句话说,G²PS 不再因为一台相机“看见了”某个区域就机械地保留它,而是进一步判断这份观测是否提供了有效训练信号——即便相机物理上位于相邻块,只要贡献显著也不会被漏掉。全景图带来的问题,本质上也由此从一个几何可见性问题,转化成了一个信息选择问题。
-
分块之后,各自优化
每个空间块从全局粗模型初始化,随后独立训练。与当前块无关的高斯会在优化中被剔除,相邻块则可以共享少量高贡献相机,为边界提供一致监督。论文指出,这一设计不需要额外的跨块联合优化或复杂拼接。至此,PanoLOG 才真正完成了分而治之,即全局阶段保证方向不偏,局部阶段解决规模问题。
如果只在小型室内或局部街景上测试,全景图“相当于看见所有分块”的问题并不一定会充分暴露。相机数量、空间跨度和远景比例上升后,分块是否真的降低了负担,才会成为决定方法能否运行的关键。
为此,研究团队构建了 Pano360。它包含 NSC、NSK、BAX 和 NSN 四个城市户外场景,共 5637 张 3840×1920 的 ERP 全景图,覆盖范围超过 200 万平方米,并按照 7:1 划分训练集和测试集。其中,NSC 和 NSK 由 Antigravity A1 全景无人机采集(目前已向社区开放使用),考察空中视角与大范围覆盖。BAX 和 NSN 由 Insta360 X5全景相机采集,贴近地面移动拍摄。两类设备、两种运动轨迹,让基准不只比较画质,也检验方法面对不同采集方式时是否仍能稳定扩展。
论文同时在 Ricoh360 和 360Roam 两个公开全景数据集上测试。这样一来,公开数据回答方法是否普适,Pano360 则回答场景真正变大以后,方法是否还成立的问题。
无人机采集的待重建户外大场景,是检验本文方法的关键。随着飞行范围扩大,全景图像之间会产生大量重复观测,远近景的重建难度也并不均衡。传统方法要么难以继续扩展,要么在分块后损失场景的整体一致性。
在这篇文章的全部场景中,PanoLOG 均取得了领先的重建质量,同时保持更高的训练效率和更优的模型规模。这说明它的优势并不是依靠增加计算量换取画质,而是来自 G²PS 对大场景的重新组织:先建立全局几何,再根据相机贡献分配训练数据,让不同区域能够真正独立、并行地完成优化。
更重要的是,这套方法并未因为场景扩大而牺牲远景结构与局部细节。无论是开阔区域、密集建筑,还是跨越较大空间范围的复杂场景,PanoLOG 都能保持稳定的几何关系和视觉质量。

图 | PanoLOG方法在Pano360一组数据上的测试结果©【深蓝 AI】编译

图 | PanoLOG在公开测试集上的测试结果©【深蓝 AI】编译
该方法与其他顶会方法的重建效果对比如下:

图 | PanoLOG 在户外大场景中的定性对比,重点观察远距离结构和复杂玻璃立面©【深蓝 AI】编译
上述比对图的定性分析进一步说明了这种优势。在远距离建筑、复杂玻璃立面和大范围户外结构中,对比方法更容易出现纹理模糊、轮廓破碎或漂浮高斯。而PanoLOG 则能更完整地保留建筑边缘与局部细节,场景结构也更加连续。
这组实验验证了一个更具实际意义的判断:当全景采集与并行训练结合起来,大范围真实环境的三维重建开始具备规模化生产的可能。
PanoLOG 提供了一条自洽的技术路径:先用天空球与全景径向深度监督做出可靠的全局几何,再用 G²PS 把分块依据从几何可见性改写为优化贡献,从而在 360° 处处可见下恢复了分块并行训练。
三者环环相扣。从输入形态看,更值得强调的是全景图像本身的价值。相比单目透视建模,它一次拍摄覆盖 360°,采集端省数据、省人力。建模端的全向可见性更让同一空间点被更多视角、更宽基线观测,天然提供更强的多视图约束。
有意思的是,本文的难题恰恰源自这份优势的另一面:正因处处可见,传统可见性分块才失效。PanoLOG 给出的,是用梯度贡献把冗余观测重组为可分块信号的一种范式,而非唯一答案——如何在采集、表示与优化各环节把全景的信息优势真正兑现,仍需学术与工业界持续探索。
技术展望角度看,全景重建要解决的,是如何更高效地把真实世界转化为结构一致、可自由浏览的三维表示,而这正是自动驾驶仿真、数字孪生、具身智能与世界模型共同需要的底座。PanoLOG 把全景 3DGS 从局部场景推进到大规模户外,也为动态建模、高效表示与全景评测体系等后续方向留下了可继续搭建的起点。
论文标题:Geometry and Gradient-based Partitioning for Panoramic Outdoor Reconstruction
论文地址:https://arxiv.org/abs/2607.08769
项目主页:https://insta360-research-team.github.io/GGPS-Website/
GitHub:https://github.com/Insta360-Research-Team/GGPS
Hugging Face:https://huggingface.co/Insta360-Research/GGPS
扫码添加阿蓝,选择想要加入的交流群即可
(按照提交顺序邀请,请尽早选择)
👇
