
无人机在未知环境里自主飞行,机载局部规划器长期卡在一个"不可能三角"上:算得快、飞得稳、装得下——最多同时满足两个。
浙大FAST Lab提出的Neural-Primitive给了一个反常规的解法:
不要建图、不要搜索、不要后端优化,一个参数量仅0.355M、体积1.38MiB的纯MLP网络,吃进点云和机体状态,直接吐出控制器能用的多项式轨迹。
Jetson Orin NX上机载推理平均3.68ms,纯仿真训练,零样本飞进森林。
-
传统分层规划(Fast、Ego‑Planner、Super‑Planner) 建图‑搜索‑优化的完整链路,安全性约束完备,但耗时随障碍物密度急剧升高。稠密场景下机载延迟激增,高速飞行易反应滞后,陷入局部最优,产生迂回绕路轨迹。
-
离线运动基元库(Primitive‑swarm) 在线只做轨迹筛选,计算快;但要覆盖全部速度、加速度状态需要TB级存储,机载无法落地;找不到匹配基元时,拼接轨迹会出现加速度剧烈跳变,加重电机负担。 图 | 加速度曲线(图4)
-
模仿学习规划网络(YOPO等) 网络仅输出端点/路标点,仍要后端求解生成轨迹,带来额外时延;耦合训练目标容易陷入局部最优,稠密环境导航成功率下降。
三类方案都难以兼顾高速推理、高质量轨迹、低内存占用。Neural‑Primitive的思路是:模仿基元专家策略,网络直接输出多项式系数,去掉后端求解环节。

系统分为仿真数据集采集、Npe2eNet离线训练、机载零样本部署三部分。输入点云、机体速度加速度、目标方向,单次网络前向即可输出多项式系数,轨迹直接交付闭环控制器执行。
2.1 嵌入基元策略的仿真数据集采集
模仿学习效果上限取决于专家数据集质量,项目没有采用DAgger这类需要反复交互的昂贵方案,设计一套闭环仿真数据采集管线,自动生成专家样本,不需要实机试飞。
核心逻辑:每一次重规划时刻,在当前机体状态下采样一批终端状态,通过二次规划求解得到多条动力学可行的最小加跃度多项式基元;给每一条基元绑定体素占用关系,利用哈希查表快速做碰撞标记,剔除碰撞基元;再由代价函数从安全候选集合选出最优专家轨迹。
代价函数:
负责向目标靠近,惩罚迂回绕路,鼓励近似直飞。只保存导航任务完整成功跑完的样本,每一条样本记录:点云观测、机体速度加速度、目标方向、最优轨迹的多项式系数。百万级数据集全部仿真自动产出,单样本生成仅0.08s。
关键点:专家策略把避障和目标逼近解耦。先筛掉全部碰撞轨迹,再在安全集合里选最靠近目标、路径最短的一条,避免联合优化里避障约束挤压目标趋近,减少局部最优迂回路径。
2.2 Npe2eNet紧凑型网络:直接输出多项式系数,无后端求解
网络Npe2eNet架构全部使用MLP,没有卷积、Transformer这类重算子,参数量仅0.355M,模型大小约1.38MiB。 输入包含三类信息:点云观测、机体速度加速度、归一化目标方向;输出多项式9个关键系数c_a。

图 | 系统总览图©【深蓝 AI】编译
简单解释多项式轨迹: ,其中一部分系数由当前机体速度加速度直接确定,保障状态连续性;网络只需要回归剩余9个系数,就可以得到完整5阶最小加跃度轨迹,完整继承位置、速度、加速度连续性。
网络内部流程:
-
点云预处理,把任意数量点云重采样固定666个点,经过MLP编码+最大池化得到32维环境全局特征;
-
环境特征和机体状态、目标方向特征拼接送入特征融合模块;
-
系数预测头输出9维多项式系数。
损失函数直接对专家与预测系数做MSE损失 ,监督网络复刻专家基元输出。

图 | 点云输入尺寸灵敏度分析©【深蓝 AI】编译
论文对点云输入尺寸做灵敏度消融:333点推理更快,但成功率掉到91.6%;1024、2048点成功率提升微乎其微,内存和耗时明显上涨;最终选择666点,在成功率、计算、内存三者拿到平衡点。
为了缩小仿真‑现实差距,训练阶段两套数据增强策略:
-
点云预处理增强:随机对点云做降采样、不足则填充远距虚拟障碍物点,模拟真实LiDAR点云密度忽高忽低;
-
域随机化噪声注入:给点云坐标、机体状态叠加高斯噪声,模拟机载传感器测量噪声。


图 | 域随机化参数消融研究图 | 点云预处理参数消融研究©【深蓝 AI】编译
消融实验表可以看到,两组增强配合之后稠密仿真环境导航成功率从90.4%提升至97.2%。
重要工程细节:虽然网络输出经验上无碰撞,但不是形式化安全保证。系统保留独立并行的轻量碰撞检测作为安全兜底,推理输出轨迹会做快速体素查询校验,一旦发现潜在碰撞触发重规划,防止网络遇到训练分布外极端输入输出危险轨迹。
2.3 事件触发滚动时域部署逻辑
机载运行采用事件触发重规划:前进0.5m、执行时间到达2/3轨迹时长、检测潜在碰撞,三者任意条件达成,就触发网络重新推理。既适配不同飞行速度,又保证规划窗口有效性。整套推理全部机载完成,不需要地面服务器。
仿真设置稀疏、稠密两类障碍物场景,对标 Fast、Ego、Super、YOPO 四款主流局部规划器,从规划耗时、导航成功率、飞行距离、飞行时间、能耗多维度开展对比。

图 | 不同障碍物密度下基准测试结果©【深蓝 AI】编译
3.1 仿真定量对比结果
耗时表现:传统基线规划器在稠密环境受建图、走廊生成、轨迹优化影响,耗时显著飙升;Neural‑Primitive 稀疏场景推理 0.70ms、稠密场景 0.68ms,耗时几乎不受障碍物密度干扰,速度达到基线方案的 7‑60 倍。
注:该数值仅代表网络推理耗时,完整系统还包含点云预处理、碰撞校验环节,不等同于整机完整管线耗时,但网络推理层面的稳定性优势确凿。
轨迹质量:传统算法容易陷入局部最优,产生迂回绕路的飞行轨迹,实际航程远大于 64m 理论直飞距离。Neural‑Primitive 承袭专家基元 “安全候选集合中优选最短路径” 的策略,稠密环境平均飞行距离仅 64.51m,轨迹更接近直线,抵达目标耗时更短。
速度‑成功率曲线

图 | 不同平均速度下的成功率©【深蓝 AI】编译
低速 2m/s 条件下各方案表现接近;随着飞行速度提升,Fast、Ego、YOPO 出现成功率断崖式下降。Super 与 Neural‑Primitive 在 6m/s 高速下仍维持 80% 以上成功率,Super 依靠复杂双轨迹机制实现鲁棒性,而 Neural‑Primitive 凭借极低推理延迟减少系统反应滞后,同时输出轨迹更加平直,迂回更少。
指标局限:上述全部测试基于仿真随机地图。仿真的噪声、障碍物样式存在边界,仿真环境的高成功率不能直接等价于现实工况表现,必须结合真机零样本实验进行验证。
3.2 真实环境零样本部署测试

图 | 机载规划耗时统计©【深蓝 AI】编译
真机选取两套典型复杂环境开展验证:户外茂密森林完成 60m 远距离自主导航,最大飞行速度 6.10m/s,穿越树木与支架构成的杂乱空间;室内随机障碍场景实现多目标连续导航,依次遍历多个目标点位。全程使用纯仿真训练得到的权重,没有任何真机微调。
机载推理耗时统计:均值 3.68ms,中位数 3.43ms,波动区间 2.71‑5.94ms,能够满足无人机高频重规划的时间约束。
3.3 未知场景泛化能力验证
采用训练阶段从未见过的真实森林点云地图、类洞穴不规则噪声仿真地图做泛化测试,网络不做任何微调,导航成功率分别为 0.907、0.833。 可以看出,当面对脱离训练分布的几何环境,算法性能会出现一定衰减,这也是模仿学习类方案普遍存在的共性短板。
Neural‑Primitive走出一条融合运动基元先验与端到端模仿学习的路线。没有把整个规划黑盒交给网络学习,而是把成熟运动基元专家策略在仿真里批量产出样本,让网络学会推理基元多项式系数。砍掉后端求解环节,把推理延迟、内存开销压到很低的水平,同时保留轨迹高阶连续性。

图 | 茂密植被野外场景实拍与机载规划可视化结果。红色球体代表无人机当前位置,蓝色曲线为规划输出轨迹;四旋翼可在不足 0.8 米的狭窄间隙内完成安全稳健机动©【深蓝 AI】编译
它并没有完全取代传统模型‑基于规划,更像是一条互补路线。想要使用这套方案,不能直接拿掉所有安全校验;局部规划的短板依旧需要全局路径规划、碰撞检测模块来补齐。
但它证明:运动基元的思想,不一定非要靠庞大离线库存储,神经网络可以在线推理生成可行基元,为资源受限小型无人机高速自主导航提供了一条可行新思路。
编辑|小小怪博士
审核|阿蓝
Ref
论文标题:Neural‑Primitive: An Efficient End‑to‑end Local Planner with Primitive‑based Imitation Learning for Autonomous Flight
论文链接:https://arxiv.org/pdf/2608.20948
项目主页:https://ZhitaoLiu.github.io/neural‑primitive/
扫码添加阿蓝,选择想要加入的交流群即可
(按照提交顺序邀请,请尽早选择)
👇
