浙江大学高飞团队联合微分智飞推出D-VLC去中心化视觉语言协同框架：
实现无先验未知场景、无人机+机械臂异构集群、异步自主分工的通用VLM一体化方案。
整套系统无需针对机器人、场景微调训练，三类仿真场景下任务成功率稳定突破70%，最优VLM搭配方案任务总耗时相比几何贪心基线直接削减55.8%，为灾后搜救、仓储未知库区巡检等无图纸作业场景提供轻量化集群解决方案。
当前主流 VLM 多机器人方案存在四大规模化落地短板：
-
一是集中同步调度存在单点故障，机器人任务节奏不匹配易造成空等，且必须预先构建全局地图，无法用于废墟、新仓储等无测绘未知场地；
-
二是仅开机静态分配机型角色，运行中不能根据硬件能力动态互助，难以同步完成全域探索与物理交互复合任务；
-
三是机器人互传图像、点云原始数据，拉长 VLM 上下文引发幻觉与推理延迟，无轻量化空间记忆，低端机载设备算力带宽难以承载；
-
四是现有框架功能单一、场景绑定严重，RoCo 等纯 LLM 方案缺视觉感知，MCoCoNav 仅支持导航，VIKIR/COHERENT 依赖已知环境，没有一套能同时兼顾语义指令、视觉定位、异构协作、未知空间探索的完整体系，这也是 D-VLC 整套设计的核心解决目标。
表 | 主流多机器人系统能力覆盖对比表©【深蓝 AI】编译
表格横向对比现有代表性方案六大核心能力：语言理解(L)、视觉感知(V)、自主导航(Nav)、物理操作(Ope)、异构硬件适配(H.E)、未知场景运行(U.E)，能直观看出，只有D-VLC实现六项能力全覆盖，其余系统均存在1~4项功能缺失，这也是该框架差异化核心根基。
整套系统区分初始化与在线运行两个阶段：
仅任务启动时做一次全局任务共识拆解，感知、记忆、本地VLM推理、机器人动作执行全部异步分布式运行，不存在全局调度节点，四大模块相互耦合，一次性补齐行业四大短板。
图 | D-VLC整体框架总览图©【深蓝 AI】编译
2.1 能力感知混合任务拆解机制
传统方案直接把语言指令切分空间区域，完全不考虑机器人硬件上限，D-VLC在指令解析阶段绑定所有机器人传感、移动、操作能力清单。
完整运行流程：人类模糊自然语言指令输入后，全局VLM初步拆分子任务，下发所有机器人核验；每台机器人基于自身硬件否决无法完成的任务，迭代修正任务清单。全程不会生成固定长时序行动脚本，探索过程中视觉新证据出现会实时调整分工。
举个典型案例，指令“找到钟表与车库”，系统不会强制分配固定机器人，无人机识别封闭车库门后自动追加开门前置子任务，动态呼叫机械臂支援。
2.2 有界轻量化迷你共享地图（Mini-Map）
这是论文核心创新记忆模块，摒弃稠密点云、像素级全局地图，采用固定640×480轻量化RGB抽象图层，机器人仅异步同步压缩文本标记，不传输原始图像、点云，通信量大幅缩减。
图 | VLM可读迷你地图示意图©【深蓝 AI】编译
迷你地图分层存储三类核心信息：
1. 几何层：已通行区域、障碍物、未探索空白空间、房间分割区块；
2. 语义层：门、家具、任务目标等语义候选点位；
3. 集群层：其余机器人实时坐标、当前执行任务、互助支援请求。
本地地图更新完成后仅广播精简结构化信息，跨机器人自动对重复探索候选点位去重，避免多台机器人扎堆同一区域。同时配套几何候选提取算法，自动识别墙体间隙等前沿探索入口，无需人工预设环境边界。
2.3 能力自适应异步协同调度逻辑
机器人本地VLM推理后自动切换三种运行模式，全程无中心下发任务：
1. 执行模式：视觉识别任务目标，本机硬件可完成抓取、开门等交互，直接规划本地运动路径；
2. 求助模式：识别目标但无操作硬件（无人机看到封闭门），广播支援消息，附带目标全局坐标、所需机型能力；
3. 探索模式：无待处理目标时结合迷你地图几何、语义候选，自动避开队友正在探索区域拓展未知空间。
图 | 居家场景完整执行时序流程图©【深蓝 AI】编译
以居家寻物仿真流程为例：
两台无人机分散全域搜寻，其中一台识别钟表；后续探测封闭车库无法进入，广播开门支援；机械臂收到请求前往开启，开门后集群继续分头探索车库区域。整套流程完全并行，不存在全局等待环节，从根源削减无效时间开销。
2.4 通用VLM统一动作接口+无学习底层执行层
该模块实现零机器人、零场景微调的关键：
上层不限定VLM型号，Qwen、Claude、GPT、Gemini等主流视觉大模型均可接入；VLM仅输出高层抽象动作指令，底层搭载成熟无学习运动专家模块。
导航采用A*全局路径规划，无人机专用EGO Planner轨迹生成器，移动机械臂搭载TopAY操作控制器；定位依靠FAST-LIO2激光惯性里程计，全部底层模块无需微调，仅接收VLM输出的目标点位即可闭环执行。
图 | 算法1 VLM本地决策伪代码简化逻辑©【深蓝 AI】编译
机器人读取全景图像完成目标检测，结合激光深度解算世界坐标，自检自身硬件能力切换执行/求助/探索模式，更新本地迷你地图并广播同步信息，整套循环本地闭环，不依赖外部高性能服务器实时调度。
实验统一采用2台无人机+1台移动机械臂异构集群，搭建灾后废墟、多房间居家、医院三大完全未知仿真环境，分别开展多VLM适配、消融对照、多场景定性三类测试，所有指标均仅针对仿真封闭环境，不代表真实物理场景性能。
3.1 多VLM后端横向量化对比
表 | 三类场景30次重复实验定量结果©【深蓝 AI】编译
基线方案采用纯几何贪心策略，仅依靠空间前沿点探索，无VLM语义推理，任务成功率66.7%，单任务平均耗时377.2秒；接入任意VLM后任务成功率全部提升至76.7%~90%区间，模型存在可靠性、效率天然取舍。
-
最优可靠性：Claude-Opus-4.8，任务成功率90%；
-
最优执行效率：GPT-5.4-Mini，任务耗时降低55.8%，总动作步骤减少51.3%；
同时单机器人动作步数变化极具工程参考价值：基线中机械臂平均动作步数12.1，所有VLM方案压缩至2.4~5.0，证明框架自动把大范围巡查交给无人机，机械臂仅负责交互任务，硬件分工完全贴合各自能力优势。
3.2 组件消融对照实验，验证四大模块必要性
设置三组缺失模块对照实验组：
-
移除能力感知模块（Ours w/o SCA）：无法识别开门等交互需求，抓取、读取钟表类复合任务全部失败；
-
仅使用纯文本LLM（Ours LLM-GR）：缺失视觉空间定位，无法区分相似物体，钟表识别任务失效；
-
完整D-VLC（VLM-GR）：视觉定位+能力匹配双加持，搜寻、抓取、开门任务全部正常完成。
图 | 三类核心任务消融对照效果图©【深蓝 AI】编译
消融结果直观证明两点：仅靠大语言模型缺少物理空间感知，无法落地实体机器人；无能力自适应调度，异构硬件互补协同逻辑完全失效，二者是现有同类方案核心短板。
3.3 三大未知场景定性运行效果
三类测试场景全程无预设地图、无目标坐标，集群仅依靠人类自然语言指令自主规划路线：
-
废墟场景无人机分散搜寻幸存者点位；
-
医院多隔间自动分区探索；
-
居家环境动态处理房门障碍。
整套任务流程无人工干预，全部由VLM视觉观测+迷你地图实时生成，完整还原未知场地集群作业流程。
图 | 灾后废墟多机器人执行快照©【深蓝 AI】编译
图 | 居家场景完整任务时序图©【深蓝 AI】编译
图 | 医院寻物场景运行流程©【深蓝 AI】编译
D-VLC补齐了当前视觉语言多机器人协同最关键的三重短板：摆脱全局地图依赖、消除集中调度单点故障、实现异构机型动态互助。
依靠初始化一次性共识+全程异步本地推理架构，搭配轻量化迷你地图空间记忆、能力自适应调度模块，通用视觉大模型无需定制训练，就能指挥无人机与地面机械臂在完全陌生环境自主分工完成复合任务。
图 | 灾后废墟场景多机器人执行定性示例：展示幸存者搜寻任务中的分布式探索、集群通信与任务落地全过程©【深蓝 AI】编译
该框架不盲目追求单一指标极致刷新，而是优先解决集群部署成本、环境泛化、运行容错三大工业落地痛点，给搜救、仓储巡检等未知场地机器人集群提供轻量化通用解决方案。同时仿真先行的开发思路，也大幅降低多机器人VLM方案前期试错与研发投入。
编辑｜小小怪博士
审核｜阿蓝
Ref
参考论文：D-VLC: Decentralized Vision-Language Collaboration for Heterogeneous Embodied Multi-Robot Systems
论文链接：https://arxiv.org/pdf/2607.29009
～【深蓝学院】技术交流群～
?致力于帮助各位朋友「打破隐形的墙」，共建一个更自由、更有深度、更有价值的交流生态社区！在各大企业工作的，可以相互内推，互通有无；在学校读研读博的，可以交流想法，携手合作。
扫码添加阿蓝，选择想要加入的交流群即可
（按照提交顺序邀请，请尽早选择）
?
