79 / 2024-08-15 09:56:23

多无人机视角下的融合BEV感知（AITC 2024+摘要）

无人机,协同感知,BEV

近年来，无人机软件直播观看凭借其高效、快速、成本低、灵活性高等特点，受到农业监测、军事侦察、物流配送、城市监管以及紧急救援等领域的广泛关注。在这一背景下，无人机搭载的摄像头作为核心的传感设备，以其成本效益高、紧凑性好、数据采集快和信息量丰富的优势，成为实现无人机功能的关键。另外，多架无人机的集群编队作业，能够很好地提高信息完整度、降低噪声和遮挡干扰，提高鲁棒性和容错率，为无人机提供更为精确的环境感知能力。此外，BEV坐标系由于其直观的世界表现,为融合感知提供了良好的表征形式。然而，现有的常见商业无人机存在相机的内参、外参精度不高的问题，使得多视角无人机图像在BEV坐标系下的融合较为困难。大多数现有研究依赖于仿真数据集或假设相机参数完全准确，这与现实世界的应用场景存在明显差异。为了解决多无人机协同BEV融合中跨视角目标匹配问题，本文提出了一个全新网络。首先，基于粗略的相机内外参，通过几何变换获得两个不同视图间的公共区域。当相机参数误差在可容许范围内时，相邻视图中的公共区域可以通过几何关系获得。通过特征提取网络获得单视图的特征图后，通过多层卷积获取局部特征的“显著性”。将公共区域内特征点降序排序后，选择局部特征最为显著的若干点作为对齐锚点，将锚点及其邻域信息发送给相邻无人机。该策略基于视图间公共区域内的显著锚点，显著减少了通信开销和计算量。其次，本文设计了一个特征匹配模块。本机接受相邻无人机发送来的对齐锚点后，根据两机的相机参数将锚点投影至本机视角下。由于相机参数的不确定性，本文使用基于Transformer的特征匹配模块查询邻域内匹配度最高的区域作为精细匹配，实现跨视图的锚点匹配，解决不同无人机视图间难以配准的问题。最后，为融合多视角下的无人机视图，本文根据特征对齐结果修正相机参数，将各无人机视图转换至统一坐标系下，实现不同视图的统一表征。通过协同通信网络，在不同无人机间针对信息互补部分进行统一表征下的多无人机视觉特征图交互，实现检测信息的特征级融合。并通过解码器得到最终的BEV图，使其可以应用于物体分割，运动预测、规划等下游任务。在若干多无人机航拍数据集上的实验验证中，本文所提出的网络均展示出优秀的性能，并且在目标检测、跟踪，语义分割等任务上也具备良好的泛化性。本研究展示了通过图像特征修正相机参数，从而实现多无人机视图融合的有效性，为无人机协同领域的进一步研究提供参考。