101 / 2024-08-15 17:28:06

基于边缘特征自注意力和多任务合成视觉模式的弱监督有向目标检测

有向目标检测,Sobel算子,边缘检测,合成视觉模式,弱监督

目前的大多数数据集使用水平框进行标注，并且重新标注这些数据集十分昂贵且低效。近期出现了一些弱监督的有向目标检测方法，能够直接使用水平框标注训练有向目标检测模型。但这些方法对有向目标尺度和方向的预测能力相较使用有向标注的检测器仍然较弱，尤其在受纵横比和方向影响较大的高精度指标上表现较差。为了弥补这一差距，本文提出了一种基于边缘特征自注意力和多任务合成视觉模式的弱监督有向目标检测方法EAMSDet，具体结构如图1所示，它使用基于Sobel算子的自注意力机制提取和增强边缘特征，利用先验知识提高特征图中对目标尺度和方向有利的信息。具体的，我们将输入图片送入我们提出的边缘特征自注意力模块中，使用Sobel算子提取目标边缘特征并与FPN输出的高层特征通过一种边缘特征通道自注意力融合，对特征中的边缘信息进行增强，具体如图2所示。此外，在弱监督有向目标检测中，我们没有具体目标方向监督，为此我们引入了Point2RBox中的合成视觉模式，来获得包含具体的方向目标，并设计了多任务合成模式分支，在多种检测任务中使用这种合成模式，来提高模型在多个任务中对方向和纵横比的检测能力。以H2RBox-v2为基线，我们在DOTA-v1.0数据集上进行了充分的实验，如表1和表2所示，我们的方法超越大部分现有弱监督有向检测方法，甚至超越了一部分全监督方法，这证明了我们方法的有效性。