级联结构的遥感目标检测算法

针对遥感图像中目标朝向任意性的问题,提出一种级联结构的目标检测算法.在基准模型的基础上,采用2种不同的边界框标注模式将多个感兴趣区域网络交错串联,基于当前阶段的倾斜框预测结果回归下一阶段的水平框和倾斜框,形成多阶段级联式的学习过程.该算法结合水平框和倾斜框的各自优势,实现更鲁棒的目标边界框预测.DOTA数据集上的大量实验结果表明,该算法在2个边界框任务上的边界框预测精度明显优于现有的遥感图像目标检测算法.     

基于单级特征金字塔的图像旋转目标检测

遥感图像的目标检测任务是遥感应用领域的一个研究热点,一直受到广泛的关注。随着遥感图像分辨率的提高,遥感图像中目标的多方向性、目标大纵横比等特点更加明显,这对于已有的方法是一个挑战。针对以上问题,提出了基于单级特征金字塔的图像旋转目标检测模型。设计了单级特征金字塔结构,并结合膨胀卷积组获得目标的多尺度特征;使用分类方法处理旋转框的角度信息,结合DETR的集合预测思想,构造新的边界框回归损失,实现无锚框旋转目标检测;为了减少模型计算量并加快收敛速度,在解码器的交叉注意力上加入权重约束,将全局注意力计算限制在局部范围内。在DOTA数据集上的实验证明,该方法在提升模型检测性能的同时,有效地解决了DETR模型收敛速度慢的问题。     

融合检测与跟踪的半自动视频目标标注

针对视频图像连续帧间的目标具有冗余性,采用手动标注方式耗时耗力的问题,提出一种融合检测和跟踪算法的视频目标半自动标注框架。利用手动标注的样本离线训练改进YOLO v3模型,并将该检测模型作为在线标注的检测器。在线标注时在初始帧手动确定目标位置和标签,在后续帧根据检测框与跟踪框的IOU（Intersection-Over-Union）值自动确定目标的位置,并利用跟踪器的响应输出判断目标消失,从而自动停止当前目标标注。采用一种基于目标显著性的关键帧提取算法选择关键帧。采用自建舰船目标数据集进行了改进YOLO v3检测性能对比实验,并采用舰船视频序列验证了提出的视频目标半自动标注方法的有效性。实验结果表明,该方法可以显著提高标注效率,能够快速生成标注数据,适用于海上舰船等场景的视频目标标注任务。     

ProMIS:概率图采样图像增广驱动的弱监督物体检测方法

目的 弱监督物体检测是一种仅利用图像类别标签训练物体检测器的技术。近年来弱监督物体检测器的精度不断提高,但在如何提升检出物体的完整性、如何从多个同类物体中区分出单一个体的问题上仍面临极大挑战。围绕上述问题,提出了基于物体布局后验概率图进行多物体图像增广的弱监督物体检测方法ProMIS（probability-based multi-object image synthesis）。方法 将检出物体存储到物体候选池,并将候选池中的物体插入到输入图像中,构造带有伪边界框标注的增广图像,进而利用增广后的图像训练弱监督物体检测器。该方法包含图像增广与弱监督物体检测两个相互作用的模块。图像增广模块将候选池中的物体插入一幅输入图像,该过程通过后验概率的估计与采样对插入物体的类别、位置和尺度进行约束,以保证增广图像的合理性;弱监督物体检测模块利用增广后的多物体图像、对应的类别标签、物体伪边界框标签训练物体检测器,并将原始输入图像上检到的高置信度物体储存到物体候选池中。训练过程中,为了避免过拟合,本文在基线算法的基础上增加一个并行的检测分支,即基于增广边界框的检测分支,该分支利用增广得到的伪边界框标注进行训练,原有基线算法的检测分支仍使用图像标签进行训练。测试时,本文方法仅使用基于增广边界框的检测分支产生检测结果。本文提出的增广策略和检测器的分支结构在不同弱监督物体检测器上均适用。结果 在Pascal VOC（pattern analysis, statistical modeling and computational learning visual object classes）2007和Pascal VOC 2012数据集上,将该方法嵌入到多种现有的弱监督物体检测器中,平均精度均值（mean average precision,mAP）平均获得了2.9%和4.2%的提升。结论 本文证明了采用弱监督物体检测伪边界框标签生成的增广图像包含丰富信息,能够辅助弱监督检测器学习物体部件、整体以及多物体簇之间的区别。     

遥感图像舰船检测的旋转卷积集成YOLOv3模型

遥感图像俯视角带来的目标朝向多样性影响了大长宽比舰船目标检测的旋转不变性。针对这一问题,提出了一个基于改进YOLOv3的倾斜边界框检测模型。通过引入角度预测实现倾斜边界框回归;提出一种旋转卷积集成模块,通过旋转卷积和旋转激活提高深度卷积网络（Deep Convolutional Neural Networks,DCNN）特征图对于角度变化的敏感性;将目标边界框倾斜角度预测建模为由粗粒度到细粒度的两次角度分类问题;将角度惩罚引入模型的多任务损失函数中,使得模型能够学习目标的角度偏移。通过对舰船目标标注数据集上的实验可以看到,所提的模型和经典YOLOv3模型相比平均精度提高了12.7%,同时能够保持单阶段目标检测的速度优势。     

深度学习的遥感图像旋转目标检测综述

遥感图像中目标具有方向任意性和排列紧密性的特点,在检测任务中使用倾斜边界框可以更加精确定位和分离目标。目前遥感图像旋转目标检测已经广泛应用于民用和军事国防领域,具有重要的研究意义和应用价值,已逐步成为研究热点。鉴于此,对遥感图像中旋转目标检测方法进行了系统性总结。首先,介绍了三种常用的倾斜边界框的表示形式。其次,重点阐述全监督学习下的特征错位、边界不连续、度量值与损失不一致性、旋转目标定位四个挑战。然后,根据不同的动机和改进策略,详细阐述了每种方法的核心思想及其优缺点,归纳出旋转目标检测方法框架。接着,列举了旋转目标检测在遥感领域常用数据集,给出了经典方法在不同数据集上的实验结果,并对不同方法的性能进行了评估。最后,结合深度学习应用于遥感图像旋转目标检测任务中存在的挑战,对该方向的未来发展趋势进行了展望。     

多尺度特征DCA融合的海上船舶检测算法研究

为了加强海上交通的安全性,以常见的民用船和军用船为研究对象,针对原始YOLOV3算法在船舶数据集上检测精度不高、目标框出现误检和小目标漏检的问题,提出了改进的船舶检测算法MS-YOLOV3。构建船舶图像数据集Shipdataset,包括数据采集、增强和标签标注,使用维度聚类算法在该数据集中找出合适尺寸的先验框,并应用于相对应的尺度特征图。以Darknet-53的网络框架为基础特征提取网络,增加网络预测尺度,在多尺度特征融合中加入DCA融合策略,提高模型对船舶的检测能力。以MS-YOLOV3为算法框架,采用GIOU作为边框损失函数的参数,提升模型对边界框位置信息的预测准确度。结果MS-YOLOV3与YOLOV3检测算法的对比实验表明,前者在船舶数据集上的精度有7.9个百分点的提升。同时加入的GIOU边框损失,拉低了模型的平均损失,加强了模型的鲁棒性,使得目标框的定位误差大大减小。根据Pascal VOC2007数据集上的训练效果,MS-YOLOV3的平均精度相较于YOLO系列算法、SSD300和Faster-RCNN,精确度优势更加明显。提出的MS-YOLOV3检测模型使得船舶的位置信息和类别精度更加准确。     

基于多尺度特征与角度信息的无锚框目标检测方法

遥感目标检测是从遥感图像中对目标进行类别识别与定位的过程,它是遥感图像处理领域中一个重要的研究分支。目标尺度变化大和目标姿态旋转多变是制约遥感图像目标检测性能的重要因素之一。针对上述难点,本文提出了基于多尺度特征与角度信息的无锚定框目标检测方法。首先,该方法在经典特征金字塔网络中嵌入特征选择与对齐模块解决现有的特征金字塔网络存在的特征错位和通道信息丢失两种缺陷,从特征层面提升检测模型多尺度学习能力;其次,针对现有基于锚定框的旋转目标检测方法存在超参数敏感的问题,在基于无锚定框目标检测网络基础上加入了旋转边界框定位方式,无需对检测性能敏感的锚定框超参数进行设置;最后,为了解决旋转边界框存在边界突变问题,该方法将旋转边界框转换为二维高斯分布表示,并引入基于二维高斯分布的旋转回归定位损失函数来驱动检测网络学习目标的方向信息。实验结果表明,在多尺度和旋转目标检测方面,该方法的性能优于近几年提出的遥感目标检测方法。     

基于Mask R-CNN改进的遥感图像舰船检测

遥感图像中舰船朝向不确定性,舰船种类的多样性以及和其他海上及港口物体之间的相似性,使舰船检测的性能下降严重。针对这一问题,使用一种简单且有效的方法来训练有旋转不变性和Fisher判别的Mask R-CNN舰船检测模型,通过优化模型的目标函数以提高舰船检测性能,在保持原有检测模型结构不变的基础上引入两个正则化器,第一个正则化器加强训练样本旋转之前和之后的特征联系,第二个正则化器限制卷积神经网络有小的类内散度和大的类间散度。实验中,在Kaggle遥感图像船只检测数据集上验证了所提出的方法提高了检测遥感图像中舰船目标的性能。     

注意力机制改进卷积神经网络的遥感图像目标检测

目的 遥感图像目标检测是遥感图像处理的核心问题之一,旨在定位并识别遥感图像中的感兴趣目标。为解决遥感图像目标检测精度较低的问题,在公开的NWPU_VHR-10数据集上进行实验,对数据集中的低质量图像用增强深度超分辨率（EDSR）网络进行超分辨率重构,为训练卷积神经网络提供高质量数据集。方法 对原Faster-RCNN （region convolutional neural network）网络进行改进,在特征提取网络中加入注意力机制模块获取更多需要关注目标的信息,抑制其他无用信息,以适应遥感图像视野范围大导致的背景复杂和小目标问题;并使用弱化的非极大值抑制来适应遥感图像目标旋转;提出利用目标分布之间的互相关对冗余候选框进一步筛选,降低虚警率,以进一步提高检测器性能。结果 为证明本文方法的有效性,进行了两组对比实验,第1组为本文所提各模块间的消融实验,结果表明改进后算法比原始Faster-RCNN的检测结果高了12.2%,证明了本文所提各模块的有效性。第2组为本文方法与其他现有方法在NWPU_VHR-10数据集上的对比分析,本文算法平均检测精度达到79.1%,高于其他对比算法。结论 本文使用EDSR对图像进行超分辨处理,并改进Faster-RCNN,提高了算法对遥感图像目标检测中背景复杂、小目标、物体旋转等情况的适应能力,实验结果表明本文算法的平均检测精度得到了提高。     

使用贝叶斯优化对遥感影像目标进行精确定位

针对大尺寸遥感影像目标检测中检测边框不精确的问题,提出使用高斯过程贝叶斯优化对遥感影像中的目标进行精确检测与定位。研究分为两个阶段,第一阶段使用基于边缘信息的EdgeBoxes算法对大尺寸遥感影像进行目标候选区域的选取,用分类器得到初始检测结果;为了得到更加准确的边框,在第二阶段,基于高斯过程的贝叶斯优化对每个目标的边框进行微调：①以目标初始边框为基准,在其周围选取与初始边框相交的边框集合,并得到一个高斯过程分布;②使用贝叶斯优化估计出下一个边框,并将其加入边框集;③求分类器对所有边框的得分,得分最高的边框作为下次迭代的基准边框;④重复若干次贝叶斯优化后得到最终的边框。实验结果表明：EdgeBoxes方法以较少的候选框可以得到较大的召回率,使用高斯过程的贝叶斯优化可以明显地提高检测边框的精度。     

Towards automatic bounding box annotations from weakly labeled images

In this work we discuss the problem of automatically determining bounding box annotations for objects in images whereas we only assume weak labeling in the form of global image labels. We therefore are only given a set of positive images all containing at least one instance of a desired object and a negative set of images which represent background. Our goal is then to determine the locations of the object instances within the positive images by bounding boxes. We also describe and analyze a method for automatic bounding box annotation which consists of two major steps. First, we apply a statistical model for determining visual features which are likely to be indicative for the respective object class. Based on these feature models we infer preliminary estimations for bounding boxes. Second, we use a CCCP training algorithm for latent structured SVM in order to improve the initial estimations by using them as initializations for latent variables modeling the optimal bounding box positions. We evaluate our approach on three publicly available datasets.     

基于旋转框精细定位的遥感目标检测方法研究

遥感图像中的目标往往呈现出任意方向排列,而常见的目标检测算法均采用水平框检测,并不能满足这类场景的应用需求.因此提出一种旋转框检测网络R2-FRCNN.该网络利用粗调与细调两阶段实现旋转框检测,粗调阶段将水平框转换为旋转框,细调阶段进一步优化旋转框的定位.针对遥感图像存在较多小目标的特点,提出像素重组金字塔结构,融合深浅层特征,提升复杂背景下小目标的检测精度.此外,为了在金字塔各层中提取更加有效的特征信息,在粗调阶段设计一种积分与面积插值法相结合的感兴趣区域特征提取方法,同时在细调阶段设计旋转框区域特征提取方法.最后在粗调和细调阶段均采用全连接层与卷积层相结合的预测分支,并且利用Smooth L_n作为网络的回归损失函数,进一步提升算法性能.提出的网络在大型遥感数据集DOTA上进行评估,评估指标平均准确率达到0.7602.对比实验表明了R²-FRCNN网络的有效性.     

基于改进边界框回归损失的YOLOv3检测算法

YOLOv3检测算法中的边界框回归损失函数对边界框尺度敏感,且与算法检测效果评价标准交并比（IoU）之间的优化不具有强相关性,无法准确反映真值框与预测框之间的重叠情况,造成收敛效果不佳。针对上述问题,提出基于IoU的改进边界框回归损失算法BR-IoU。将IoU作为边界框回归损失函数的损失项,使不同尺度的边界框在回归过程中获得更均衡的损失优化权重。在此基础上,通过添加惩罚项最小化预测框与真值框中心点间围成的矩形面积,并提高预测框与真值框之间宽高比的一致性,从而优化边界框的回归收敛效果。在PASCAL VOC和COCO数据集上的实验结果表明,在不影响实时性的前提下,BR-IoU能够有效提高检测精度,采用BR-IoU的YOLOv3算法在PASCAL VOC 2007测试集上mAP较原YOLOv3算法和G-YOLO算法分别提高2.5和1.51个百分点,在COCO测试集上分别提高2.07和0.66个百分点。     

旋转目标检测算法在卫星影像中的应用

近年来,深度学习在卫星影像目标检测领域得到了快速的发展,如何精准高效定位目标物体是卫星影像目标检测研究中的主要难点。提出了一种基于旋转矩形空间的YOLOv3改进算法来精准定位卫星影像目标,对原有网络进行改进,增加角度变换的数据预处理过程,防止实例角度变化对网络训练造成影响。使用双旋转坐标进行回归训练,增加了角度锚点,提高了网络对卫星目标的检测有效性。提出了基于旋转矩形空间的非极大值抑制改进算法,可以有效去除多余的旋转预测框。实验结果表明,改进YOLOv3算法相较于原始YOLOv3算法拥有更好的可视化效果,可以有效准确地定位卫星影像的目标物体,有效避免了密集场景下预测框的遮挡问题,在保证实时性的前提下,将均值平均精度提高了0.8个百分点。     

结合旋转框和注意力机制的轻量遥感图像检测模型

目的 遥感图像目标检测在国防安全、智能监测等领域扮演着重要的角色。面对遥感图像中排列密集且方向任意分布的目标,传统水平框目标检测不能实现精细定位,大型和超大型的目标检测网络虽然有强大表征学习能力,但是忽略了模型准确率与计算量、参数量之间的性价比,也满足不了实时检测的要求,庞大的参数量和计算量在模型部署上也非常受限,针对以上问题,设计了一种轻量级的旋转框遥感图像目标检测模型（YOLO-RMV4）。方法 对原MobileNetv3网络进行改进,在特征提取网络中加入性能更好的通道注意力机制模块（efficient channel attention,ECA）,并且对网络规模进行适当扩展,同时加入路径聚合网络（path aggregation network,PANet）,对主干网络提取特征进行多尺度融合,为网络提供更丰富可靠的目标特征。网络检测头中则采用多尺度检测技术,来应对不同尺寸的目标物体,检测头中的角度预测加入了环形圆滑标签（circular smooth label,CSL）,将角度回归问题转换为分类问题,从而使预测角度和真实角度之间的距离可以衡量。结果 将提出的检测模型在制备的AV...     

融合多尺度旋转锚机制的海洋中尺度涡自动检测

目的 海洋中尺度涡自动检测是了解其演变规律,研究其在海洋物质运输和能量传递中的作用的基础。针对海洋中尺度涡形态不规则、结构复杂多变、长宽比不确定,以及涡群海域中尺度涡分布密集导致的检测精度低的问题,提出一种基于深度学习多尺度旋转锚机制的海洋中尺度涡自动旋转检测方法。方法 首先对卫星遥感海平面高度异常数据进行可视化预处理,并采用图像处理策略对数据集进行扩充构建训练集;其次构建了一种基于深度学习多尺度旋转锚机制的中尺度涡自动检测模型,考虑到中尺度涡尺度变化大和其所处海洋环境复杂多变的特点,主干网络采用RetinaNet提取中尺度涡特征,同时采用特征金字塔结构融合中尺度涡的低层与高层特征,设计多尺度、多长宽比以及多旋转角度锚点机制实现多尺度旋转检测锚的生成;最后集成分类与回归两个子网络,实现海洋中尺度涡的自动旋转检测。结果 实验结果表明,提出的中尺度涡自动检测方法极大改进了水平检测框存在显著的大纵横比导致检测精度低和检测框嵌套和重叠现象。本文方法最优检测精度为90.22%,与水平检测方法相比,精度提升了8%。在印度洋、太平洋、大西洋和赤道海域进行了海洋中尺度涡的旋转检测实证分析,验证了模型具有很好的泛化能力。结论 本文通过设计多尺度、多长宽比和多旋转角度实现多尺度旋转锚的生成机制,达到中尺度涡目标旋转检测,有效克服了水平检测框区域冗余和检测框重叠、嵌套现象,显著提升了中尺度涡检测精度。     

基于显著性特征和角度信息的遥感图像目标检测

遥感图像中的目标具有密集性、多尺度和多角度等特性,这使得遥感图像多类别目标检测成为一项具有挑战性的课题。因此,文中提出了一种新的端到端的遥感图像目标检测框架。该框架通过提取显著性特征和不同卷积通道之间的相互关系来增强目标信息,抑制非目标信息,从而提高特征的表示能力。同时,在不增加模型参数的情况下,在卷积模块中添加多尺度特征模块来捕获更多的上下文信息。为了解决遥感图像中目标角度多变这一问题,该框架在区域建议网络中加入了角度信息,得到有角度的矩形候选框,并在训练过程中添加注意力损失函数来引导网络学习显著性特征。该框架在公开的遥感图像数据集上进行了相关验证,在水平任务框和方向任务框上的实验结果证明了所提方法的有效性。     

复杂场景下基于增强YOLOv3的船舶目标检测

为提升水上交通安全监管的智能化水平，进一步提高基于深度学习的船舶目标检测算法的定位精度和检测准确率，在传统YOLOv3算法基础上，提出用于船舶目标检测的增强YOLOv3算法。首先，在网络预测层引入预测框不确定性回归，以预测边界框的不确定性信息；然后，使用负对数似然函数和改进的二值交叉熵函数重新设计损失函数；其次，针对船舶形状使用K均值聚类算法重新设计先验锚框尺寸并平均分配到对应预测尺度；在网络训练阶段，使用数据增强策略扩充训练样本数量；最后，使用加入高斯软阈值函数的非极大值抑制（NMS）算法对预测框进行后处理。对各种改进方法和不同目标检测算法在真实海事视频监控数据集上进行对比实验。实验结果显示，与传统YOLOv3算法相比，带有预测框不确定性信息的YOLOv3算法的假正样本（FP）数量降低了35.42%，真正样本（TP）数量提高了1.83%，所以提高了准确率；增强YOLOv3算法在船舶图像上的平均准确率均值（mAP）达到87.74%，与传统YOLOv3算法和Faster R-CNN算法相比分别提高了24.12%和23.53%；所提算法的每秒钟检测图像数量达到30.70张，满足实时检测的要求。实验结果表明，所提算法在雾天和低照度等不良天气条件与复杂通航背景下，均能实现船舶目标的高精度稳定实时检测。