基于特征融合的遥感图像舰船目标检测方法

针对常用的目标检测算法对遥感图像中的舰船目标进行检测时存在检测精度与实时性兼顾不佳的问题,提出了基于特征融合的遥感图像舰船目标检测算法来检测复杂场景下的多尺度舰船目标.该算法以多尺度单发射击检测框架为基础,增加反卷积特征融合模块和池化特征融合模块,增强网络特征提取的能力.同时设计聚焦分类损失函数来解决训练过程中正负样本失衡的问题.在高分遥感舰船目标数据集上的实验结果表明,所提方法能够有效地增强复杂场景下舰船目标的检测精度.此外,该算法对遥感图像中的模糊舰船目标的检测效果也优于多尺度单发射击检测框架.     

特征增强SSD算法及其在遥感目标检测中的应用

为了提高对复杂场景下多尺度遥感目标的检测精度,提出了基于多尺度单发射击检测(SSD)的特征增强目标检测算法.首先对SSD的金字塔特征层中的浅层网络设计浅层特征增强模块,以提高浅层网络对小目标物体的特征提取能力;然后设计深层特征融合模块,替换SSD金字塔特征层中的深层网络,提高深层网络的特征提取能力;最后将提取的图像特征与不同纵横比的候选框进行匹配以执行不同尺度遥感图像目标检测与定位.在光学遥感图像数据集上的实验结果表明,该算法能够适应不同背景下的遥感目标检测,有效地提高了复杂场景下的遥感目标的检测精度.此外,在拓展实验中,文中算法对图像中的模糊目标的检测效果也优于SSD.     

基于特征重聚焦网络的多尺度近岸舰船检测

针对监控视频中的多尺度近岸舰船检测问题,提出了一种基于特征重聚焦网络的舰船目标检测算法,设计了由多维特征聚合模块(MFAM)与注意力特征重构模块(AFRM)组成的特征重聚焦策略.其中,MFAM基于输入的特征金字塔构建特征聚合块,进一步融合多尺度舰船不同层次特征的语义信息.AFRM基于多分支空洞卷积以及通道与空间注意力机制提升网络对目标非局部信息的表征和对背景干扰的抑制,并构建了用于目标检测的特征重聚焦金字塔.在Seaships7000舰船公开数据集上的实验结果表明,相比其他算法,本算法对监控视频中多尺度近岸舰船的检测效果更好.     

一种基于深层次多尺度特征融合CNN的SAR图像舰船目标检测算法

基于深度学习的目标检测技术在目标检测领域有强大的生命力,但是将其用于合成孔径雷达(SAR)图像舰船目标检测时并没有达到预期的效果。提出了一种基于卷积神经网络的SAR图像舰船目标检测算法用来检测多场景下的多尺度舰船目标,在单发多盒探测器检测框架的基础上,使用性能更好的Darknet-53作为特征提取网络,加入更深层次的特征融合网络,生成语义信息更加丰富的新的特征预测图。同时在训练策略上使用了一种新的二分类损失函数来解决训练过程中难易样本失衡的问题。在扩展的公开SAR图像舰船数据集上进行验证实验,实验结果表明,所提方法对复杂场景下不同尺寸的舰船目标的检测展现出了良好的适应性。     

面向嵌入式平台的轻量级光学遥感图像舰船检测

针对现有基于深度学习的轻量级目标检测算法对复杂遥感场景图像中舰船目标检测精度低、检测速度慢的问题,提出了一种面向嵌入式平台的轻量级光学遥感图像舰船实时检测算法（STYOLO）。首先,针对主干网络内存访问成本较高的问题,利用高效网络架构ShuffleNet v2作为主干网络对图像进行特征提取,降低内存访问成本,提高网络并行度;其次,利用Slim-neck特征融合结构作为特征增强网络,以融合较低层级特征图中的细节信息,增强对小目标的特征响应,在多尺度信息融合区域施加坐标注意力机制,强化目标关注以提高较难样本检测以及抗背景干扰能力;最后,提出一种跨域迁移和域内迁移相结合的学习策略,减少源域与目标域的差异性,提升迁移学习效果。实验结果表明：基于光学遥感图像舰船检测公开数据集HRSC2016,与同类型快速检测算法YOLOv5s相比,所提算法的检测精度提高了2.7个百分点,参数量减少了61.77%,在嵌入式平台Jetson Nano上检测速度达到102.8 frame/s,能够有效实现对光学遥感图像中舰船目标的实时、准确检测。     

基于伪模态转换的红外目标融合检测算法

为提高红外图像目标检测的精度和实时性,提出一种基于伪模态转换的红外目标融合检测算法.首先,利用双循环的生成对抗网络无需训练图像场景匹配的优势,获取红外图像所对应的伪可见光图像;然后,构建残差网络对双模态图像进行特征提取,并采取add叠加方式对特征向量进行融合,利用可见光图像丰富的语义信息来弥补红外图像目标信息的缺失,从而提高检测精度;最后,考虑到目标检测效率问题,采用YOLOv3单阶段检测网络对双模态目标进行三个尺度的预测,并利用逻辑回归模型对目标进行分类.实验结果表明,该算法能够有效地提高目标检测准确率.     

多波段红外图像的海面舰船目标检测

现有的基于单个红外宽波段的海面舰船目标探测系统在面对复杂海天背景、岛岸背景、恶劣天气、亮带干扰或诱饵弹干扰等情况时,系统的探测率、虚警率、探测距离等性能指标均会受到严重的影响;为此,开展了基于多波段红外图像的海面舰船目标检测方法的研究。通过中波红外多波段数据采集系统实际采集107组五个中波红外波段的图像;波段1-5分别为3.7～4.8,3.7～4.1,4.4～4.8,3.7～3.9和4.65～4.75 μm;对多波段图像进行手动标注构建样本数据集,其中,正样本舰船目标298个,负样本非舰船目标353个。对于多波段红外图像,首先进行PCA降维并采用选择性搜索算法生成初始目标候选区域;针对候选区域中存在大量明显的非舰船目标区域的问题,利用积分图像计算候选区域的局部对比度,依据红外舰船目标的几何和灰度特征从初始目标候选区域中筛选出舰船目标可能性大的区域作为舰船目标候选区域。然后对舰船目标候选区域进行拓展以融入局部上下文信息,对于候选区域对应的5波段红外图像,分别提取每个波段图像的稠密SIFT特征,并将128维SIFT特征向量降为64维,融入SIFT特征的空间和波段位置分布信息得到新的特征向量,基于高斯混合模型对候选区域的特征向量集合进行编码融合得到舰船目标候选区域的费舍尔向量表示,最后利用线性SVM分类器识别出舰船目标。对多波段图像进行舰船目标候选区域生成实验,所提出的基于红外舰船目标的几何和灰度特征的约束方法可以有效地克服选择性搜索算法的不足,从初始目标候选区域中快速定位出舰船目标候选区域,对25组多波段图像进行实验,舰船目标候选区域生成的整体耗时为0.353 s,定位舰船目标区域耗时0.005 s。对100个正负样本进行目标识别测试,所提出的目标识别算法融合了目标的多波段图像特征信息,通过引入费舍尔向量挖掘了多波段图像梯度统计特征的深层次信息,算法的识别率达到了0.97,显著高于单波段红外图像的目标识别率。对25组多波段图像进行舰船目标检测实验,所提出的舰船目标检测方法能够在海天背景、岛岸背景以及亮带干扰等不同场景下完成海面舰船目标的检测工作,舰船目标定位准确,舰船目标召回率达到了0.95,每组多波段图像的平均检测耗时为1.33 s。研究结果表明,充分考虑海面舰船目标在红外图像中与局部海洋背景的辐射差异以及有效地融合舰船目标在多个红外波段图像中的辐射特征,可以增强舰船目标的可分性,提高舰船目标的识别率以及检测率,为基于多波段红外图像的海面舰船目标检测提供了新的技术支持。     

增强小目标特征的多尺度光学遥感图像目标检测

针对光学遥感图像目标分布密集、尺度变化范围较大及小目标特征信息过少等造成目标检测精度不高、泛化能力差等问题,本文提出了一种增强小目标特征的多尺度神经网络（ESF-MNet）。首先在骨干网络中引入注意力模块构建出高效层注意力聚合结构,以增强特征提取能力;此外,在浅层特征图与颈部网络融合之前加入感受野增强模块,以捕获不同尺度的上下文信息。其次,使用GSConv构成颈部网络,减少网络层参数量,保持网络的特征提取能力,并通过基于内容感知的特征重组模块提高识别精度。最后,采用下采样率分别为4、8和16倍的三个下采样模块作为头部网络输入,来提高小目标的检测效果。为了证明该方法的有效性,在DOTA数据集和NWPU NHR-10数据集上进行实验,平均检测精度分别达78.6%和94.3%,计算复杂度为94.7 G,整体模型大小为26.2 M。该方法具备检测精度高、计算复杂度低、模型权重小等特点,能有效提高小目标的检测精度,进一步改善光学遥感图像小目标检测性能。     

高分辨率合成孔径雷达图像舰船目标几何特征提取方法

针对高分辨率合成孔径雷达图像设计了一种舰船目标几何特征提取算法.通过视觉注意机制检测目标区域的算法,通过频谱残差视觉显著计算模型求取显著图,完成显著区域的检测以实现舰船目标的初步定位,基于获得的视觉显著图采用最大熵算法完成阈值分割筛选出舰船区域.在提取的舰船切片的基础上,采用针对几何特征的提取算法,经图像预处理、方位角估计、旋转获取最佳表征舰船目标几何轮廓的外接矩形,相对有效准确地提取几何特征;最后,采用典型的TerraSAR-X数据进行仿真实验.结果表明,与传统方法相比,本文提出的频谱残差视觉模型完成合成孔径雷达图像舰船切片的区域分割能够有效降低虚警率,舰船目标的检测速度提高了25%~50%.该方法能够快速稳定地提取舰船目标的几何特征,也更加符合实际高分辨率图像舰船目标检测的应用需求.     

基于双模态融合网络的目标检测算法

针对红外图像和可见光图像的融合目标检测问题,提出一种基于双模态融合网络的目标检测算法。在同时输入红外和可见光图像对后,利用设计的红外编码器提取红外图像空间特征信息;通过设计的可见光编码器将可见光图像从垂直和水平两个空间方向聚合特征,通过精确的位置信息对通道关系进行编码;最后,采用提出的门控融合网络自适应调节两路特征的权重分配,实现跨模态特征融合。在KAIST行人数据集上,与基准算法YOLOv5-n单独检测可见光图像和红外图像的结果相比,所提算法检测精度分别提升15.1%和2.8%;与基准算法YOLOv5-s相比,检测精度分别提升14.7%和3%;同时,检测速度在两个不同基准算法模型上分别达到117.6 FPS和102 FPS。在自建的GIR数据集上,所提算法的检测精度和速度也同样具有明显优势。此外,该算法还能对单独输入的可见光或红外图像进行目标检测,且检测性能与基准算法相比有明显提升。     

结合区域提取和改进卷积神经网络的水下小目标检测

针对水下小目标信息量有限而难以提取有效特征导致的检测性能不佳问题,提出了一种结合区域提取和融合Hu矩特征的改进卷积神经网络水下小目标检测方法。该方法包含区域提取和分类两个步骤。首先以马尔可夫随机场分割算法为基础进行区域提取,对潜在目标定位的同时降低伪目标对后续分类的干扰;然后提取潜在目标区域的Hu矩特征并融入卷积神经网络,形成一种形状特征表征能力更强的改进卷积神经网络用于分类。声呐实测数据处理结果表明,该方法可以有效提升对水下小目标的发现概率和正确报警率,与其他目标检测方法相比,该方法具有更好的检测性能和泛化性。     

基于改进SSD的车辆小目标检测方法

地面车辆目标检测问题中由于目标尺寸较小,目标外观信息较少,且易受背景干扰等的原因,较难精确检测到目标。围绕地面小尺寸目标精准检测的问题,从目标特征提取的角度提出了一种特征融合的子网络。该子网络引入了重要的局部细节信息,有效地提升了小目标检测效果。针对尺度、角度等的变换问题,设计了基于融合层的扩展层预测子网络,在扩展层的多个尺度空间内匹配目标,生成目标预测框对目标定位。在车辆小目标VEDAI(vehicle detection in aerial imagery)数据集上的实验表明,算法保留传统SSD(single-shot multibox detector)检测速度优势的同时,在精度方面有了明显提升,大幅提升了算法的实用性。     

Sentinel-2卫星的多光谱轻量级船舶目标检测算法

近年来深度卷积神经网络在可见光船舶检测方面取得了显著的进展，然而，大多数相关研究是通过改进大型的网络结构来提高检测性能，因此加大了对更高计算机性能的需求。此外，可见光图像难以在云、雾、海杂波、黑夜等复杂场景检测到船舶。针对以上问题，提出了一种融合红（red, R）、绿（green, G）、蓝（blue, B）和近红外（NIR）4个波段光谱信息的由粗到精细的轻量型船舶检测算法。与现有的方法中根据光谱特性利用水体检测算法提取水体区域不同之处是该算法是利用改进的水体检测算法来提取船舶候选区域。为获取更准确的候选区域，对船舶、厚云、薄云、平静海面、杂波海面5种场景中4个波段的像素值进行了统计分析，选取近红外大于阈值作为辅助判断，并以其中心点获取候选区域32×32大小的切片，并对切片进行非极大值抑制，由此获得了船舶粗检测结果。随后构建了轻量级LSGFNet网络对船舶候选区域切片进行精细识别。构建的网络融合了1×1卷积提取的波谱特征与3×3的提取几何特征，为防止光谱特征与几何特征的信息在融合时“信息不流通”，在LSGFNet网络中引入了ShuffleNet中的通道打乱机制，并减小了模型结构，与典型的轻量级网络相比具有更好的效果且模型较小。最后，利用Sentinel-2卫星多光谱10 m分辨率数据构建了512×512大小的1 120组数据进行粗检测，以及32×32大小的6 014组数据进行精细网络训练，其中候选区域粗提取的查全率为98.99%，精细识别网络精确度为96.04%，不同场景下的平均精确度为92.98%。实验表明该算法在抑制云层、海浪杂波等干扰的复杂背景下具有较高的检测效率，且训练时间短、计算机性能需求低。     

改进YOLOv4的铁路沿线遥感影像地物检测方法

近年来,高分遥感影像技术的快速发展为铁路沿线地物检测提供了一种重要技术手段。基于回归的一阶段目标检测方法YOLOv4具有检测精度高、速度快等优点,但用于遥感影像检测时仍然存在部分细节特征信息丢失导致的小目标漏检,以及进行大面积地物检测时效率低的问题。为此,提出改进YOLOv4网络模型对遥感影像铁路沿线地物进行检测。首先,设计由卷积、批量归一化和Mish激活函数组成的CBM(convolution batch normalization mish)模块,并采用DCBM(double CBM)模块作为密集连接网络(DenseNet)的传输层用于YOLOv4网络特征提取以实现地物特征传递和信息重用,增强小目标地物的检测能力,降低漏检率;然后针对YOLOv4在大面积检测时效率不高和模型参数空间较大的缺陷,将压缩激励SE(squeeze excitation)通道注意机制用于骨干网中跨阶段局部单元(cross stage partial, CSP)的每个残差单元之后,减少SE注意模块的重复调用次数,使其能够在提高网络性能的同时降低模型参数量从而提高检测效率;最后,针对长条形状的铁路目标提取困难问题,在网络结果输出之前引入改进的通道空间注意力机制ICBAM(improved convolutional block attention module) 保留原始特征信息,解决铁路目标特征提取能力差的问题,提高铁路中大尺度目标的检测效率。为验证所提方法的有效性,选取2 048张分辨率为1 920×1 080的某段铁路沿线遥感影像地物样本数据,将其中的铁路、房屋、楼宇建筑、农田和水池作为检测目标进行实验,并与当前流行的目标检测方法进行对比。结果表明,改进方法不仅增强了对小目标地物的检测能力,提高了地物检测精度和速度,而且提高了大尺度目标的检测效率。与YOLOv4算法相比,mAP提高了2.11%,准确率提高了2.93%,召回率提高了3.79%,模型大小减少了8.53%。所提方法为当前应用高速铁路沿线遥感影像地物快速精准检测提供了有效方法。     

基于偏振测量的雾天图像场景分割

现有场景分割方法主要依赖于图像亮度、颜色和纹理等特征,然而在雾天图像中提取这些特征将变得困难且不稳定.基于此本文提出了适用于雾天图像场景分割的特征矢量,以及相应的特征提取算法.特征矢量由目标偏振度、深度和颜色三部分组成.特征提取算法分别为:用去相关的方法从图像偏振度分离出大气偏振度和目标偏振度;根据雾天退化模型和雾天图像偏振表示形式推导出场景深度信息;利用两幅偏振图像求出非偏振彩色图像,从而得到场景的颜色信息.将这些特征构成的特征矢量用于基于图的分割算法中,并从两个方面比较了仅使用颜色特征和使用本文特征矢量的分割结果.最后得出结论:对于雾天图像而言,这些特征比通常的颜色特征更加有效和鲁棒.     

Robust object detection based on deformable part model and improved scale invariant feature transform

We propose an approach to improve the detection results of a generic offline trained detector on frames from a specific video. For two consecutive frames of a video with the object, deformable part model (DPM) detection is performed to get the original detections. Then the image patches corresponding to the detected root box and part boxes were respectively obtained. Thirdly, improved scale invariant feature transform features (SIFT) from those image patches were extracted and matched with the SIFT features by KD-Tree. K-means clustering the angle and scale of matched keypoints to filter out the uncorrected matches and further remove false matches by RANSAC algorithm. Finally, the SIFT_DPM detection result from the matches between image patches of continuous frames was obtained. We focus on methods with high precision detection results since it is necessitated in real application. Extensive experiments with state-of-the-art detector demonstrate the efficacy of our approach.     

Infrared moving object detection based on local saliency and sparse representation

The key issue of infrared object detection is to locate moving object in image sequence. In order to improve detection precision, an infrared object detection method based on local saliency and sparse representation is proposed in this paper. Motion information, such as velocity, acceleration components are added into the eigenvectors to build local saliency model. And the approximate position of the infrared target is located based on the local saliency. To accurately extract the infrared object, sparse representation is used to capture complete edge of the object. Experiments show that the proposed method can accurately detect infrared moving objects, and has good robustness to external disturbances and dynamic background.     

基于轻量级网络的光纤环图像超分辨率重建北大核心CSCD

为了提高光纤环绕制图像的分辨率并减轻深度学习模型带来的内存和计算开销,提出了一种能够同时提取梯度信息和图像信息的双分支网络,利用轻量级残差块快速轻量的优势来提取网络路径中的图像特征,还引入了多阶段残差特征迁移机制。在梯度信息和特征迁移的共同作用下,网络可以保留丰富的几何结构信息,使重构图像的边缘细节更加清晰。实验结果表明,该模型以较少的参数和0.018 s的运行时间实现了优越的性能,在2^(×)、3^(×)和4^(×)的比例因子下,峰值信噪比分别为44.08 dB、41.35 dB和38.97 dB,结构相似性指数分别为0.985 8、0.979 3和0.976 9,均优于其他现有方法,为后续的光纤环质量检测提供了强有力的保障。