基于特征融合网络的花色布缺陷检测方法

在布匹缺陷自动化检测中,常用机器视觉方法依赖于人工设计的特征,难以检测复杂缺陷,而常用深度学习方法易受花色布图案干扰,检测准确率偏低。因此,提出了一种特征融合网络模型。该模型以Cascade R-CNN为基础框架,采用一种基于快速稳健特征算法(Speeded up robust feature, SURF)获得无干扰信息的差分特征图,并与原始缺陷图融合,获得更丰富的特征信息;采用可变形卷积提高特征提取能力。试验分析显示,相比Cascade R-CNN,该模型在检测准确率上有10.8%的提升。     

联合多尺度与注意力机制的遥感图像目标检测

遥感图像存在背景复杂、目标尺度差异大且密集分布等不足,为提高现有算法的检测效果提出联合多尺度与注意力机制的遥感图像目标检测算法. 改进空洞空间金字塔池化模块,增大不同尺寸图像的感受野;提出注意力模块用于学习特征图通道信息和空间位置信息,提升算法对复杂背景下遥感图像目标区域的特征提取能力;引入加权双向特征金字塔网络结构与主干网结合来增进多层次特征的融合;使用基于距离的非极大值抑制方法进行后处理,改善检测框易重叠的问题. 在DIOR和NWPUVHR-10数据集上的实验结果表明：所提算法的平均精度均值mAP分别达到71.6%和91.6%,相比于主流的YOLOv5s算法分别提升了2.9%和1.5%. 所提算法对复杂遥感图像取得了更好的检测效果.     

基于通道注意力与特征融合的水下目标检测算法

水下光学图像存在色偏、低对比度、目标模糊的现象,导致水下目标检测时存在漏检、误检等问题。针对上述问题,提出了一种基于通道注意力与特征融合的水下目标检测算法。基于通道注意力设计了激励残差模块,将前向传播的特征信息进行自适应分配权重,以突出不同通道特征图的显著性,提高了网络对水下图像高频信息的提取能力;设计了多尺度特征融合模块,增加了大尺度特征图用于目标检测,利用其对应的小尺度感受野提高了网络对小尺寸目标的检测性能,进一步提高了网络对水下不同尺寸目标的检测精度;为提高网络对水下环境的泛化性能,设计了基于拼接和融合的数据增强方法,模拟水下目标的重叠、遮挡和模糊情况,增强了网络对水下环境的适应性。通过在公共数据集URPC上的实验,与YOLOv3、YOLOv4和YOLOv5相比,所提算法的平均精度均值分别提升5.42%,3.20%和0.9%,有效改善了水下复杂环境中不同尺寸目标漏检、误检的问题。     

基于多尺度融合与注意力机制的小目标车辆检测

针对传统目标检测算法（SSD）检测小目标精度低的问题,提出基于注意力机制与多尺度信息融合方法并将其运用于车辆检测任务. 结合浅层特征图与深层特征图的优势,小目标检测分支和大中型目标检测分支的特征图采用5支路和2支路融合. 在基础网络层之间加入注意力机制模块,模型会关注包含更多信息量的通道. 实验结果表明,在自建车辆数据集上的均值平均精度（mAP）达到90.2%,比传统SSD算法提高了10.0%,其中小目标检测精度提高了17.9%;在PASCAL VOC 2012数据集上的类别平均精度mAP为83.1%,比主流的YOLOv5算法提高了6.4%. 此外,提出算法在GTX1 660 Ti PC端的检测速度可以达到25 帧/s,能够满足实时性的需求.     

融合超分辨率重建技术的多尺度目标检测算法

目前大多数目标检测算法,由于尺度跨度较大而导致模型整体精确率和召回率不高,容易出现错检、漏检等现象。针对上述问题,提出一种融合超分辨率重建技术的多尺度目标检测算法。首先,算法以单阶段目标检测算法YOLO框架为基础,在颈部网络实现多尺度特征融合时加入超分辨率重建模块,避免进一步丢失较深层特征图中的细节特征。其次,使用通道注意力模块将较浅层特征图中的无关特征进行抑制,重点关注含有目标轮廓特征的通道信息,进一步增强浅层特征的表达能力。最后,在PASCAL VOC 2007和MS COCO 2017公开数据集上进行了消融实验和对比实验。实验结果表明,所提模块对检测性能有不同程度的提升,相比当前其他多尺度目标检测算法,所提算法在大、中、小三种尺度下目标平均精确率分别提升约1.20%、1.20%和1.30%,平均召回率分别提升约4.20%、3.50%和4.20%,算法整体检测性能得到进一步改善。     

融合多尺度Transformer的皮肤病变分割算法

针对现有皮肤病变图像分割时缺乏多尺度特征提取,从而导致细节信息缺失和病变区域误分割的问题,本文提出一种融合多尺度Transformer的编解码网络皮肤病变分割算法。首先运用Transformer模块构建分层编码器,分层编码器从全局特征变化角度出发,多尺度分析皮肤病变区域;然后利用多尺度融合模块、通道注意力模块和联合层构建融合解码器,多尺度融合模块互补分层编码器中浅层网络信息与深层网络信息,增强空间信息和语义信息间的依赖关系,通道注意力模块能够有效识别特征丰富的通道,提高算法分割精度;最后引入扩展模块恢复图像大小以匹配实际需求。将该算法在ISBI2016、ISBI2017和ISIC2018三个公共数据集上进行实验测试,其像素精度分别为96.70%、94.50%和95.39%,平均交并比分别为91.69%、85.74%和89.29%,算法测试整体性能优于现有算法。仿真实验证明,多尺度Transformer编解码网络能够有效地分割皮肤病变图像。     

井下行人检测的改进Cascade R-CNN算法

针对井下照明情况复杂、光线不均匀、背景复杂、行人特征不明显导致基于计算机图形识别的井下行人检测效果不佳这一问题,提出一种基于改进Cascade R-CNN的井下行人检测方法,以Cascade R-CNN为基础,引入Soft-NMS替换传统NMS,充分利用Cascade R-CNN的多阶段检测模型提高检测效果。实验表明:基于改进Cascade R-CNN的井下行人检测方法可有效针对井下特殊复杂情况,在井下行人数据集上获得了91.4%的检测准确率,并使用COCO检测评价矩阵评估模型对改进Cascade R-CNN算法进行了验证,相较于传统Cascade R-CNN算法平均精准度(AP)提升约2%。     

基于注意力机制的多尺度特征融合图像去雨方法

雨纹分布和形状具有多样性,现有去雨算法在去雨的同时会产生图像背景模糊、泛化性能差等问题.因此,本文提出一种基于注意力机制的多尺度特征融合图像去雨方法.特征提取阶段由多个包含两个多尺度注意力残差块的残差组构成,多尺度注意力残差块利用多尺度特征提取模块提取及聚合不同尺度的特征信息,并通过坐标注意力进一步提高网络的特征提取能力.在组内进行局部特征融合,组间利用全局特征融合注意力模块更好地融合不同层次的特征,通过像素注意力使网络重点关注于雨纹区域.在仿真和真实雨像数据集上与其他现有图像去雨算法相比,本文方法的定量指标有着明显提高,去雨后的图像视觉效果较好且具有良好的泛化性.     

基于残差注意力机制的图像去雾算法

传统基于先验知识与基于学习的图像去雾算法依赖大气散射模型,容易出现颜色失真和去雾不彻底的现象。针对上述问题,提出一种端到端的基于残差注意力机制的图像去雾算法,该算法网络包括编码、多尺度特征提取、特征融合和解码4个模块。编码模块将输入的雾图编码为特征图像,便于后续特征提取并减少内存占用;多尺度特征提取模块包括残差平滑空洞卷积模块、残差块和高效通道注意力机制,能够扩大感受野并通过加权筛选提取的不同尺度特征以便融合;特征融合模块利用高效通道注意力机制,动态调整不同尺度特征的通道权重,学习丰富的上下文信息并抑制冗余信息,增强网络提取雾霾密度图像的能力从而使去雾更加彻底;解码模块对融合后的特征进行非线性映射得到雾霾密度图像,进而恢复无雾图像。通过在SOTS测试集和自然有雾图像上进行定量和定性的测试,所提方法取得了较好的客观和主观评价结果,并有效改善了颜色失真和去雾不彻底的现象。     

适用于目标检测的上下文感知知识蒸馏网络

针对现有应用于目标检测的知识蒸馏方法难以利用目标周围上下文区域的特征信息,提出适用于目标检测的上下文感知知识蒸馏网络（CAKD Net）方法.该方法能充分利用被检测目标的上下文信息,同时沿空间域和通道域进行信息感知,消除教师网络和学生网络的差异. 该方法包括基于上下文感知的区域提纯模块（CARM）和自适应通道注意力模块（ACAM）. CARM利用上下文信息,自适应生成显著性区域的细粒度掩膜,准确消除教师网络和学生网络各自特征响应在该区域的差异;ACAM引入空间?通道注意力机制,进一步优化目标函数,提高学生网络的性能. 实验结果表明,所提方法对模型检测精确率提升超过2.9%.     

多尺度水上船舶目标视觉检测

水上交通场景环境复杂,通过普通光学摄像设备获取的水面图像,面临着视觉目标清晰度低、尺度多样化等问题,使得可见光视觉信号里中、小尺度目标检测相对困难。为服务于各类智慧海事应用,提出了一个旨在提高复杂水域背景下多尺度水上船舶目标检测性能的算法（multi-scale ship object detection,MS-SOD）。该算法基于当前计算机视觉技术中主流的单阶段目标检测模型框架,在其主干网络中嵌入卷积注意力模块,来优化船舶特征提取能力;在多尺度特征融合网络中引入富含细节信息的浅层特征,并使用跨阶段局部残差结构,来优化多尺度船舶特征的融合机制;同时,使用焦点损失函数,来优化模型的学习过程;并设计自适应锚框聚类算法优化先验锚框,以提高多尺度船舶目标检测能力。为验证提出算法的有效性和实效性,在构建较大规模水上船舶目标数据集的基础上,开展了广泛实验验证。结果表明:提出的算法在测试数据集上的检测准确度超过了各主流的对比方法;特别是对于大、中、小各尺度船舶目标的检测精度,相对于主流的YOLOv4算法,提出的算法分别提升了11.3%、6.0%和10.5%。     

高效通道注意力和特征融合的协同显著性检测算法

针对现有的协同显著性检测算法在多显著目标复杂场景下表现不佳的问题,提出了一种基于高效通道注意力和特征融合的协同显著性检测算法。首先,检测算法利用预训练的深度卷积神经网络对场景进行多尺度特征的提取,结合边缘显著信息设计了显著性语义特征提取模块,以避免全卷积神经网络导致边缘信息的缺失;其次,通过内积基本原理得到组内图片间的关联性信息并根据其关联程度进行自适应加权,结合高效通道注意力层设计了协同特征提取算法;最后,为了将各级高层语义特征经过协同显著性特征提取之后的结果与浅层次的特征进行融合,并实现对预测结果进行多分支同步监督,设计了基于高效通道注意力的特征融合模块。通过对3个经典的数据集进行测试,并与6种现有的协同显著检测算法进行对比,结果表明本文所提算法提高了复杂场景中图像的协同显著性检测的精度以及边缘信息的丰富程度,并具有更优的协同显著性信息检测性能;通过消融实验进一步验证了所提设计算法各个模块的有效性和必要性。     

结合双注意力与特征融合的孪生网络目标跟踪

基于孪生网络视觉跟踪的进化和深层网络目标跟踪算法在目标被遮挡和外观形变时的跟踪成功率不高,鲁棒性不强,对此,提出了一种结合双注意力与特征融合的孪生网络目标跟踪算法。首先,采用通道和空间注意力模块增强目标信息,抑制图像中的干扰信息,提高模型的准确度;然后,对注意力层输出的浅层和深层特征信息进行多层特征融合,得到表现力更好的目标特征,提高跟踪成功率;最后,引入在线模板更新机制,减少了跟踪漂移,提高了跟踪鲁棒性。使用OTB100测试集进行实验,实验结果表明,改进后算法的跟踪成功率比改进前算法的跟踪成功率提高了1.3%;在具有遮挡和形变属性的4个测试序列下,改进后算法的平均重叠率提高了3%,中心位置的平均误差降低了0.37个像素点,针对遮挡和外观形变时的鲁棒性更好。     

基于优化预测定位的单阶段目标检测算法

针对单阶段多边框检测(SSD)算法中存在目标定位不准确和小目标检测精度不高的问题,提出基于优化预测定位的单阶段目标检测算法EL-SSD. 通过双向加权特征金字塔将原SSD预测特征图特征融合,对输出特征图进行特征位置信息解码后进行特征通道权重再分配,提升了特征语义信息,捕获了跨通道位置信息. 通过构建分类置信度及额外的定位置信度级联聚类对预测框进行非极大值抑制,提高在检测阶段对选择目标的定位精度. 实验结果表明,EL-SSD算法在PASCAL VOC2007上的平均检测均值达到79.8%,比原SSD算法提高了2.6%. 在COCO数据集上的精度达到29.4%,比原SSD算法提高了3.5%,在检测图片上的目标定位效果及小目标检测效果明显优于SSD, 适用于需要高定位性能的实时应用场景.     

基于特征优化与深层次融合的目标检测算法

针对单阶段多边框检测算法(SSD)存在对小目标检测误差较大的问题,提出基于特征优化与深层次融合的目标检测算法,通过空间通道特征增强(SCFE)模块和深层次特征金字塔网络(DFPN)改进SSD. SCFE模块基于局部空间特征增强和全局通道特征增强机制优化特征层,注重特征层的细节信息;DFPN基于残差空间通道增强模块改进特征金字塔网络,使不同尺度特征层进行深层次特征融合,提升目标检测精度. 在训练阶段添加样本加权训练策略,使网络注重训练定位良好的样本和置信度高的样本. 实验结果表明,在PASCAL VOC数据集上,所提算法在保证速度的同时检测精度由SSD的77.2%提升至79.7%;在COCO数据集上,所提算法的检测精度由SSD的25.6%提升至30.1%,对小目标的检测精度由SSD的6.8%提升至13.3%.     

Algorithm for foggy-image pedestrian and vehicle detection

In order to improve the accuracy of the foggy-image pedestrian and vehicle detection, a novel and practical Foggy-image pedestrian and vehicle detection network (FPVDNet) based on the Faster R-CNN is proposed. First, a foggy-density discriminating module (FDM) is proposed to influence the density of the foggy images. In this way, the prediction from the FDM could determine the subsequent operations for different densities of the fog (No-fog, Light fog, and Dense fog). Then, the squeeze and excitation module (SE Module) is designed to use the attention mechanism to improve the feature extraction capability of the network. Meanwhile, the method of the deformable convolution network is applied to add offsets and learn the offsets from target tasks to enhance the transformation modeling capacity of CNNs. Finally, for lack of the annotated fog image dataset, it is necessary to generate a simulated fog image training dataset through the atmospheric scattering model. The simulated foggy image inherits the annotation of the clear image and increases the information on the fog density. Experiments by the proposed FPVDNet are carried out on the 1, 500 real-fog images and 500 real-clear images, with experimental results showing that, compared with the original Faster R-CNN, the mean average detection accuracies are improved 2%~4% by using the FPVDNet.     

基于空洞卷积金字塔的目标检测算法

作为目标检测领域最突出的问题,遮挡和多尺度严重影响了算法的召回率和准确率。针对以上问题,该文从感受野入手,提出了一种基于空洞卷积金字塔网络(ACFPN)的目标检测算法。首先,将不同尺寸的空洞卷积层引入特征金字塔网络(FPN)中,构建混合感受野模块(HRFM),旨在控制参数量的条件下,通过增大感受野获取更多全局特征信息,解决目标的遮挡问题;其次,改进FPN的结构,设计低层嵌入特征金字塔模块(LEFPM),将浅层特征细节信息和高层特征语义信息相融合,提高特征图的丰富度和表征能力,增强模型的尺度适应性;特别地,针对漏检问题,引入FCOS算法中的无锚框(AF)机制,减少了候选框的冗余,进一步提高了定位精度。最后在公开数据集上进行测试,该算法在检测精度上大幅提升。     

基于轻量化网络与嵌入式的分心行为协同检测系统

分心驾驶是交通事故发生的主要原因之一. 针对目前分心驾驶检测手段单一、检测种类少、检测效率低的问题,提出一种基于轻量化网络与嵌入式的分心行为协同检测系统. 首先,结合Ghost模块和通道注意力机制提出一种轻量化目标检测网络YOLO-Ghost,采用CSPGBottleck构建GhostDarknet作为主干网络,同时构建一种具有多尺度注意力机制的多特征融合模块SE-FPN来进行特征融合,根据固有检测场景进行检测头优化,以CIOU(complete-IOU)作为损失函数. 采用YOLO-Ghost识别和定位局部特征,提出APJ(anchor position judge)对手动分心行为进行判定; 协同检测方面,利用MobileNetv3与YOLO-Ghost协同进行人脸关键点回归和视线估计; 最后利用检测出的多模态信息对驾驶员当前行驶状态进行联合判定. 实验结果表明,YOLO-Ghost的准确率和检测速度优于其他主流方法. 将算法部署到嵌入式设备中,在NVIDIA Jetson TX1上实现了20FPS的实时检测性能,准确性和实时性均达到检测要求.