基于注意力机制和轻量级空洞卷积的混凝土路面裂缝检测

混凝土路面上的裂缝会影响结构的安全性、适用性和耐久性,裂缝检测是一个充满挑战的研究热点。文中提出了由改进的全卷积网络和深监督网络组成的裂缝检测模型,以改进的VGG-16作为主干网络,首先将低层卷积特征聚合,通过空间注意力机制再次融合到主干网络;其次,将中高层卷积特征通过轻量级空洞卷积融合模块进行多尺度融合得到具有清晰边缘且分辨率较高的特征图像,所有的侧边特征图像相加产生最终的预测图像;最后,深监督网络为每个阶段的检测结果提供直接监督。该网络选择焦点损失函数作为评价函数,经过训练的网络模型能够在光照不均、背景复杂等各种条件下从输入的原始图像中高效地识别出裂缝位置。为验证所提方法的有效性和鲁棒性,在DeepCrack, CFD,Crack500这3个数据集上与6种方法进行了比较,所提算法表现出卓越的性能,F-score值达到了87.12%。     

注意力机制下密集空洞卷积的肺部图像分割

目的 卷积神经网络（convolutional neural network,CNN）在计算机辅助诊断（computer-aided diagnosis,CAD）肺部疾病方面具有广泛的应用,其主要工作在于肺部实质的分割、肺结节检测以及病变分析,而肺实质的精确分割是肺结节检出和肺部疾病诊断的关键。因此,为了更好地适应计算机辅助诊断系统要求,提出一种融合注意力机制和密集空洞卷积的具有编码—解码模式的卷积神经网络,进行肺部分割。方法 将注意力机制引入网络的解码部分,通过增大关键信息权重以突出目标区域抑制背景像素干扰。为了获取更广更深的语义信息,将密集空洞卷积模块部署在网络中间,该模块集合了Inception、残差结构以及多尺度空洞卷积的优点,在不引起梯度爆炸和梯度消失的情况下,获得了更深层次的特征信息。针对分割网络常见的特征丢失等问题,对网络中的上/下采样模块进行改进,利用多个不同尺度的卷积核级联加宽网络,有效避免了特征丢失。结果 在LUNA （lung nodule analysis）数据集上与现有5种主流分割网络进行比较实验和消融实验,结果表明,本文模型得到的预测图更接近于标签图像。Dice相似系数、交并比（intersection over union,IoU）、准确度（accuracy,ACC）以及敏感度（sensitivity,SE）等评价指标均优于对比方法,相比于性能第2的模型,分别提高了0.443%,0.272%,0.512%以及0.374%。结论 本文提出了一种融合注意力机制与密集空洞卷积的肺部分割网络,相对于其他分割网络取得了更好的分割效果。     

融合空洞卷积神经网络与层次注意力机制的中文命名实体识别

该文针对现有的命名实体识别(named entity recognition,NER)模型未考虑到文本层次化结构对实体识别的重要作用,以及循环神经网络受其递归性的限制导致计算效率低下等问题,构建了IDC-HSAN模型(Iterated Dilated Convolutions Neural Networks and Hierarchical Self-attention Network)。该模型通过迭代的空洞卷积神经网络(ID-CNN)充分利用GPU的并行性大大降低了使用长短时记忆网络的时间代价。然后,采用层次化注意力机制捕获重要的局部特征和全局上下文中的重要语义信息。此外,为了丰富嵌入信息,加入了偏旁部首信息。最后,在不同领域数据集上的实验结果表明,IDC-HSAN模型能够从文本中获取有用的实体信息,和传统的深度网络模型、结合注意力机制的命名实体识别模型相比识别效果有所提升。     

结合混合域注意力与空洞卷积的3维目标检测

目的 通过深度学习卷积神经网络进行3维目标检测的方法已取得巨大进展,但卷积神经网络提取的特征既缺乏不同区域特征的依赖关系,也缺乏不同通道特征的依赖关系,同时难以保证在无损空间分辨率的情况下扩大感受野。针对以上不足,提出了一种结合混合域注意力与空洞卷积的3维目标检测方法。方法 在输入层融入空间域注意力机制,变换输入信息的空间位置,保留需重点关注的区域特征;在网络中融入通道域注意力机制,提取特征的通道权重,获取关键通道特征;通过融合空间域与通道域注意力机制,对特征进行混合空间与通道的混合注意。在特征提取器的输出层融入结合空洞卷积与通道注意力机制的网络层,在不损失空间分辨率的情况下扩大感受野,根据不同感受野提取特征的通道权重后进行融合,得到全局感受野的关键通道特征;引入特征金字塔结构构建特征提取器,提取高分辨率的特征图,大幅提升网络的检测性能。运用基于二阶段的区域生成网络,回归定位更准确的3维目标框。结果 KITTI（A project of Karlsruhe Institute of Technology and Toyota Technological Institute at Chicago）数据集中的实验结果表明,在物体被遮挡的程度由轻到高时,对测试集中的car类别,3维目标检测框的平均精度AP_3D值分别为83.45%、74.29%、67.92%,鸟瞰视角2维目标检测框的平均精度AP_BEV值分别为89.61%、87.05%、79.69%; 对pedestrian和cyclist 类别,AP_3D和AP_BEV值同样比其他方法的检测结果有一定优势。结论 本文提出的3维目标检测网络,一定程度上解决了3维检测任务中卷积神经网络提取的特征缺乏视觉注意力的问题,从而使3维目标检测更有效地运用于室外自动驾驶。     

融合通道位置注意力机制和并行空洞卷积的人脸年龄合成

目的 人脸年龄合成旨在合成指定年龄人脸图像的同时保持高可信度的人脸,是计算机视觉领域的热门研究方向之一。然而目前主流人脸年龄合成模型过于关注纹理信息,忽视了与人脸相关的多尺度特征,此外网络存在对身份信息筛选不佳的问题。针对以上问题,提出一种融合通道位置注意力机制和并行空洞卷积的人脸年龄合成网络（generative adversarial network（GAN）composed of the parallel dilated convolution and channel-coordinate attention mechanism,PDA-GAN）。方法 PDA-GAN基于生成对抗网络提出了并行三通道空洞卷积残差块和通道—位置注意力机制。并行三通道空洞卷积残差块将3种膨胀系数空洞卷积提取的不同尺度人脸特征融合,提升了特征尺度上的多样性和总量上的丰富度;通道—位置注意力机制通过对人脸特征的长度、宽度和深度显著性计算,定位图像中与年龄高度相关的通道和空间位置区域,增强了网络对通道和空间位置上敏感特征的表达能力,解决了特征冗余问题。结果 实验在Flickr高清人脸数据集（Flickr-faces-high-quality,FFHQ）上训练,在名人人脸属性高清数据集（large-scale celebfaces attributes dataset-high quality,Celeba-HQ）上测试,将本文提出的PDA-GAN与最新的3种人脸年龄图像合成网络进行定性和定量比较,以验证本文方法的有效性。实验结果表明,PDA-GAN显著提升了人脸年龄合成的身份置信度和年龄估计准确度,具有良好的身份信息保留和年龄操控能力。结论 本文方法能够合成具有较高真实度和准确性的目标年龄人脸图像。     

注意力机制改进卷积神经网络的遥感图像目标检测

目的 遥感图像目标检测是遥感图像处理的核心问题之一,旨在定位并识别遥感图像中的感兴趣目标。为解决遥感图像目标检测精度较低的问题,在公开的NWPU_VHR-10数据集上进行实验,对数据集中的低质量图像用增强深度超分辨率（EDSR）网络进行超分辨率重构,为训练卷积神经网络提供高质量数据集。方法 对原Faster-RCNN （region convolutional neural network）网络进行改进,在特征提取网络中加入注意力机制模块获取更多需要关注目标的信息,抑制其他无用信息,以适应遥感图像视野范围大导致的背景复杂和小目标问题;并使用弱化的非极大值抑制来适应遥感图像目标旋转;提出利用目标分布之间的互相关对冗余候选框进一步筛选,降低虚警率,以进一步提高检测器性能。结果 为证明本文方法的有效性,进行了两组对比实验,第1组为本文所提各模块间的消融实验,结果表明改进后算法比原始Faster-RCNN的检测结果高了12.2%,证明了本文所提各模块的有效性。第2组为本文方法与其他现有方法在NWPU_VHR-10数据集上的对比分析,本文算法平均检测精度达到79.1%,高于其他对比算法。结论 本文使用EDSR对图像进行超分辨处理,并改进Faster-RCNN,提高了算法对遥感图像目标检测中背景复杂、小目标、物体旋转等情况的适应能力,实验结果表明本文算法的平均检测精度得到了提高。     

融入混合注意力的可变形空洞卷积近岸SAR小舰船检测

目的 在近岸合成孔径雷达(synthetic aperture radar, SAR)图像舰船检测中,由于陆地建筑及岛屿等复杂背景的影响,小型舰船与周边相似建筑及岛屿容易混淆。现有方法通常使用固定大小的方形卷积核提取图像特征。但是小型舰船在图像中占比较小,且呈长条形倾斜分布。固定大小的方形卷积核引入了过多背景信息,对分类造成干扰。为此,本文针对SAR图像舰船目标提出一种基于可变形空洞卷积的骨干网络。方法 首先用可变形空洞卷积核代替传统卷积核,使提取特征位置更贴合目标形状,强化对舰船目标本身区域和边缘特征的提取能力,减少背景信息提取。然后提出3通道混合注意力机制来加强局部细节信息提取,突出小型舰船与暗礁、岛屿等的差异性,提高模型细分类效果。结果 在SAR图像舰船数据集HRSID(high-resolution SAR images dataset)上的实验结果表明,本文方法应用在Cascade-RCNN(cascade region convolutional neural network)、YOLOv4(you only look once v4)和BorderDet(border d...     

空洞可分离卷积和注意力机制的实时语义分割

目的 为满足语义分割算法准确度和实时性的要求,提出了一种基于空洞可分离卷积模块和注意力机制的实时语义分割方法。方法 将深度可分离卷积与不同空洞率的空洞卷积相结合,设计了一个空洞可分离卷积模块,在减少模型计算量的同时,能够更高效地提取特征;在网络输出端加入了通道注意力模块和空间注意力模块,增强对特征的通道信息和空间信息的表达并与原始特征融合,以进一步提高特征的表达能力;将融合的特征上采样到原图大小,预测像素类别,实现语义分割。结果 在Cityscapes数据集和CamVid数据集上进行了实验验证,分别取得70.4%和67.8%的分割精度,速度达到71帧/s,而模型参数量仅为0.66 M。在不影响速度的情况下,分割精度比原始方法分别提高了1.2%和1.2%,验证了该方法的有效性。同时,与近年来的实时语义分割方法相比也表现出一定优势。结论 本文方法采用空洞可分离卷积模块和注意力模块,在减少模型计算量的同时,能够更高效地提取特征,且在保证实时分割的情况下提升分割精度,在准确度和实时性之间达到了有效的平衡。     

基于注意力机制的多尺度空洞卷积神经网络模型

现有的时间知识图谱表示方法不能较好地捕获四元组内的复杂关系,而基于神经网络的模型大都无法建模随时间变化的知识,不能捕获丰富的特征信息,实体和关系间的交互性也较差.因此,文中提出基于注意力机制的多尺度空洞卷积神经网络模型.首先利用长短期记忆网络获得时间感知的关系表示.再利用多尺度空洞卷积神经网络提高四元组的交互性.最后,使用多尺度注意力机制捕获关键特征,提高模型的补全能力.在多个公开时间数据集上的链路预测实验表明,文中模型性能较优.     

基于注意力机制和上下文信息的目标检测算法

针对目标检测过程中存在的小目标漏检问题,提出一种基于注意力机制和多尺度上下文信息的改进YOLOv5目标检测算法。首先,在特征提取结构中加入多尺度空洞可分离卷积模块（MDSCM）以提取多尺度特征信息,在增大感受野的同时避免小目标信息的丢失;其次,在主干网络中添加注意力机制,并在通道信息中嵌入位置感知信息,进一步增强算法的特征表达能力;最后,使用Soft-NMS(Soft-Non-Maximum Suppression)代替YOLOv5使用的非极大值抑制（NMS）,降低检测算法的漏检率。实验结果表明,改进算法在PASCAL VOC数据集、DOTA航拍数据集和DIOR光学遥感数据集上的检测精度分别达到了82.80%、71.74%和77.11%,相较于YOLOv5,分别提高了3.70、1.49和2.48个百分点;而且它对图像中小目标的检测效果更好。因此,改进的YOLOv5可以更好地应用到小目标检测场景中。     

基于反馈机制与空洞卷积的道路小目标检测网络

随着卷积神经网络与特征金字塔的发展,目标检测在大、中目标上取得了突破,但对于小目标存在漏检、检测精度低等问题。在YOLOv4算法的基础上进行改进,提出YOLOv4-RF算法,进一步提高模型对小目标的检测性能。使用空洞卷积替换YOLOv4中Neck部分的池化金字塔,在网络更深处减少语义丢失的同时获得更大的感受野。在此基础上,对主干网络进行轻量化并增加特征金字塔到主干网络的反馈机制,对来自浅层与深层融合的特征再次处理,保留更多小目标的特征信息,提高网络分类和定位的有效性。鉴于小目标物体属于困难检测样本,引入Focal Loss损失函数,增大困难样本的损失权重,形成YOLOv4-RF算法。在KITTI数据集上的实验数据表明,YOLOv4-RF在各个类别上的检测精度均高于YOLOv4,并在模型缩小138 MB的基础上提高了1.4%的平均精度均值(MAP@0.5)。     

结合一维扩展卷积与Attention机制的NLP模型

自然语言处理作为人工智能的一个分支,在日常生活中有着广泛的应用.随着循环神经网络在自然语言处理领域的应用以及循环神经网络的不断演进与迭代,自然语言处理有了很大的飞跃.循环神经网络也因此迅速成为自然语言处理领域的主流算法,但是其具有结构复杂和训练时间漫长的缺点.提出一种基于一维扩展卷积和Attention机制的自然语言处...     

基于双注意力机制的遥感图像目标检测

针对遥感图像在复杂背景下小目标检测精度较低的问题,提出一种基于双注意力机制模型的SSD检测算法。该算法在前端特征提取网络中引入双注意力机制模型,强化低层特征图中小目标的有效特征信息并抑制冗余的语义信息,实现自适应特征学习;并在空间注意力模型中引入空洞卷积,保证卷积核感受野的同时减少了网络参数。引入Focal loss损失函数作为改进算法的分类损失函数,改善网络在训练过程中样本失衡的问题,增加正样本与难样本在训练时的权重比例,提升算法的检测性能。对遥感图像数据集NWPU VHR-10进行检测的结果表明,本文的改进算法在保证检测速度的同时提高了检测精度。与传统SSD算法相比,改进SSD算法的mAP提高了2.25个百分点,达到79.65%。     

基于可分离卷积和注意力机制的晶圆缺陷检测

为对半导体晶圆的表面缺陷进行快速检测,提出一种基于深度可分离卷积和注意力机制的轻量级网络,并在WM-811K数据集上进行了实验.为解决该数据集中9种不同类别的缺陷比例相对不平衡问题,采用了数据增强方法对较少数据的缺陷类别进行数据扩充.本文模型中的深度可分离卷积可以降低模型的参数量,提高模型的推理速度;注意力机制可以使模型更加关注晶圆图像中有缺陷的区域,使模型达到更好的分类效果.实验表明,所提方法在WM-811K数据集上的平均准确率高达96.5%,相对于ANN、VGG16、MobileNetv2等方法均有不同程度的提高,并且参数量和运算量只是经典轻量级网络MobileNetv2的73.5%和28.6%.     

融合空洞卷积的轻量化目标检测

为了轻量化模型,便于移动端设备的嵌入,对YOLOv4网络进行了改进.首先,用MobileNetV3作为主干网络,并使用深度可分离卷积替换加强特征提取网络的普通卷积,降低模型参数量;其次,在104×104特征图输出时融合空洞率为2的空洞卷积,与52×52的特征层进行特征融合,获取更多的语义信息和位置信息,细化特征提取能力,提升模型对极小目标的检测性能;最后,将原来的池化层使用3个5×5的Maxpool进行串联,减少计算量,提升检测速度.实验结果表明,在华为云2020数据集上,改进算法的mAP比YM算法提高了2.33%,在公共数据集VOC07+12上, mAP提高了3.12%, FPS比原来的YOLOv4算法提高了一倍多,参数量降低至原来的18%,证明了改进算法的有效性.     

一种基于空洞卷积的遮挡目标检测方法

本文提出了一种基于两阶段目标检测的方法,该方法基于FasterR-CNN模型,以ResNet50为主干网络,利用特征金字塔网络融合多个特征层的上下文信息,并在后续特征图的处理过程中加入空洞卷积,以扩大特征图的感受野,增强对遮挡目标的检测。     

基于空洞卷积与特征增强的单阶段目标检测算法

基于卷积神经网络目标检测算法的浅层特征图包含丰富的细节信息,但缺乏语义信息,而深层特征图则相反.为充分利用浅层和深层特征图特征,解决多尺度目标检测问题,提出一种新的单阶段目标检测算法(AFE-SSD).以SSD算法为基础,分别对该算法中相邻的2个特征图进行特征融合,从而丰富浅层特征层的语义信息.通过对并行空洞卷积机制进...     

嵌入空洞卷积模块的改进YOLOv3车辆检测算法

对图像或者视频中的车辆进行检测是计算机视觉领域研究的热点之一,同时也是智能交通系统的重要组成部分.鉴于车辆检测场景复杂多变以及现有的车辆检测算法不能同时满足高精度以及高实时性的要求,本文提出一种改进的YOLOv3车辆检测算法,并自建车辆检测数据集.首先在原有及特征提取网络Darknet-53中嵌入空洞卷积模块,以减少目...     

基于注意力机制与特征融合的课堂抬头率检测算法

课堂教学是整个教育任务中的重要环节,教育信息化的发展为提升教学管理水平提供了更多方案。为加强教学情况正反馈,提高课堂抬头率检测的准确性,提出一种结合注意力机制和特征融合的新型检测算法。将原图及视觉特征RGB difference作为网络输入,令其经过特征提取网络后得到信息更丰富的深层特征。在此基础上,提出一种改进的注意力模型（ICBAM）并加载至特征提取网络上,ICBAM使用通道注意力模块和空间注意力模块并行的双流结构,提升网络的特征提取能力。在通道注意力和空间注意力中加入空洞卷积以过滤输入特征中的冗余特征,减少网络对背景等无用特征的关注。此外,设计精炼模块优化预测结果,并在所提算法的基础上实现课堂行为分析软件的开发与应用。实验结果表明,该算法在抬头率检测数据集RDS上的平均抬头率误差为15.648%,相比于SolvePnP等主流检测算法具有更低的误差率。     

基于Coordinate Attention和空洞卷积的异物识别

在我国工厂的工业化生产中, 带式运输机占有重要的地位, 但是在其运输物料的过程中, 常有木板、金属管、大型金属片等混入物料中, 从而对带式运输机的传送带造成损毁, 引起巨大的经济损失. 为了检测出传送带上的不规则异物, 设计了一种新的异物检测方法. 针对传统异物检测方法中存在的对于图像特征提取能力不足以及网络感受野相对较小的问题, 我们提出了一种基于coordinate attention和空洞卷积的单阶段异物识别方法. 首先, 网络利用coordinate attention机制, 使网络更加关注图像的空间信息, 并对图像中的重要特征进行了增强, 增强了网络的性能; 其次, 在网络提取多尺度特征的部分, 将原网络的静态卷积变为空洞卷积, 有效减少了常规卷积造成的信息损失; 除此之外, 我们还使用了新的损失函数, 进一步提高了网络的性能. 实验结果证明, 我们提出的网络能有效识别出传送带上的异物, 较好地完成异物检测任务.