结合全局上下文与融合注意力的干涉相位去噪

目的 干涉相位去噪是合成孔径雷达干涉测量（interferometric synthetic aperture radar,InSAR）技术中的关键环节,其效果对测量精度具有重要影响。针对现有的干涉相位去噪方法大多关注局部特征以及在特征提取方面的局限性,同时为了平衡去噪和结构保持两者之间的关系,提出了一种结合全局上下文与融合注意力的相位去噪网络GCFA-PDNet(global context and fused attention phase denoising network)。方法 将干涉相位分离为实部和虚部依次输入到网络,先从噪声相位中提取浅层特征,再将其映射到由全局上下文提取模块和融合注意力模块组成的特征增强模块,最后通过全局残差学习生成去噪图像。全局上下文提取模块能提取全局上下文信息,具有非局部方法的优势;融合注意力模块既强调关键特征,又能高效提取隐藏在复杂背景中的噪声信息。结果 所提出的方法与对比方法中性能最优者相比,在模拟数据结果的平均峰值信噪比（peak signal to noise ratio, PSNR）和结构相似性（structural similarity,...     

融合滤波增强和反转注意力网络用于息肉分割

准确分割结肠镜获取图像中的息肉区域,可辅助医生诊断肠道疾病,但下采样过程中息肉区域结构信息缺失,现有方法存在过度分割和欠分割的问题。为解决以上问题,提出融合滤波增强和反转注意力分割网络（FFRNet）。首先,在跳级连接中加入了滤波增强模块（FEM）,以增强下采样特征中局部病灶区域的结构信息;其次,通过聚合浅层特征来获取全局特征;最后,在上采样过程中采用多尺度反转注意力融合机制（MAFM）,结合全局特征和上采样特征生成反转注意力权重,逐层挖掘特征中的息肉区域信息,引导网络建立目标区域与边界之间的关系,以提高模型对息肉区域分割的完整性。在Kvasir和CVC-ClinicDB数据集上,与不确定性增强上下文注意力网络（UACANet）相比,FFRNet的Dice相似系数（DSC）分别提升了0.22%和0.54%。实验结果表明,FFRNet能够有效提高息肉图像分割精度,同时具有较好的泛化能力。     

融合多尺度特征与全局上下文信息的X光违禁物品检测

目的 X光图像违禁物品检测一直是安检领域的一个基础问题,安检违禁物品形式各异,尺度变化大,以及透视性导致大量物体堆放时出现重叠遮挡现象,传统图像处理模型很容易出现漏检误检,召回率低。针对以上问题,提出一种融合多尺度特征与全局上下文信息的特征增强融合网络（feature enhancement fusion network,FEFNet）用于X光违禁物品检测。方法 首先针对特征主干网络darknet53,加入空间坐标的注意力机制,将位置信息嵌入到通道注意力中,分别沿两个空间方向聚合特征,增强特征提取器对违禁目标的特征提取能力,抑制背景噪声干扰。然后,将特征提取主干网络输出的特征编码为1维向量,利用自监督二阶融合获取特征空间像素相关性矩阵,进而获取完整的全局上下文信息,为视觉遮挡区域提供全局信息指导。针对违禁物品尺度不一的问题,提出多尺度特征金字塔融合模块,增加一层小感受野预测特征用于提高对小尺度违禁目标的检测能力。最后,通过融合全局上下文特征信息和局部多尺度细节特征解决违禁物品之间的视觉遮挡问题。结果 在SIXRay-Lite （security inspection X-ray）数据集上进行训练和验证,并与SSD （single shot detection）、Faster R-CNN、RetinaNet、YOLOv5（you only look once）和ACMNet （asymmetrical convolution multi-view neural network）模型进行了对比实验。结果表明,本文模型在SIXray-Lite数据集上的mAP （mean average precision）达到85.64%,特征增强融合模块和多尺度特征金字塔融合模块较原有模型分别提升了6.73%和5.93%,总体检测精度较原有检测网络提升了11.24%。结论 提出的特征增强融合检测模型能够更好地提取显著差异特征,降低背景噪声干扰,提高对多尺度以及小型违禁物品的检测能力。同时利用全局上下文特征信息和多尺度局部特征相结合,有效地缓解了违禁物品之间的视觉遮挡现象,在保证实时性的同时有效地提高了模型的整体检测精度。     

基于Transformer的跨尺度交互学习伪装目标检测

伪装目标检测(COD)旨在精确且高效地检测出与背景高度相似的伪装物体, 其方法可为物种保护、医学病患检测和军事监测等领域提供助力, 具有较高的实用价值. 近年来, 采用深度学习方法进行伪装目标检测成为一个比较新兴的研究方向. 但现有大多数COD算法都是以卷积神经网络(CNN)作为特征提取网络, 并且在结合多层次特征时, 忽略了特征表示和融合方法对检测性能的影响. 针对基于卷积神经网络的伪装目标检测模型对被检测目标的全局特征提取能力较弱问题, 提出一种基于Transformer的跨尺度交互学习伪装目标检测方法. 该模型首先提出了双分支特征融合模块, 将经过迭代注意力的特征进行融合, 更好地融合高低层特征; 其次引入了多尺度全局上下文信息模块, 充分联系上下文信息增强特征; 最后提出了多通道池化模块, 能够聚焦被检测物体的局部信息, 提高伪装目标检测准确率. 在CHAMELEON、CAMO以及COD10K数据集上的实验结果表明, 与当前主流的伪装物体检测算法相比较, 该方法生成的预测图更加清晰, 伪装目标检测模型能取得更高精度.     

高低维特征引导的实时语义分割网络

多数语义分割网络利用双线性插值将高级特征图的分辨率恢复至与低级特征图一样的分辨率再进行融合操作,导致部分高级语义信息在空间上无法与低级特征图对齐,进而造成语义信息的丢失。针对以上问题,改进双边分割网络（BiSeNet）,并基于此提出一种高低维特征引导的实时语义分割网络（HLFGNet）。首先,提出高低维特征引导模块（HLFGM）来通过低级特征图的空间位置信息引导高级语义信息在上采样过程中的位移;同时,利用高级特征图来获取强特征表达,并结合注意力机制来消除低级特征图中冗余的边缘细节信息以及减少像素误分类的情况。其次,引入改进后的金字塔池化引导模块（PPGM）来获取全局上下文信息并加强不同尺度局部上下文信息的有效融合。在Cityscapes验证集和CamVid测试集上的实验结果表明,HLFGNet的平均交并比（mIoU）分别为76.67%与70.90%,每秒传输帧数分别为75.0、96.2;而相较于BiSeNet,HLFGNet的mIoU分别提高了1.76和3.40个百分点。可见,HLFGNet能够较为准确地识别场景信息,并能满足实时性要求。     

采用特征引导机制的显著性检测网络

近年来,基于全卷积网络的显著性物体检测方法较手工选取特征的方法已经取得了较大的进展,但针对复杂场景图像的检测仍存在一些问题需要解决。提出了一种新的基于全局特征引导的显著性物体检测模型,研究深层语义特征在多尺度多层次特征表达中的重要作用。以特征金字塔网络的编解码结构为基础,在自底而上的路径中,设计了全局特征生成模块（GGM）,准确提取显著性物体的位置信息;构建了加强上下文联系的残差模块（RM）,提取各侧边输出的多尺度特征;采用特征引导流（GF）融合全局特征生成模块和残差模块,利用深层语义特征去引导浅层特征提取,高亮显著目标的同时抑制背景噪声。实验结果表明,在5个基准数据集上与11种主流方法相比,该模型具有优越性。     

基于多级特征和混合注意力机制的室内人群检测网络

针对室内人群目标尺度和姿态多样性、人头目标易与周围物体特征混淆的问题,提出了一种基于多级特征和混合注意力机制的室内人群检测网络（MFANet）。该网络结构包括三部分,即特征融合模块、多尺度空洞卷积金字塔特征分解模块以及混合注意力模块。首先,通过将浅层特征和中间层特征信息融合,形成包含上下文信息的融合特征,用于解决浅层特征图中小目标语义信息不丰富、分类能力弱的问题;然后,利用空洞卷积增大感受野而不增加参数的特性,对融合特征进行多尺度分解,形成新的小目标检测分支,实现网络对多尺度目标的定位和检测;最后,用局部混合注意力模块来融合全局像素关联空间注意力和通道注意力,增强对关键信息贡献大的特征,来增强网络对目标和背景的区分能力。实验结果表明,所提方法在室内监控场景数据集SCUT-HEAD上达到了0.94的准确率、0.91的召回率和0.92的F1分数,在召回率、准确率和F1指标上均明显优于当前用于室内人群检测的其他算法。     

面向RGB-D场景解析的三维空间结构化编码深度网络

有效的RGB-D图像特征提取和准确的3D空间结构化学习是提升RGB-D场景解析结果的关键。目前,全卷积神经网络（FCNN）具有强大的特征提取能力,但是,该网络无法充分地学习3D空间结构化信息。为此,提出了一种新颖的三维空间结构化编码深度网络,内嵌的结构化学习层有机地结合了图模型网络和空间结构化编码算法。该算法能够比较准确地学习和描述物体所处3D空间的物体分布。通过该深度网络,不仅能够提取包含多层形状和深度信息的分层视觉特征（HVF）和分层深度特征（HDF）,而且可以生成包含3D结构化信息的空间关系特征,进而得到融合上述3类特征的混合特征,从而能够更准确地表达RGB-D图像的语义信息。实验结果表明,在NYUDv2和SUNRGBD标准RGB-D数据集上,该深度网络较现有先进的场景解析方法能够显著提升RGB-D场景解析的结果。     

基于全局和局部信息的视频记忆度预测

视频的记忆度是一种度量指标,用来表示一段视频能够普遍被人记住的程度.令人记忆深刻而难忘的视频具有很大的潜在价值,因此对能够进行大规模视频记忆度自动预测的模型将会有广大的应用前景和市场,例如视频检索,数字内容推荐,广告设计,教育系统等等.现有的大部分工作都是直接利用深度神经网络学习到的一个全局表示来进行记忆度的预测,没有给予局部的细节足够的重视.本文提出了一个基于全局和局部信息的视频记忆度预测模型,其中包含三个模块：全局性的上下文表示模块,空间布局表示模块和局部的物体注意力模块.在实验结果中,全局性的上下文表示模块和局部的物体注意力模块分别有很好的表现.而空间布局表示模块的预测能力虽不如其他二者,但三个模块的融合是结果有了进一步的提升.最后,我们在MediaEval 2018 Media Memorability PredictionTask的数据集上证明了模型的有效性.     

结合自注意力和特征自适应融合的语义分割算法

针对场景图像语义分割任务中存在多尺度目标以及特征提取网络缺乏对全局上下文信息的获取等问题,设计了一种嵌入改进自注意力机制以及自适应融合多尺度特征的双路径分割算法。在空间路径利用双分支的简易下采样模块进行4倍下采样提取高分辨率的边缘细节信息,使网络对目标边界分割更精确。在语义路径嵌入上下文捕获模块和自适应特征融合模块,为解码阶段提供具有丰富多尺度的高语义上下文信息,并采用类别平衡策略进一步提升分割效果。经过实验验证,该模型在Camvid和Aeroscapes数据集上的MIOU(mean intersection over union)指标分别为59.4％和60.1％,具有较好的分割效果。     

基于动态卷积核的自适应图像去雾算法

现有图像去雾方法普遍存在去雾不彻底、容易出现颜色失真等问题,基于传统深度学习模型的图像去雾方法多采用静态推理模式,在该模式下,模型对不同样本会采用同样的、固定的参数设置,从而抑制了模型的表达能力,影响图像的去雾效果。针对以上问题,文中提出了一种基于动态卷积核的自适应图像去雾算法,该算法包括编码网络、自适应特征增强网络和解码网络3个部分。文中采用动态卷积、密集残差、注意力机制设计了自适应特征增强网络,该网络主要包括动态残差组件和动态跨层特征融合组件。动态残差组件由动态密集残差模块、一个卷积层和双注意力模块构成,其中动态密集残差模块将动态卷积引入密集残差模块,同时设计了一个基于注意力的权重动态聚合子网络,动态地生成卷积核参数以达到样本自适应的目的,在减少信息丢失的同时增强了模型的表达能力;双注意力模块结合通道注意力和像素注意力,使模型更加关注图像通道之间的差异性以及雾霾分布不均匀的区域。动态跨层特征融合组件通过动态融合不同阶段的特征,来学习丰富的上下文信息,防止网络深层计算时遗忘网络的早期特征,同时极大地丰富了特征表示,有利于模型对无雾图像细节信息的恢复。在合成数据集和真实数据集上进行了大...     

基于BERT的双特征融合注意力的方面情感分析模型

方面情感分析旨在预测句子或文档中一个特定方面的情感极性，现阶段大部分的研究都是使用注意力机制对上下文进行建模。然而，目前情感分类模型在使用BERT模型计算表征之间的依赖关系抽取特征时，大多未根据不同的语境背景考虑上下文信息，导致建模后的特征缺乏上下文的语境信息。同时，方面词的重要性未能得到充分的重视而影响模型整体分类的性能。针对上述问题，提出双特征融合注意力方面情感分析模型（DFLGA-BERT），分别设计了局部与全局的特征抽取模块，充分捕捉方面词和上下文的语义关联。并将一种改进的“准”注意力添加到DFLGA-BERT的全局特征抽取器中，使模型学习在注意力的融合中使用减性注意力以削弱噪声产生的负面影响。基于条件层规泛化（CLN）设计了局部特征和全局特征的特征融合结构来更好地融合局部和全局特征。在SentiHood和SemEval 2014 Task 4数据集上进行了实验，实验结果表明，与基线模型相比该模型在融入了上下文语境特征后取得了较明显的性能提升。     

融合CNN-SAM与GAT的多标签文本分类模型

现有基于神经网络的多标签文本分类研究方法存在两方面不足,一是不能全面提取文本信息特征,二是很少从图结构数据中挖掘全局标签之间的关联性。针对以上两个问题,提出融合卷积神经网络-自注意力机制（CNNSAM）与图注意力网络（GAT）的多标签文本分类模型（CS-GAT）。该模型利用多层卷积神经网络与自注意力机制充分提取文本局部与全局信息并进行融合,得到更为全面的特征向量表示;同时将不同文本标签之间的关联性转变为具有全局信息的边加权图,利用多层图注意力机制自动学习不同标签之间的关联程度,将其与文本上下文语义信息进行交互,获取具有文本语义联系的全局标签信息表示;使用自适应融合策略进一步提取两者特征信息,提高模型的泛化能力。在AAPD、RCV1-V2与EUR-Lex三个公开英文数据集上的实验结果表明,该模型所达到的多标签分类效果明显优于其他主流基线模型。     

基于场景先验及注意力引导的跌倒检测算法

已有跌倒检测工作主要关注室内场景,且大多偏重对人员身体姿态特征进行建模,而忽略了场景背景信息以及人员与地面的交互信息。针对这个问题,从实际电梯场景应用入手,提出一种基于场景先验及注意力引导的跌倒检测算法。首先,利用电梯历史数据,以高斯概率分布建模的方式从人员的活动轨迹中自动化地学习场景先验信息;随后,把场景先验信息作为空间注意力掩膜与神经网络的全局特征融合,以此聚焦地面区域的局部信息;然后,将融合后的局部特征与全局特征采用自适应加权的方式进一步聚合,从而形成更具鲁棒性和判别力的特征;最后,将特征送入由全局平均池化层和全连接层构成的分类模块中进行跌倒类别预测。在自构建的电梯场景Elevator Fall Detection和公开的UR Fall Detection数据集上的实验结果表明,所提算法的检测准确率分别达到了95.36%和99.01%,相较于网络结构复杂的ResNet50算法,分别提高了3.52个百分点和0.61个百分点。可见所构建的高斯场景先验引导的注意力机制可使网络关注地面区域的特征,更有利于对跌倒的识别,由此得到的检测模型准确率高且算法满足实时性应用要求。     

面向多模态交互式融合与渐进式优化的三维视觉理解

三维视觉理解旨在智能地感知和解释三维场景,实现对物体、环境和动态变化的深入理解与分析。三维目标检测作为其核心技术,发挥着不可或缺的作用。针对当前的三维检测算法对于远距离目标和小目标检测精度较低的问题,提出了一种面向多模态交互式融合与渐进式优化的三维目标检测方法MIFPR。在特征提取阶段,首先引入自适应门控信息融合模块。通过把点云的几何特征融入图像特征中,能够获取对光照变化更有辨别力的图像表示。随后提出基于体素质心的可变形跨模态注意力模块,以驱使图像中丰富的语义特征和上下文信息融合到点云特征中。在目标框优化阶段,提出渐进式注意力模块,通过学习、聚合不同阶段的特征,不断增强模型对于精细化特征的提取与建模能力,逐步优化目标框,以提升对于远距离、小目标的检测精度,进而提高对于视觉场景理解的能力。在KITTI数据集上,所提方法对于Pedestrian和Cyclist等小目标的检测精度较最优基线有明显提升,证实了该方法的有效性。     

一种上下文信息融合的安全帽识别算法

为了预防人员防护缺失导致的生产事故,着力探究复杂施工场景下人员安全帽佩戴情况的智能化识别。在一阶段目标检测算法的基础上,针对安全帽识别问题中的小目标和安全帽纹理信息缺失的问题,提出提取并融合上下文信息,以增强模型的表征学习能力。首先,为解决特征鉴别力不足的问题,提出局部上下文感知模块和全局上下文融合模块。局部上下文感知模块能够融合人体头部信息和安全帽信息获取具有鉴别力的特征表示;全局上下文融合模块将高层的语义信息与浅层特征融合,提升浅层特征的抽象能力。其次,为了解决小目标识别问题,提出使用多个不同的目标检测模块分别识别不同大小的目标。在构建的复杂施工场景下的安全帽识别数据集上的实验结果表明：提出的2个模块将mAP提高了11.46个百分点,安全帽识别的平均精度提高了10.55个百分点。本文提出的方法具有速度快、精度高的特点,为智慧工地提供了有效的技术解决方案。     

基于U形多尺度注意力方法的真实图像去噪

针对真实世界图像去噪算法存在对上下文信息和全局信息利用不足导致的去噪效果不佳问题,提出一种U形金字塔注意力网络(UPCA)。U形结构由多尺度特征模块与长距离通道注意力模块融合形成的金字塔注意力模块组成,U形结构通过拼接操作可以将每一层的输出特征图融合,减少卷积过程以及下采样过程中图像细节特征的丢失。多尺度特征金字塔模块可以更好地利用上下文信息从而更好地恢复出干净的图像,而建立长距离依赖的通道注意力模块可以更好地利用全局信息,提高网络的去噪效果。同时在损失函数部分加入噪声项来加快训练时收敛的速度以及提高去噪效果。UPCA网络在数据集SIDD和DND进行对比实验,验证了UPCA网络的可行性和先进性,同时与同样使用通道注意力的RIDNet相比UPCA网络的PSNR/SSIM指标提升了0.81 dB/0.044,去噪后的效果图直观表现也更好,而且同等参数下训练所需的算力更小。     

红外与可见光图像分组融合的视觉Transformer

目的 针对传统红外与可见光图像融合方法中人工设计特征提取和特征融合的局限性,以及基于卷积神经网络(convolutional neural networks, CNN)的方法无法有效提取图像中的全局上下文信息和特征融合过程中融合不充分的问题,本文提出了基于视觉Transformer和分组渐进式融合策略的端到端无监督图像融合网络。方法 首先,将在通道维度上进行自注意力计算的多头转置注意力模块和通道注意力模块组合成视觉Transformer,多头转置注意力模块解决了自注意力计算量随像素大小呈次方增大的问题,通道注意力可以强化突出特征。其次,将CNN和设计的视觉Transformer并联组成局部—全局特征提取模块,用来提取源图像中的局部细节信息和全局上下文信息,使提取的特征既具有通用性又具有全局性。此外,为了避免融合过程中信息丢失,通过将特征分组和构造渐进残差结构的方式进行特征融合。最后,通过解码融合特征得到最终的融合图像。结果 实验在TNO数据集和RoadScene数据集上与6种方法进行比较。主观上看,本文方法能够有效融合红外图像和可见光图像中的互补信息,得到优质的融合图像。从客观定量分析...     

用于肺部病灶图像分割的多尺度稠密融合网络

针对主流的深度学习网络难以完整分割肺部病灶、区域边界预测模糊的问题，提出一种基于U-Net的多尺度稠密融合网络（MDF-Net）。首先，引入多分支密集跳层连接以捕获多级上下文信息，并在网络末端引入信息加权融合（IWF）模块进行逐级融合，以解决网络中的特征损失问题；其次，设计一种自注意力金字塔模块，使用各金字塔层对特征图进行不同规模的切分处理，并使用自注意力机制计算像素关联度，从而增强局部与全局区域的感染特征显著性；最后，设计一种区别于传统U-Net的上采样模式的上采样残差（UR）模块，多分支的残差结构与通道特征激励使网络能够还原更加丰富的微小病灶特征。在两个公开数据集上的实验结果显示，与UNeXt相比，所提网络的准确度（ACC）分别提升了1.5%和1.4%，平均交并比（MIoU）分别提升了3.9%和1.9%，实验结果验证了MDF-Net具有更好的肺部病灶分割性能。     

基于改进自注意力机制的金字塔场景解析网络

金字塔场景解析网络存在图像细节信息随着网络深度加深而丢失的问题，导致小目标与物体边缘语义分割效果不佳、像素类别预测不够准确。提出一种基于改进自注意力机制的金字塔场景解析网络方法，将自注意力机制的通道注意力模块与空间注意力模块分别加入到金字塔场景解析网络的主干网络和加强特征提取网络中，使网络中的两个子网络能够分别从通道和空间两个方面提取图像中更重要的特征细节信息。针对现有的图像降维算法无法更好地提高自注意力机制计算效率的问题，在分析“词汇”顺序对自注意力机制计算结果影响的基础上，利用希尔伯特曲线遍历设计新的图像降维算法，并将该算法加入到空间自注意力模块中，以提高其计算能力。仿真实验结果表明，该方法在PASCAL VOC 2012和息肉分割数据集上的精度均有提高，小目标与物体边缘分割更加精细，其中在VOC 2012训练集中平均交并比与平均像素精度分别达到75.48%、85.07%，较基准算法分别提升了0.68、1.35个百分点。