融合残差结构和注意力机制的下颌骨CT图像分割方法

针对传统深度学习方法在下颌骨CT图像分割中存在的问题,本文提出一种融合残差结构和注意力机制的改进Unet网络。将注意力机制融入Unet的解码器,构建上采样注意力模块,在不同维度上进行平均池化和最大池化,使网络更加关注下颌骨区域的信息,增强下颌骨分割能力;将残差结构融入Unet网络的编码器,解决深度网络训练时的网络退化和梯度消失问题;采用迁移学习训练的方法,避免因下颌骨图像数据不足导致的网络收敛慢的问题。对比实验表明,改进Unet网络平均交并比达到94.68%,各评价指标均优于FCN、DeeplabV1和SegNet网络。     

一种融合残差机制和注意力机制的深度语音去噪方法

针对深度网络模型进行端到端语音去噪时存在对语音底层信息表示能力不足以及网络只采用卷积级联的方式造成参数冗余的问题,提出了一种融合残差机制和注意力机制的生成对抗网络去噪模型(Attention Res-UNetGAN).模型在波形域对语音进行去噪,其生成网络为U-Net结构,包含下采样层、中间层和上采样层.中间层为改进的...     

基于多重注意力机制的多模态脑肿瘤图像分割

本文提出了一种新型的多模态脑肿瘤图像分割方法,该方法将3种注意力机制与传统U-Net模型相结合,从三维多模态MRI医学图像中分割脑肿瘤。所提出的模型分为编码器、解码器、特征融合和瓶颈层4部分,各采用不同的注意力机制,增强了多模态信息提取能力。在特征融合部分,提出了一种新的注意力模块—注意力门控传播模块(AGPM),该模块将通道注意力和注意力门结合起来,沿通道维度和空间维度依次推断注意力映射;瓶颈层部分,在卷积层之间应用了一个多头自注意力层(MHSA)来增强感受野。此外,在模型的瓶颈层部分加入了一种新的注意力模块—多头特征增强模块(MHFEM),来补充多尺度信息。通过在BraTS2020数据集上的实验结果,表明了所提模型的有效性。     

基于残差神经网络和注意力机制的频谱感知方法

随着通信技术的发展,频谱感知技术已经成为解决频谱资源稀缺的重要解决手段之一。针对传统的频谱感知方法在低信噪比(Signal to Noise Ratio, SNR)下准确率较低的问题,提出一种基于残差神经网络和注意力机制相结合的正交频分复用(Orthogonal Frequency Division Multiplexing, OFDM)频谱感知方法。将频谱感知问题转化为图像二分类任务。通过分析OFDM信号的循环自相关特征,将其灰度处理以生成循环自相关灰度图像。利用改进后的残差神经网络进行训练,提取这些灰度图像的深层特征,使用测试数据验证所得到的频谱感知模型。仿真实验结果表明,在低SNR条件下,所提方法表现出更出色的频谱感知性能,优于传统频谱感知技术。     

基于特征融合和注意力机制的目标分割跟踪算法

在当前的目标跟踪领域,现有的基于分割的算法没有充分利用目标的长距离依赖信息和各个特征层的不同特性,前背景判别能力不强,对目标的多尺度估计不足。针对此问题,提出了自适应特征融合模块和混合域注意力模块,以提高网络对目标的多尺度估计能力和对目标的前背景辨别能力,并将其集成到当前基于视频分割的算法中,提出了一种新的目标跟踪算法,在各大公开数据集上的实验结果证明其达到了领先水平。     

融合通道注意力与残差密集的U-Net视网膜血管分割

视网膜血管的精准分割是辅助眼科医生诊断和大规模眼科疾病自动筛查的重要前提,已成为临床的迫切需求。针对现有视网膜细小血管分割不足以及精确度有待提高等问题,提出了一种融合通道注意力机制与残差密集连接模块的改进型U-Net算法,先利用通道注意机制来增强网络的识别能力,再利用残差密集模块代替传统的卷积模块来提升网络分割细小血管的性能。在DRIVE和CHASE数据集上的实验结果表明,与其他算法相比,该算法的ACC、SE、SP和AUC值均比较高,分割效果较好。     

分组双注意力语义分割网络

深度学习和自注意力机制的应用,使语义分割网络的性能得到了大幅提升.针对目前自注意力机制将每个像素的所有通道看作一个向量进行计算的粗糙性,基于空间维度和通道维度提出了一种分组双注意力网络.首先,将特征层分成多组;然后,自适应过滤掉每组特征层的无效基组,从而捕获精确的上下文信息;最后,将多组加权后的信息进行融合,获得较强的上下文信息.实验结果表明,本网络在两个数据集上的分割性能均优于双注意力网络,在PASCAL VOC2012验证集上的分割精度为85.6％,在Cityscapes验证集上的分割精度为71.7％.     

基于深度可分离卷积和残差注意力模块的车道线检测方法

针对全天候条件下道路车道线视觉检测技术存在的算法结构复杂、参数数量较多等问题,提出一种基于深度可分离卷积和残差注意力模块的车道线检测方法,建立了LPINet网络模型。利用深度可分离卷积减小输入图像尺寸,设计三种不同结构的瓶颈残差单元降低网络参数数量,引入ECANet注意力机制增加重要特征通道权重,提升车道线检测精度。在Tusimple数据集和GZUCDS自建数据集上的实验结果表明：在晴天场景下,LPINet网络车道线检测精度可达96.62%,且模型参数量降至1.64 MB,实现了轻量化设计;在雾天、雨天、夜晚和隧道复杂场景中进行了探索性研究,车道线检测精度达到93.86%,证明了方法的有效性。     

结合偏移自注意力机制和残差连接的点云分类北大核心CSCD

现有基于深度学习的点云分类网络通常无法有效利用点云特征间的相关信息,并且存在鲁棒较低的问题。为了提高点云分类网络对有效特征的提取能力,增强模型鲁棒性,本文提出了一种结合偏移自注意力机制和残差连接的点云分类网络。首先在PointCNN基础上引入偏移自注意力模块,更好地关注于有效特征;然后引入残差网络的思想,在注意力层增加残差连接,将残差连接和注意力层的输出特征进行融合形成点云特征;最后使用多层感知机对点云特征进行分类。将本文模型与PointNet、PointCNN、DGCNN等其他点云分类模型在ModelNet40数据集上进行对比实验,结果表明本文网络的分类效果更好,获得了最高的分类准确率92.9%,相比于PointCNN提升了0.7%。在鲁棒性实验中,本文网络相比于PointCNN,在稀疏点云上的总体分类准确率提升了2.4%,在噪声点云上提升了11.6%,表明本文网络具有更好的鲁棒性。     

融合注意力机制与残差网络的人耳识别方法

人耳特征具有良好的唯一性与稳定性等特点,近年来被广泛应用于身份识别领域。针对人耳采集易受头发、耳饰等物品遮挡问题,本文提出了一种基于ERNet的人耳识别方法。该方法在IResNet网络的基础上,引入改进的SE模块,通过融合最大池化与均值池化的统计特性,增强身份相关特征的表示,抑制非相关特征的影响,以此解决在非受控环境下由于遮挡原因造成的识别困难问题。大量实验结果表明,相比较于原网络,改进后的方法识别性能提高较为明显。在同等遮挡条件下,本文所提出的模型具有较好的鲁棒性能。     

基于多尺度特征融合和注意力机制的医学图像分割网络

针对传统编解码结构的医学图像分割网络存在特征信息利用率低、泛化能力不足等问题,该文提出了一种结合编解码模式的多尺度语义感知注意力网络(multi-scale semantic perceptual attention network,MSPA-Net) 。首先,该网络在解码路径加入双路径多信息域注意力模块(dual-channel multi-information domain attention module,DMDA) ,提高特征信息的提取能力;其次,网络在级联处加入空洞卷积模块(dense atrous convolution module,DAC) ,扩大卷积感受野;最后,借鉴特征融合思想,设计了可调节多尺度特征融合模块 (adjustable multi-scale feature fusion,AMFF) 和双路自学习循环连接模块(dual self-learning recycle connection module,DCM) ,提升网络的泛化性和鲁棒性。为验证网络的有效性,在CVC-ClinicDB、ETIS-LaribPolypDB、COVID-19 CHEST X-RAY、Kaggle_3m、ISIC2017和Fluorescent Neuronal Cells等数据 集上进行验证,实验结果表明,相似系数分别达到了94.96%、92.40%、99.02%、90.55%、92.32%和75.32%。因此,新的分割网络展现了良好的泛化能力,总体性能优于现有网络,能够较好实现通用医学图像的有效分割。     

基于多尺度一致性与注意力机制的视网膜血管分割网络

针对现有的视网膜血管分割方法存在对微血管和毛细血管的分割能力不足,导致血管断连和末端血管漏分,造成视网膜血管分割性能不佳的问题,本文提出一种基于多尺度一致性与注意力机制的视网膜血管分割网络(multi-scale consistency and attention mechanism U-Net, MCAU-Net)。首先,该网络在瓶颈特征层嵌入注意力细化模块(attention refinement module, ARM),能有效细化瓶颈层冗余的特征,抑制背景等无关像素的权值。其次,将上下文特征融合模块(context fusion module, CFM)与传统的跳跃连接相结合,以此补充在特征提取过程中逐渐丢失的信息,加强网络对微血管和毛细血管的构建能力。最后,基于网络的多尺度输出设计了一种多尺度一致性的训练方式,以增强网络对不同尺度特征的敏感性。在DRIVE和CHASE＿DB1公开数据集上进行的对比实验表明本文网络具有良好的分割性能。     

基于一种视觉注意力机制的图像描述方法

为了提高由图像生成文字描述的准确率,文中提出了一种基于传统的编码解码框架,分别在编码端和解码端融入视觉注意力机制的方法,即在编码端加入空间注意力机制和图像通道级注意力机制相结合的方法。在解码端运用自适应视觉注意力机制的方法,即在传统的解码端上加入一个额外的“视觉哨兵”模块。文中提出的方法在生成文字描述的过程中自动决定是依赖图像特征还是依赖语义特征,并传递给相应的注意力机制。实验证明,相比较单一的视觉注意力机制,文中方法取得了较高的图像描述语句的正确率,具有更好的图像描述性能。     

基于复数网络与注意力机制的信号调制识别

通信信号调制识别作为管理、监测电磁频谱的重要手段,具有重要的研究价值和应用前景。本文利用调制信号的频域信息,提出一种基于复数神经网络的信号调制识别方法。首先将I、Q两路信号组合成复信号,经过快速傅里叶变换(FFT)后把得到的实部和虚部组合起来作为输入网络的数据集。其次,设计了一种复数神经网络结构,并引入了注意力机制对网络结构进行改良。仿真结果表明,本文提出的方法可以有效识别9种调制方式,在信噪比为6 dB时,平均正确识别率达到96.33%。     

基于双注意力机制的雾天图像清晰化算法研究

针对传统去雾算法容易依赖先验知识以及恢复出来的清晰图像会产生颜色失真等问题,本文提出一种基于双注意力机制的雾天图像清晰化算法。首先将雾图输入编码器,经过下采样后得到特征图像;特征提取模块将多个特征提取基本块联结在一起,每个基本块由局部残差学习和特征注意模块组成,提高图像质量以及图像特征信息的利用率,增加网络训练的稳定性;然后通过通道注意力与多尺度空间注意力并行的结构处理特征图像,使得网络更加关注细节特征,提取更多关键信息,同时提高网络效率;最后将融合后的特征图像输入解码器中,经过多级映射,得到与输入大小匹配的雾密度图。实验结果表明,不论是对合成雾天图像或者真实雾天图像,本文算法能够高效地进行去雾处理,得到更自然的清晰图像。     

基于残差与注意力机制的原棉杂质检测北大核心CSCD

针对原棉杂质检测准确率不高的问题,以新疆棉花为研究对象,提出基于残差与注意力机制的原棉杂质检测算法。该算法为2阶段算法,准确率较高。首先,采集原棉杂质图象后对图像进行标注,再进行数据增广,可以避免训练过程中的过拟合现象,接着在原框架引入视觉注意力机制,通过改进算法结构来提高原棉杂质检测的准确率。其次,通过分析对比几种不同网络对原棉杂质检测的准确度,选取ResNet50为特征提取网络,该网络提高了算法的复杂特征提取能力。最后,采用RoI Align来减少量化误差,从而提高检测原棉杂质的准确性。实验结果表明,改进的算法虽然略微增多检测时间,但其整体检测准确率明显优于原算法,整体识别的准确率可达到94.84%,较改进前Faster R-CNN(faster region-based convolutional neural network)的识别率提高了5.58%。同时通过对比不同网络模型,结果显示改进后的Faster R-CNN对原棉杂质检测的效果更好。     

基于多任务学习和注意力机制的双分支深度换脸检测方法

深度换脸技术的出现严重威胁了公众的隐私安全。为了解决现有深度换脸检测方法的局限性,基于多任务学习策略提出了一种双分支检测网络,实现在检测视频伪造的同时逐帧检测。该网络引入了注意力机制和时序学习模块,通过学习局部空间信息和时序信息提升检测性能。该方法在公开数据集Celeb-DF和FaceForensics++上获得了比当前先进换脸检测方法更高的准确率和ROC(Receiver Operating Characteristic)曲线下面积（Area under ROC Curve,AUC）,面对不同光照、人脸朝向、视频质量时表现出了良好的鲁棒性。