多尺度特征自适应融合的图像语义分割算法

为解决Deeplab v3+网络在解码过程中仅融合一个尺度编码特征,导致部分细节信息丢失,从而造成最终分割结果较为粗糙等问题,提出多尺度特征自适应融合的图像语义分割算法.该算法在Deeplab v3+的解码过程中使用自适应空间特征融合结构,给不同尺度的编码特征分配自适应的融合权重,通过融合编码过程中的多尺度特征进行特征...     

基于编码特征学习的3D点云语义分割网络

目前点云语义分割已广泛应用到自动驾驶、虚拟现实等多个领域，但现阶段点云分割算法无法提取较完整的空间结构信息，难以解释每个点编码信息的问题.针对此缺陷，文中提出基于编码特征学习的3D点云语义分割网络.首先，在引入角度信息和增强特征的基础上构造局部特征编码器(Local Feature Encoder, LFE),学习较完整的局部空间结构，缓解相似物体错分割问题.然后，设计混合池化聚合模块(Mixed Pooling Polymerization, MPP),聚合粗犷特征和精细特征，同时保证点云的排序不变性.最后，采用多尺度特征融合，充分利用编码层不同尺度特征，实现准确的语义分割.在两个大型基准数据集S3DIS和SemanticKITTI上的实验表明文中网络的优越性.     

基于全融合网络的三维点云语义分割

为提高室内场景的点云语义分割精度,设计了一个全融合点云语义分割网络。网络由特征编码模块、渐进式特征解码模块、多尺度特征解码模块、特征融合模块和语义分割头部组成。特征编码模块采用逆密度加权卷积作为特征编码器对点云数据进行逐级特征编码,提取点云数据的多尺度特征;然后通过渐进式特征解码器对高层语义特征进行逐层解码,得到点云的渐进式解码特征。同时,多尺度特征解码器对提取的点云多尺度特征分别进行特征解码,得到点云多尺度解码特征。最后将渐进式解码特征与多尺度解码特征融合,输入语义分割头部实现点云的语义分割。全融合网络增强了网络特征提取能力的鲁棒性,实验结果也验证了该网络的有效性。     

融合多层空间注意的U型视网膜血管分割算法

针对现有算法因视网膜细小血管分割不足和抗噪声能力弱导致其分割精度低等问题,提出一种融合多层空间注意的U型视网膜血管分割算法.首先,在编码和解码部分采用特征增强残差模块,引入通道注意机制提高网络模型对血管特征的分割能力.其次,在U型网络的底部引入密集空洞卷积模块,增大感受野提取血管多尺度特征.最后,在跳跃连接阶段使用三端空间注意模块进行特征自适应细化,有效抑制特征图中的噪声.在DRIVE和STARE公开眼底图像数据集上验证本文算法,实验结果表明,所提算法准确率分别达到了0.9643和0.9683,灵敏度分别达到了0.8329和0.8224,AUC值分别达到了0.9861和0.9897.其性能指标整体优于现有先进算法.     

基于融合多尺度标记信息的深度交互式图像分割

现有深度交互式图像分割算法通过对单击点计算距离映射或者高斯映射,然后将其与图像进行拼接作为网络的输入.每个单击点的影响范围是相同的,而每个交互的目的 并不相同,早期交互的主要目的 为选择,后期则更侧重微调.基于此,提出了融合多尺度标记信息的深度交互图像分割算法.首先,通过设置不同高斯半径,对每个单击点计算2组不同尺度的高斯映射.然后,融合小尺度高斯映射,并移除基础分割网络中的部分下采样模块,使网络提取更丰富的细节特征.同时,为了保持目标分割结果的完整性,提出了非局部特征注意力模块,该模块融合了大尺度高斯映射.最后,根据高斯映射提供的概率信息,提出了概率单击损失,提升目标在单击附近的分割表现.实验结果表明:提出的算法既·能保持分割的完整性,又能得到目标细节的分割结果,大大降低了用户的交互负担.     

融合PVTv2和多尺度边界聚合的结直肠息肉分割算法

考虑到结直肠息肉图像中病灶区域和周围粘液存在对比度低、边界模糊和形状不规则等复杂特性,导致现有大部分算法无法实现高精准的分割结直肠息肉。鉴于以上难点,提出一种融合PVTv2和多尺度边界聚合的结直肠息肉分割算法。首先,利用PVTv2逐层提取肠息肉图像中的病灶特征,解决传统卷积神经网络对病灶区域特征提取能力不足的问题;然后,针对网络对复杂病灶区域的空间特征信息表征能力不强的问题,在网络跳跃连接处构建多尺度上下文空间感知模块;其次,设计多尺度挤压适配融合模块聚合不同尺度的特征信息,以减少各个尺度特征的语义差异;最后,为进一步加强边缘细节特征的识别能力,创造性构造残差轴向双边界细化模块。该算法在Kvasir-SEG和CVC-ClinicDB数据集上进行大量实验验证,其相似性系数分别为93.29%和94.52%,平均交并比分别为88.36%和89.88%。实验结果表明,对于复杂的病灶区域以及病灶边界模糊的情况,所提算法在分割精度上均有较大的提升。     

改进U-Net的高分辨率遥感图像轻量化分割

针对传统图像分割方法分割效率低下, 遥感图像特征复杂多样, 复杂场景下分割性能受到限制等问题, 在基于U-Net网络架构的基础上, 提出一种能够较好提取遥感图像特征并兼顾效率的改进U-Net模型. 首先, 以EfficientNetV2作为U-Net的编码网络, 增强特征提取能力, 提高训练和推理效率, 然后在解码部分使用卷积结构重参数化方法并结合通道注意力机制, 几乎不增加推理时间的前提下提升网络性能, 最后结合多尺度卷积融合模块, 提高网络对不同尺度目标的特征提取能力和更好地结合上下文信息. 实验表明, 改进的网络在遥感图像分割性能提升的同时分割效率也提高.     

多尺度U网络实现番茄叶部病斑分割与识别

随着深度学习技术的迅速发展,卷积神经网络成为研究植物叶部病害识别与病斑分割的主流方法.针对番茄叶部病斑大小不一、形状不规则、病斑分割需要大量像素级标记等问题,文中提出一种多尺度U网络,以同时实现番茄叶部病斑分割与病害识别.在病害特征提取阶段采用多尺度残差模块组合不同尺寸的感受野来提取病害特征,以适应病斑大小和形状的动态变化.引入CB模块(Classifier and Bridge)将病害特征提取阶段与病斑分割阶段连接,对病害特征进行分类,并根据分类结果反向映射出特定类的激活图,此激活图包含特定类别病斑的关键信息.在分割阶段采用上采样与卷积相结合的方法对特定类的激活图进行反卷积,利用跳跃连接方式将反卷积特征与低层特征融合,以补充更多的图像细节信息,获取病斑分割的灰度图.为了使分割的病斑定位更加精确,利用少量像素级标记,对每个像素点采用二分类交叉熵损失函数进行监督训练,同时更好地引导特征提取网络关注病斑部位.利用原始测试集与模拟噪声和光照强度的干扰测试集分别验证模型的病斑分割与病害分类性能.在原始测试样本集上多尺度U网络的平均像素准确率、平均交并比和频权交并比分别达到了86.15％,75.25％和90.27％;在降低30％亮度和添加椒盐噪声的干扰测试集上,模型的识别准确率分别为95.10％和99.20％.实验结果表明,所提方法可以实现番茄叶部病斑分割与识别效果的共同提升.     

改进Mask R-CNN的甲状腺结节超声图像分割方法

甲状腺结节超声图像对比度低,斑点噪声严重,且不同病人的甲状腺结节形态差异较大,这给医生准确分割结节带来极大困难。为了精确地从超声图像中分割出甲状腺结节,对原掩膜区域卷积神经网络（mask region-convolutional neural network,Mask R-CNN）的主干网络进行改进。在原主干网络的残差网络层中加入注意力机制模块来提高模型收敛性,并且在特征金字塔网络中增添一条由下向上的支路,将该支路输出特征图进行融合后,输入至区域推荐网络和感兴趣区域池化层,从而能够在融合多尺度特征的同时平衡特征图信息差异。经过对600幅甲状腺结节超声图像进行测试,改进后Mask R-CNN图像分割的平均Dice系数为0.914?8,平均精确度为0.932?2,平均召回率为0.903?4,平均F1分数为0.917?6。改进算法分割的Dice系数比原Mask R-CNN提升了0.080?6,改进算法可以应用于实际临床医学中自动分割甲状腺结节超声图像。     

基于双分支融合注意力机制的图像分割算法

针对DeepLabV3+在特征提取阶段忽略了不同尺度特征重要程度出现的部分细节信息损失导致图像分割不细致,提出一种融合双分支特征提取和注意力机制的改进算法. ResNet101骨干网络初步提取出的特征图作为注意力机制的输入特征,解决了网络退化及梯度消失的问题,也能够捕获到被DeepLabV3+忽略的图像细节信息;设计双分支特征提取机制扩大特征提取能力,细化图像边缘信息以优化网络对不同尺度特征关注不均的问题;同时,联合采用交叉熵损失和类别不平衡函数两种损失函数作为损失函数,通过聚焦于前景样本降低背景的影响,提高算法分割精度.实验结果表明,改进算法在PASCAL VOC 2012和CityScapes数据集上的平均交并比(MIoU)值分别达到了79.92%和68.59%,与经典算法和基于DeepLabV3+改进的算法相比,特征提取的准确性有所提高,分割效果更优.     

基于改进U-Net网络的多尺度番茄病害分割算法

针对当前农作物病害分割与识别模型病斑分割精度低、数据集不充分、训练速度过慢等问题,构建了一种基于改进的U-Net网络多尺度番茄叶部病害分割算法。在U-Net网络结构基础上进行改进,减小图像输入尺寸,在编码器中使用非对称Inception多通道卷积替换传统卷积,实现多尺度提取病害特征,提升模型准确度;在解码器中加入注意力模块,关注番茄病害边缘,减小上采样噪声;引入GN加速模型收敛,并将改进U-Net网络用在PlantVillage数据集上进行预训练,提高模型的分割准确度和速度。改进后的方法准确率、召回率和MIoU分别为92.9%、91.1%、93.6%,实验结果表明,该方法能够有效地提高模型对番茄的病害分割性能。     

融合多尺度上下文信息的实例分割

目的 实例分割通过像素级实例掩膜对图像中不同目标进行分类和定位。然而不同目标在图像中往往存在尺度差异,目标多尺度变化容易错检和漏检,导致实例分割精度提高受限。现有方法主要通过特征金字塔网络(feature pyramid network,FPN)提取多尺度信息,但是FPN采用插值和元素相加进行邻层特征融合的方式未能充分挖掘不同尺度特征的语义信息。因此,本文在Mask R-CNN(mask region-based convolutional neural network)的基础上,提出注意力引导的特征金字塔网络,并充分融合多尺度上下文信息进行实例分割。方法 首先,设计邻层特征自适应融合模块优化FPN邻层特征融合,通过内容感知重组对特征上采样,并在融合相邻特征前引入通道注意力机制对通道加权增强语义一致性,缓解邻层不同尺度目标间的语义混叠;其次,利用多尺度通道注意力设计注意力特征融合模块和全局上下文模块,对感兴趣区域(region of interest,RoI)特征和多尺度上下文信息进行融合,增强分类回归和掩膜预测分支的多尺度特征表示,进而提高对不同尺度目标的掩膜预测质量。结果 在MS ...     

多尺度特征金字塔融合的街景图像语义分割

针对街景图像语义分割任务中的目标尺寸差异大、多尺度特征难以高效提取的问题, 本文提出了一种语义分割网络(LDPANet). 首先, 将空洞卷积与引入残差学习单元的深度可分离卷积结合, 来优化编码器结构, 在降低了计算复杂度的同时缓解梯度消失的问题. 然后利用层传递的迭代空洞空间金字塔, 将自顶向下的特征信息依次融合, 提高了上下文信息的有效交互能力; 在多尺度特征融合之后引入属性注意力模块, 使网络抑制冗余信息, 强化重要特征. 再者, 以通道扩展上采样代替双线插值上采样作为解码器, 进一步提升了特征图的分辨率. 最后, LDPANet方法在Cityscapes和CamVid数据集上的精度分别达到了91.8%和87.52%, 与近几年网络模型相比, 本文网络模型可以精确地提取像素的位置信息以及空间维度信息, 提高了语义分割的准确率.     

改进Mask RCNN算法及其在行人实例分割中的应用

Mask RCNN算法在特征提取过程中存在语义信息丢失的问题,而自然场景中的行人具有姿态不同、遮挡和背景复杂等特点,导致算法应用于行人实例分割时检测准确性较差。对此,提出一种改进的Mask RCNN算法。在Mask RCNN网络的Mask分支中增加串联特征金字塔网络（CFPN）模块,对网络生成的多层特征进行融合,充分利用不同特征层的语义信息。在此基础上,执行RoI Align操作生成行人掩膜。仿照COCO数据集,从生活场景中拍摄1 000张图片,自建一个新的行人数据集。基于该数据集的实验结果表明,改进算法较原算法具有更高的检测精确率。     

结合多尺度融合特征和残差注意力机制的联合三维人脸重建及密集对齐算法

针对三维人脸重建和密集对齐算法精度不足的问题,引入密集连接的多尺度特征融合模块和残差注意力机制设计了一种性能强大的网络.在编码器结构前,引入密集连接的多尺度特征融合模块获得多尺度融合特征,使编码器获得更丰富的信息;在解码器模块中引入残差注意力机制,强化网络对重要特征的关注同时抑制不必要的噪声.实验结果表明,相较其他算法,该算法取得了较显著的改进;相对PRNet,该算法以更少的参数量在各项指标上取得7.7％～12.1％的性能提升.     

一种基于改进ResU-Net的角膜神经分割算法

角膜神经图像的自动分割对于糖尿病神经病变等疾病的诊断与筛查至关重要。针对由于角膜神经图像存在对比度低且包含非神经结构而造成分割效率较低的问题,在ResU-Net结构基础上引入多尺度残差、注意力机制、多尺度图像输入与多层损失函数输出模块,提出一种基于注意力机制的角膜神经分割算法。多尺度残差模块通过在残差模块中加入多尺度表征信息以提高卷积层提取多尺度特征的能力,而注意力机制模块在双重注意力作用下,利用网络对编码器与解码器中的目标特征进行权重优化,使得在增强图像目标区域特征的同时抑制背景及噪声区域,并采用多尺度图像输入与多层函数输出模块以监督网络中每一层的特征学习。实验结果表明,与主流分割算法相比,该算法的分割效果更优,且曲线下面积与敏感度分别可达到0.990和0.880。     

融合空洞卷积与注意力的胃癌组织切片分割

目的 病理组织切片检查是诊断胃癌的金标准,准确发现切片中的病变区域有助于及时确诊并开展后续治疗。然而,由于病理切片图像的复杂性、病变细胞与正常细胞形态差异过小等问题,传统的语义分割模型并不能达到理想的分割效果。基于此,本文提出了一种针对病理切片的语义分割方法ADEU-Net （attention-dilated-efficient U-Net++）,提高胃癌区域分割的精度,实现端到端分割。方法 ADEU-Net使用经过迁移学习的EfficientNet作为编码器部分,增强图像特征提取能力。解码器采用了简化的U-Net++短连接方式,促进深浅层特征融合的同时减少网络参数量,并重新设计了其中的卷积模块提高梯度传递能力。中心模块使用空洞卷积对编码器输出结果进行多尺度的特征提取,增强模型对不同尺寸切片的鲁棒性。编码器与解码器的跳跃连接使用了注意力模块,以抑制背景信息的特征响应。结果 在2020年“华录杯”江苏大数据开发与应用大赛（简称“SEED”大赛）数据集中与其他经典方法比较,验证了一些经典模型在该分割任务中难以拟合的问题,同时实验得出修改特征提取方式对结果有较大提升,本文方法在分割准确度上比原始U-Net提高了18.96%。在SEED数据集与2017年中国大数据人工智能创新创业大赛（brain of things,BOT）数据集中进行了消融实验,验证了本文方法中各个模块均有助于提高病理切片的分割效果。在SEED数据集中,本文方法ADEU-Net比基准模型在Dice系数、准确度、敏感度和精确度上分别提升了5.17%、2.7%、3.69%、4.08%;在BOT数据集中,本文方法的4项指标分别提升了0.47%、0.06%、4.30%、6.08%。结论 提出的ADEU-Net提升了胃癌病理切片病灶点分割的精度,同时具有良好的泛化性能。     

融合多注意力机制的脊椎图像分割方法

针对脊椎CT、MR图像分割模型分割性能不高的问题,基于U型网络提出了脊椎分割网络MAU-Net。首先引入坐标注意力模块,使网络准确捕获到空间位置信息,并嵌入到通道注意力中;然后提出基于Transformer的双支路通道交叉融合模块代替跳跃连接,进行多尺度特征融合;最后提出特征融合注意力模块,更好地融合Transformer与卷积解码器的语义差异。在脊柱侧凸CT数据集上,Dice达到0.929 6,IoU达到0.859 7。在公开MR数据集SpineSagT2Wdataset3上,与FCN相比,Dice提高14.46%。实验结果表明,MAU-Net能够有效减少椎骨误分割区域。     

融合多维注意力机制CNN皮肤肿瘤图像分割提取

针对卷积神经网络(CNN)在医学图像分割时,受皮肤病损图像多样性、分割目标位置、形状及尺度变化等因素影响,提出了一种基于传统卷积神经网络综合注意力模块图像分割算法。首先利用U-Net主干网络的优势,其目的让图像特征提取更完善；其次,由空间、通道、尺度构成的综合注意力机制对目标病灶区域进行检测识别,利用通道级联把来自编码器中低级图像特征和解码器中高级图像特征注意力结合起来进行权值自适应融合,提升了网络对样本病灶区的关注度和辨识力,突出强调最相关的特征通道和多尺度间最显著的特征图。通过对ISIC2018数据集及医院整形外科提供患者不同类型的皮肤肿瘤图像进行分割测试,并将注意力模块随机组合形成的不同算法进行指标评价比对,所提出算法的平均分割精度可达92.89%。实验结果表明,所提出算法是有效可行的,在多维度下分割处理带复杂背景的皮肤病灶图像时有更高的鲁棒性。