基于CAU-Net的肺部影像分割算法

在现有的医学图像分割网络中，U-Net已在肺部影像分割中成功应用。为了充分利用全卷积U-Net网络提取到的肺实质特征，改善肺分割的效果，提出一种融合通道注意力的CAU-Net肺分割算法。将通过跳跃连接网络融合的浅层和深层特征输入通道注意力，进行像素级别的特征权重分配以提升模型对特定特征信息的权重，让感受野内分割的主要特征更突出，网络层级对特征的学习更加专注。在Kaggle竞赛的肺分割数据集上进行了实验，所提算法在测试数据集的肺实质分割中精确率达99.4%，准确率达97.8%，相似度达96.9%，敏感度达99.1%，特异性达99.5%，结果表明，该算法能够对肺部区域进行有效分割。     

基于改进Unet网络的CT图像肺实质自动分割算法

肺实质分割是计算机辅助诊断肺癌中的重要步骤。针对Unet分割精度不足和收敛速度慢的问题,提出一种基于改进Unet的肺实质分割算法。采用K-means聚类和凸包扫描算法进行预分割,完成肺实质的定位和修正。以Unet结构为基础,引入Sobel卷积层强化边缘区域的高通滤波,并在特征融合中加入随机失活模块,进一步提升分割精度。将传统图像处理方法与深度学习相结合,获得了优化改进的分割模型。实验表明,该算法可以准确高效地分割肺实质,平均Dice相似系数达到0.983 4,收敛速度和分割性能均优于其他几种较新的分割算法。     

基于卷积神经网络的胸片肺野自动分割

针对传统胸片肺野分割方法需要人工干预、提取特征以及对先验知识的依赖性问题,提出了一种基于卷积神经网络(CNN)的胸片肺野自动分割方法,将X光胸片的分割问题转换为图像块的分类问题.将原图像分割成左、右肺,切块处理后分别作为训练样本,利用深度学习自动发现图像块中的潜在特征,对图像块进行分类,并将结果映射成二值图,得到初步分割结果,再对其进行后处理,合并之后作为最终的分割结果.实验表明:此方法在公开的JSRT数据集上进行测试,Jaccard指标可达94.6%,平均边界距离(MBD)指标达到1.10 mm,较现存分割算法更加出色.     

基于深度学习和 CT 影像的新型冠状病毒肺炎病灶分割

胸部 CT 图像中新型冠状病毒肺炎(COVID-19)病灶的准确分割可以为诊断提供助力。新型冠 状病毒肺炎在 CT 影像上的表现包括磨玻璃影、实变、胸腔积液病灶等,这些征象的纹理、大小和位置 变化较大。该研究提出的深度神经网络 RCB-UNet＋＋,可以用于新型冠状病毒肺炎在 CT 影像上的分割 问题。该网络在 UNet＋＋网络的基础上,增加了残差模块和卷积块注意力模块。此架构能有效地提取底 层的纹理信息和高层的语义信息,并基于注意力机制优化模型效果。该研究所提出的 RCB-UNet＋＋模 型经过在 45 例样本上的训练后,在 50 例测试集上的 Dice 系数达到了 0.715,且敏感性和特异性分别达 到了 0.754 和 0.952,超过基于同样数据划分的其他已发表的深度学习模型。这表明所提出的算法有效 地提高了分割效果,具有从 CT 图像中全自动分割新型冠状病毒肺炎病灶的潜力。     

基于密集连接与特征增强的语义分割算法

在语义分割算法DeepLabv3+中,由于对主干网络提取的特征信息利用不充分,导致了分割边缘不连续、目标丢失以及分割错误等问题。为此,提出一种基于密集连接和特征增强的语义分割算法。采用共享空洞空间金字塔池化(S-ASPP)模块建立多个空洞卷积之间的联系,增强局部信息之间的语义关联,捕获密集的采样点像素,同时提高对高层特征信息的利用。引入特征金字塔增强模块(FPEM)和特征融合模块(FFM),对主干网络输出的多层特征信息进行处理,增强特征的表达能力,并采用FFM对FPEM输出的不同尺度特征信息进行融合,提高各层特征之间的互补能力,以获得更全面的特征图信息。在此基础上,将S-ASPP和FFM的输出进行拼接和卷积操作,得到最终的分割结果。在PASCAL VOC 2012和Cityscapes数据集上的实验结果表明,该算法的平均交并比分别达到81.13%和73.39%,相较于基准算法DeepLabv3+分别提升了2.3和2.1个百分点,充分利用了骨干网络中的每层特征信息,提升了算法的分割精度,取得了较好的分割效果。     

基于卷积神经网络的岩心FIB-SEM图像分割算法

岩心聚焦离子束扫描电镜(FIB-SEM)图像存在灰度分布不均及孔隙内局部高亮等现象,采用传统图像分割算法所得孔隙分割精度较低,而基于轮廓的分割算法需对孔隙进行人工标记,操作繁琐且无法精确提取孔隙。提出一种利用卷积神经网络的端到端岩心FIB-SEM图像分割算法。结合光流法与分水岭分割图像标注法构建岩心FIB-SEM数据集,联合ResNet50残差网络、通道和空间注意力机制提取特征信息,采用改进的特征金字塔注意力模块提取多尺度特征,利用亚像素卷积模块经上采样获取更精细的孔隙边缘并恢复为原始分辨率。实验结果表明,与阈值分割算法和基于主动轮廓的岩心FIB-SEM分割算法相比,该算法分割精度更高且无需人工操作,其平均像素精度和平均交并比分别达到90.00%和85.81%。     

基于深度特征聚合网络的医学图像分割

利用卷积神经网络（CNN）进行医学图像分割时,通常将分割问题抽象为特征表示和参数优化问题,但在上采样和下采样过程中容易丢失特征信息,导致分割效果不理想。设计包含三级特征表示层和特征聚合模块的深度特征聚合网络结构DFA-Net。通过三级特征表示层提取基础特征同时聚合中间特征和深层特征,从而以聚合深层特征弥补CNN上采样与下采样的特征损失。利用特征聚合模块聚合并激活浅层特征和深层特征,根据两者的互补信息分别做精细化调整。在脑图像和眼底图像公开数据集上的实验结果表明,DFA-Net能够充分利用深层特征与浅层特征的信息互补性处理分割结果中的孤立像素点,避免上采样与下采样引起的信息损失,其分割精度较U-net、Unet++、SegNet和LadderNet等方法均有所提高。     

分级特征融合的图像语义分割

在图像语义分割中,利用卷积神经网络对图像信息进行特征提取时,针对卷积神经网络没有有效利用各层级间的特征信息而导致图像语义分割精度受损的问题,提出分级特征融合的图像语义分割方法。该方法利用卷积结构分级提取含有像素级的浅层低级特征和含有图像级的深层语义特征,进一步挖掘不同层级间的特征信息,充分获取浅层低级特征和深层语义特征中隐藏的特征信息,接着通过上采样操作细化浅层低级特征信息后对所有特征信息进行合并融合,最终实现分级特征融合的图像语义分割。在实验方面,通过多次分解实验验证了所提方法在不同阶段所提取的特征信息和不同网络深度时的特征信息对语义分割结果的影响。同时在公认的图像语义分割数据集PASCAL VOC 2012上,与3种主流方法进行实验对比,结果显示所提方法在客观评价指标和主观效果性能方面均存在优越性,从而验证了该方法可以有效地提升语义分割的精度。     

基于WU-Net网络的肺结节图像分割算法

深度卷积神经网络在医学图像分割领域运用广泛,目前的网络改进普遍是引入多尺度融合结构,增加了模型的复杂度,在提升精度的同时降低了训练效率。针对上述问题,提出一种新型的WU-Net肺结节图像分割方法。该方法对U-Net网络进行改进,在原下采样编码通路引入改进的残余连接模块,同时利用新提出的dep模块改进的信息通路完成特征提取和特征融合。实验利用LUNA16的数据集对WU-Net和其他模型进行训练和验证,在以结节为尺度的实验中,Dice系数和交并比分别能达到96.72%、91.78%;在引入10%的负样本后,F;值达到了92.41%,相比UNet3+提高了1.23%;在以肺实质为尺度的实验中,Dice系数和交并比分别达到了83.33%、66.79%,相比RU-Net分别提升了1.35%、2.53%。相比其他模型,WU-Net模型的分割速度最快,比U-Net提升了39.6%。结果显示,WU-Net提升肺结节分割效果的同时加快了模型的训练速度。     

基于深度特征融合的空间植物图像分割算法

空间植物培养实验作为空间科学的一项重要研究,通常会获得大量的植物序列图像,传统的处理方法多采用人工观察,以供后续的进一步分析。本文提出一种基于多尺度深度特征融合的空间植物分割算法。该方法应用全卷积深度神经网络来提取多尺度特征,并分层次地融合由深层到浅层的特征,以达到对植物进行像素级的识别。分层次的特征融合了语义信息、中间层信息和几何特征,提高了分割的准确性。实验表明该方法在分割准确性方面表现良好,能够自动提取空间植物实验中的有效信息。     

融合多头注意力机制的新冠肺炎联合诊断与分割

目的 新冠肺炎疫情席卷全球,为快速诊断肺炎患者,确认患者肺部感染区域,大量检测网络相继提出,但现有网络大多只能处理一种任务,即诊断或分割。本文提出了一种融合多头注意力机制的联合诊断与分割网络,能同时完成X线胸片的肺炎诊断分类和新冠感染区分割。方法 整个网络由3部分组成,双路嵌入层通过两种不同的图像嵌入方式分别提取X线胸片的浅层直观特征和深层抽象特征;Transformer模块综合考虑提取到的浅层直观与深层抽象特征;分割解码器扩大特征图以输出分割区域。为响应联合训练,本文使用了一种混合损失函数以动态平衡分类与分割的训练。分类损失定义为分类对比损失与交叉熵损失的和;分割损失是二分类的交叉熵损失。结果 基于6个公开数据集的合并数据实验结果表明,所提网络取得了95.37%的精度、96.28%的召回率、95.95%的F1指标和93.88%的kappa系数,诊断分类性能超过了主流的ResNet50、VGG16(Visual Geometry Group)和Inception_v3等网络;在新冠病灶分割表现上,相比流行的U-Net及其改进网络,取得最高的精度(95.96%),优异的敏感度(78.89%)、最好的Dice系数(76.68%)和AUC(area under ROC curve)指标(98.55%);效率上,每0.56 s可输出一次诊断分割结果。结论 联合网络模型使用Transformer架构,通过自注意力机制关注全局特征,通过交叉注意力综合考虑深层抽象特征与浅层高级特征,具有优异的分类与分割性能。     

空洞可分离卷积和注意力机制的实时语义分割

目的 为满足语义分割算法准确度和实时性的要求,提出了一种基于空洞可分离卷积模块和注意力机制的实时语义分割方法。方法 将深度可分离卷积与不同空洞率的空洞卷积相结合,设计了一个空洞可分离卷积模块,在减少模型计算量的同时,能够更高效地提取特征;在网络输出端加入了通道注意力模块和空间注意力模块,增强对特征的通道信息和空间信息的表达并与原始特征融合,以进一步提高特征的表达能力;将融合的特征上采样到原图大小,预测像素类别,实现语义分割。结果 在Cityscapes数据集和CamVid数据集上进行了实验验证,分别取得70.4%和67.8%的分割精度,速度达到71帧/s,而模型参数量仅为0.66 M。在不影响速度的情况下,分割精度比原始方法分别提高了1.2%和1.2%,验证了该方法的有效性。同时,与近年来的实时语义分割方法相比也表现出一定优势。结论 本文方法采用空洞可分离卷积模块和注意力模块,在减少模型计算量的同时,能够更高效地提取特征,且在保证实时分割的情况下提升分割精度,在准确度和实时性之间达到了有效的平衡。     

结合动态图卷积和空间注意力的点云分类与分割

目的 随着3维采集技术的飞速发展,点云在计算机视觉、自动驾驶和机器人等领域有着广泛的应用前景。深度学习作为人工智能领域的主流技术,在解决各种3维视觉问题上已表现出巨大潜力。现有基于深度学习的3维点云分类分割方法通常在聚合局部邻域特征的过程中选择邻域特征中的最大值特征,忽略了其他邻域特征中的有用信息。方法 本文提出一种结合动态图卷积和空间注意力的点云分类分割方法（dynamic graph convolution spatial attention neural networks,DGCSA）。通过将动态图卷积模块与空间注意力模块相结合,实现更精确的点云分类分割效果。使用动态图卷积对点云数据进行K近邻构图并提取其边特征。在此基础上,针对局部邻域聚合过程中容易产生信息丢失的问题,设计了一种基于点的空间注意力（spatial attention,SA）模块,通过使用注意力机制自动学习出比最大值特征更具有代表性的局部特征,从而提高模型的分类分割精度。结果 本文分别在ModelNet40、ShapeNetPart和S3DIS（Stanford Large-scale 3D Indoor Spaces Dataset）数据集上进行分类、实例分割和语义场景分割实验,验证模型的分类分割性能。实验结果表明,该方法在分类任务上整体分类精度达到93.4%;实例分割的平均交并比达到85.3%;在室内场景分割的6折交叉检验平均交并比达到59.1%,相比基准网络动态图卷积网络分别提高0.8%、0.2%和3.0%,有效改善了模型性能。结论 使用动态图卷积模块提取点云特征,在聚合局部邻域特征中引入空间注意力机制,相较于使用最大值特征池化,可以更好地聚合邻域特征,有效提高了模型在点云上的分类、实例分割与室内场景语义分割的精度。     

结合全局注意力机制的实时语义分割网络

针对轻量化网络结构从特征图提取有效语义信息不足,以及语义信息与空间细节信息融合模块设计不合理而导致分割精度降低的问题,本文提出一种结合全局注意力机制的实时语义分割网络(global attention mechanism with real time semantic segmentation network ,GaSeNet)。首先在双分支结构的语义分支中引入全局注意力机制,在通道与空间两个维度引导卷积神经网来关注与分割任务相关的语义类别,以提取更多有效语义信息;其次在空间细节分支设计混合空洞卷积块,在卷积核大小不变的情况下扩大感受野,以获取更多全局空间细节信息,弥补关键特征信息损失。然后重新设计特征融合模块,引入深度聚合金塔池化,将不同尺度的特征图深度融合,从而提高网络的语义分割性能。最后将所提出的方法在CamVid数据集和Vaihingen数据集上进行实验,通过与最新的语义分割方法对比分析可知,GaSeNet在分割精度上分别提高了4.29%、16.06%,实验结果验证了本文方法处理实时语义分割问题的有效性。     

基于组注意力卷积和特征重建的轻量分割算法

针对卷积神经网络的庞大参数量和计算量难以应用于移动设备或嵌入式设备的问题,提出冗余特征重建模块(redundant feature reconstruction,RFR)和组注意力卷积模块(group attention convolution,GAC),RFR模块使用较少的参数量提取重要的固有特征,通过线性算子重建冗...     

SELDNet: Sequenced encoder and lightweight decoder network for COVID-19 infection region segmentation

Segmenting regions of lung infection from computed tomography (CT) images shows excellent potential for rapid and accurate quantifying of Coronavirus disease 2019 (COVID-19) infection and determining disease development and treatment approaches. However, a number of challenges remain, including the complexity of imaging features and their variability with disease progression, as well as the high similarity to other lung diseases, which makes feature extraction difficult. To answer the above challenges, we propose a new sequence encoder and lightweight decoder network for medical image segmentation model (SELDNet). (i) Construct sequence encoders and lightweight decoders based on Transformer and deep separable convolution, respectively, to achieve different fine-grained feature extraction. (ii) Design a semantic association module based on cross-attention mechanism between encoder and decoder to enhance the fusion of different levels of semantics. The experimental results showed that the network can effectively achieve segmentation of COVID-19 infected regions. The dice of the segmentation result was 79.1%, the sensitivity was 76.3%, and the specificity was 96.7%. Compared with several state-of-the-art image segmentation models, our proposed SELDNet model achieves better results in the segmentation task of COVID-19 infected regions.     

结合上下文编码与特征融合的SAR图像分割

目的 图像分割的中心任务是寻找更强大的特征表示,而合成孔径雷达(synthetic aperture radar,SAR)图像中斑点噪声阻碍特征提取。为加强对SAR图像特征的提取以及对特征充分利用,提出一种改进的全卷积分割网络。方法 该网络遵循编码器—解码器结构,主要包括上下文编码模块和特征融合模块两部分。上下文编码模块(contextual encoder module,CEM)通过捕获局部上下文和通道上下文信息增强对图像的特征提取;特征融合模块(feature fusion module,FFM)提取高层特征中的全局上下文信息,将其嵌入低层特征,然后将增强的低层特征并入解码网络,提升特征图分辨率恢复的准确性。结果 在两幅真实SAR图像上,采用5种基于全卷积神经网络的分割算法作为对比,并对CEM与CEM-FFM分别进行实验。结果<显示,该网络分割结果的总体精度(overall accuracy,OA)、平均精度(average accuracy,AA)与Kappa系数比5种先进算法均有显著提升。其中,网络在OA上表现最好,CEM在两幅SAR图像上OA分别为91.082%和90.903%,较对比算法中性能最优者分别提高了0.948%和0.941%,证实了CEM的有效性。而CEM-FFM在CEM基础上又将结果分别提高了2.149%和2.390%,验证了FFM的有效性。结论 本文提出的分割网络较其他方法对图像具有更强大的特征提取能力,且能更好地将低层特征中的空间信息与高层特征中的语义信息融合为一体,使得网络对特征的表征能力更强、图像分割结果更准确。     

注意力机制下密集空洞卷积的肺部图像分割

目的 卷积神经网络（convolutional neural network,CNN）在计算机辅助诊断（computer-aided diagnosis,CAD）肺部疾病方面具有广泛的应用,其主要工作在于肺部实质的分割、肺结节检测以及病变分析,而肺实质的精确分割是肺结节检出和肺部疾病诊断的关键。因此,为了更好地适应计算机辅助诊断系统要求,提出一种融合注意力机制和密集空洞卷积的具有编码—解码模式的卷积神经网络,进行肺部分割。方法 将注意力机制引入网络的解码部分,通过增大关键信息权重以突出目标区域抑制背景像素干扰。为了获取更广更深的语义信息,将密集空洞卷积模块部署在网络中间,该模块集合了Inception、残差结构以及多尺度空洞卷积的优点,在不引起梯度爆炸和梯度消失的情况下,获得了更深层次的特征信息。针对分割网络常见的特征丢失等问题,对网络中的上/下采样模块进行改进,利用多个不同尺度的卷积核级联加宽网络,有效避免了特征丢失。结果 在LUNA （lung nodule analysis）数据集上与现有5种主流分割网络进行比较实验和消融实验,结果表明,本文模型得到的预测图更接近于标签图像。Dice相似系数、交并比（intersection over union,IoU）、准确度（accuracy,ACC）以及敏感度（sensitivity,SE）等评价指标均优于对比方法,相比于性能第2的模型,分别提高了0.443%,0.272%,0.512%以及0.374%。结论 本文提出了一种融合注意力机制与密集空洞卷积的肺部分割网络,相对于其他分割网络取得了更好的分割效果。     

编码—解码结构的语义分割

目的 语义分割是计算机视觉中一项具有挑战性的任务,其核心是为图像中的每个像素分配相应的语义类别标签。然而,在语义分割任务中,缺乏丰富的多尺度信息和足够的空间信息会严重影响图像分割结果。为进一步提升图像分割效果,从提取丰富的多尺度信息和充分的空间信息出发,本文提出了一种基于编码-解码结构的语义分割模型。方法 运用ResNet-101网络作为模型的骨架提取特征图,在骨架末端附加一个多尺度信息融合模块,用于在网络深层提取区分力强且多尺度信息丰富的特征图。并且,在网络浅层引入空间信息捕获模块来提取丰富的空间信息。由空间信息捕获模块捕获的带有丰富空间信息的特征图和由多尺度信息融合模块提取的区分力强且多尺度信息丰富的特征图将融合为一个新的信息丰富的特征图集合,经过多核卷积块细化之后,最终运用数据依赖的上采样（DUpsampling）操作得到图像分割结果。结果 此模型在2个公开数据集（Cityscapes数据集和PASCAL VOC 2012数据集）上进行了大量实验,验证了所设计的每个模块及整个模型的有效性。新模型与最新的10种方法进行了比较,在Cityscapes数据集中,相比于RefineNet模型、DeepLabv2-CRF模型和LRR（Laplacian reconstruction and refinement）模型,平均交并比（mIoU）值分别提高了0.52%、3.72%和4.42%;在PASCAL VOC 2012数据集中,相比于Piecewise模型、DPN（deep parsing network）模型和GCRF（Gaussion conditional random field network）模型,mIoU值分别提高了6.23%、7.43%和8.33%。结论 本文语义分割模型,提取了更加丰富的多尺度信息和空间信息,使得分割结果更加准确。此模型可应用于医学图像分析、自动驾驶、无人机等领域。