面向甲状腺结节超声图像分割的多尺度特征融合“h”形网络

目的 准确定位超声甲状腺结节对甲状腺癌早期诊断具有重要意义,但患者结节大小、形状以及位置的不确定性极大影响了结节分割的准确率和模型的泛化能力。为了提高超声甲状腺结节分割的精度,增强泛化性能并降低模型的参数量,辅助医生诊断疾病,减少误诊,提出一种面向甲状腺结节超声图像分割的多尺度特征融合“h”形网络。方法 首先提出一种网络框架,形状与字母h相似,由一个编码器和两个解码器组成,引入深度可分离卷积缩小网络尺寸。编码器用于提取图像特征,且构建增强下采样模块来减少下采样时造成的信息损失,增强解码器特征提取的能力。第1个解码器负责获取图像的初步分割信息;第2个解码器通过融合第1个解码器预先学习到的信息来增强结节的特征表达,提升分割精度,并设计了融合卷积池化金字塔实现多尺度特征融合,增强模型的泛化能力。结果 该网络在内部数据集上的Dice相似系数（Dice similarity coefficients, DSC）、豪斯多夫距离（Hausdorff distance,HD）、灵敏度（sensitivity,SEN）和特异度（specificity,SPE）分别为0.872 1、0.935 6、0.879 7和0.997 3,在公开数据集DDTI（digital database thyroid image）上,DSC和SPE分别为0.758 0和0.977 3,在数据集TN3K（thyroid nodule 3 thousand）上的重要指标DSC和HD分别为0.781 5和4.472 6,皆优于其他模型。结论 该网络模型以较低的参数量提升了甲状腺超声图像结节的分割效果,增强了泛化性能。     

融合空洞卷积与注意力的胃癌组织切片分割

目的 病理组织切片检查是诊断胃癌的金标准,准确发现切片中的病变区域有助于及时确诊并开展后续治疗。然而,由于病理切片图像的复杂性、病变细胞与正常细胞形态差异过小等问题,传统的语义分割模型并不能达到理想的分割效果。基于此,本文提出了一种针对病理切片的语义分割方法ADEU-Net （attention-dilated-efficient U-Net++）,提高胃癌区域分割的精度,实现端到端分割。方法 ADEU-Net使用经过迁移学习的EfficientNet作为编码器部分,增强图像特征提取能力。解码器采用了简化的U-Net++短连接方式,促进深浅层特征融合的同时减少网络参数量,并重新设计了其中的卷积模块提高梯度传递能力。中心模块使用空洞卷积对编码器输出结果进行多尺度的特征提取,增强模型对不同尺寸切片的鲁棒性。编码器与解码器的跳跃连接使用了注意力模块,以抑制背景信息的特征响应。结果 在2020年“华录杯”江苏大数据开发与应用大赛（简称“SEED”大赛）数据集中与其他经典方法比较,验证了一些经典模型在该分割任务中难以拟合的问题,同时实验得出修改特征提取方式对结果有较大提升,本文方法在分割准确度上比原始U-Net提高了18.96%。在SEED数据集与2017年中国大数据人工智能创新创业大赛（brain of things,BOT）数据集中进行了消融实验,验证了本文方法中各个模块均有助于提高病理切片的分割效果。在SEED数据集中,本文方法ADEU-Net比基准模型在Dice系数、准确度、敏感度和精确度上分别提升了5.17%、2.7%、3.69%、4.08%;在BOT数据集中,本文方法的4项指标分别提升了0.47%、0.06%、4.30%、6.08%。结论 提出的ADEU-Net提升了胃癌病理切片病灶点分割的精度,同时具有良好的泛化性能。     

深度学习结合影像组学的肝脏肿瘤CT分割

目的 从医学影像中进行肝脏与肿瘤分割是计算机辅助诊断和治疗的重要前提。常见的胸部和腹部扫描成像效果中,图像对比度偏低,边界模糊,需要医生丰富的临床解剖学知识才能准确地分割,所以精确的自动分割是一个极大的挑战。本文结合深度学习与医学影像组学,提出一种肝脏肿瘤CT（computed tomography）分割方法。方法 首先建立一个级联的2D图像端到端分割模型对肝脏和肿瘤同时进行分割,分割模型采用U-Net深度网络框架,在编码器与解码器内部模块以及编码器与解码器层次之间进行密集连接,这种多样化的特征融合可以获取更准确的全局位置特征和更丰富的局部细节纹理特征;同时融入子像素卷积与注意力机制,有利于分割出更加微小的肿瘤区域;接着生成两个用于后处理的学习模型,一个基于影像组学的分类模型用于假阳性肿瘤的去除;另一个基于3D体素块的分类模型用于分割边缘的细化。结果 实验数据来自某医院影像科300个肝癌病例CT,每个序列中的肝脏与肿瘤都是由10年以上的医学专家进行分割标注。对数据进行5倍交叉验证,敏感度（sensitivity）、命中率（positive predicted value）和戴斯系数（Dice coefficient）在验证结果中的平均值分别达到0.87±0.03、0.91±0.03和0.86±0.05,相比于性能第2的模型分别提高了0.03、0.02和0.04。结论 肝脏肿瘤CT的精确分割可以形成有价值的术前预判、术中监测和术后评价,有助于制定完善的手术治疗方案,提高肝脏肿瘤手术的成功率,且该方法不局限于肝脏肿瘤的分割,同样也适用于其他医学影像组织器官与肿瘤的分割。     

引入分组注意力的医学图像分割模型

目的 卷积神经网络结合U-Net架构的深度学习方法广泛应用于各种医学图像处理中,取得了良好的效果,特别是在局部特征提取上表现出色,但由于卷积操作本身固有的局部性,导致其在全局信息获取上表现不佳。而基于Transformer的方法具有较好的全局建模能力,但在局部特征提取方面不如卷积神经网络。为充分融合两种方法各自的优点,提出一种基于分组注意力的医学图像分割模型（medical image segmentation module based on group attention,GAU-Net）。方法 利用注意力机制,设计了一个同时集成了Swin Transformer和卷积神经网络的分组注意力模块,并嵌入网络编码器中,使网络能够高效地对图像的全局和局部重要特征进行提取和融合;在注意力计算方式上,通过特征分组的方式,在同一尺度特征内,同时进行不同的注意力计算,进一步提高网络提取语义信息的多样性;将提取的特征通过上采样恢复到原图尺寸,进行像素分类,得到最终的分割结果。结果 在Synapse多器官分割数据集和ACDC （automated cardiac diagnosis challenge）数据集上进行了相关实验验证。在Synapse数据集中,Dice值为82.93%,HD（Hausdorff distance）值为12.32%,相较于排名第2的方法,Dice值提高了0.97%,HD值降低了5.88%;在ACDC数据集中,Dice值为91.34%,相较于排名第2的方法提高了0.48%。结论 本文提出的医学图像分割模型有效地融合了Transformer和卷积神经网络各自的优势,提高了医学图像分割结果的精确度。     

稀疏形状先验的脑肿瘤图像分割

目的 在脑部肿瘤图像的分析过程中,准确分割出肿瘤区域对于计算机辅助脑部肿瘤疾病的诊断及治疗过程具有重要意义。然而,由于脑部图像常存在结构复杂、边界模糊、灰度不均以及肿瘤内部存在明暗区域的问题,使得肿瘤图像分割工作面临严峻挑战。为了克服上述困难,更好地实现脑部肿瘤图像分割,提出一种基于稀疏形状先验的脑肿瘤图像分割算法。方法 首先,研究脑部肿瘤图像的配准与形状描述,并以此为基础构建脑部肿瘤的稀疏形状先验约束模型;继而,将该稀疏形状先验约束模型与区域能量描述方法相结合,构建基于稀疏形状先验的能量函数;最后,对能量函数进行优化及迭代,输出脑部肿瘤区域分割结果。结果 本文使用脑胶质瘤公开数据集BraTS2017进行算法测试,本文算法的分割结果与真实数据之间的平均相似度达到93.97%,灵敏度达到91.3%,阳性预测率达到95.9%。本文算法的实验准确度较高,误判率较低,鲁棒性较强。结论 本文算法能够结合水平集方法在拓扑结构描述和稀疏表达方法在复杂形状表达方面的优势,同时由于加入了形状约束,能够有效削弱肿瘤内部明暗区域对分割结果造成的影响,从而更准确和稳定地实现脑部肿瘤图像分割。     

多通道融合可分离卷积神经网络下的脑部磁共振图像分割

目的 卷积神经网络方法可以提取到图像的深层次信息特征,在脑部磁共振图像（MRI）分割领域展现出优秀的性能。但大部分深度学习方法都存在参数量大,边缘分割不准确的问题。为克服上述问题,本文提出一种多通道融合可分离卷积神经网络（MFSCNN）模型分割脑图像。方法 首先,在训练集中增加待分割脑结构及其边缘像素点的权重,强制使网络学习如何分割脑结构边缘部分,从而提升整体脑结构分割的准确率。其次,引入残差单元,以避免梯度弥散,同时使用深度可分离卷积代替原始的卷积层,在不改变网络每个阶段特征通道数的情况下,减少了网络训练的参数数量和训练时间,降低了训练成本。最后,将不同阶段的特征信息合并在一起,进行通道混洗,得到同时包含深浅层次信息的增强信息特征,加入到网络中进行训练,每个阶段的输入特征信息更丰富,学习特征的速度和收敛速度更快,显著地提升了网络的分割性能。结果 在IBSR（internet brain segmentation repositor）数据集上的分割结果表明,MFSCNN的分割性能相对于普通卷积神经网络（CNN）方法要明显提高,且在边缘复杂的部分,分割效果更理想,Dice和IOU（intersection over union）值分别提升了0.9% 6.6%,1.3% 9.7%。在边缘平滑的部分,MFSCNN方法比引入残差块的神经网络模型（ResCNN）和引入局部全连接模块的神经网络模型（DenseCNN）分割效果要好,而且MFSCNN的参数量仅为ResCNN的50%,DenseCNN的28%,在提升分割性能的同时,也降低了运算复杂度,缩短了训练时间。同时,在IBSR、Hammer67n20、LPBA40这3个数据集上,MFSCNN的分割性能比现有的其他主流方法更出色。结论 本文提出的MFSCNN方法,加强了网络特征的信息量,提升了网络模型的训练速度,在不同数据集上均获得更精确的MR脑部图像分割结果。     

过参数卷积与CBAM融合的胸腔积液肿瘤细胞团块分割网络

目的 胸腔积液肿瘤细胞团块的分割对肺癌的筛查有着积极作用。胸腔积液肿瘤细胞团块显微图像存在细胞聚集、对比度低和边界模糊等问题，现有网络模型进行细胞分割时无法达到较高精度。提出一种基于UNet网络框架，融合过参数卷积与注意力机制的端到端语义分割模型DOCUNet （depthwise over-parameterized CBAM UNet）。方法 将UNet网络中的卷积层替换为过参数卷积层。过参数卷积层结合了深度卷积和传统卷积两种卷积，保证网络深度不变的同时，提高模型对图像特征的提取能力。在网络底端的过渡区域，引入结合了通道注意力与空间注意力机制的注意力模块CBAM （convolutional block attention module），对编码器提取的特征权重进行再分配，增强模型的分割能力。结果 在包含117幅显微图像的胸腔积液肿瘤细胞团块数据集上进行5折交叉实验。平均IoU （intersection over union）、Dice系数、精确率、召回率和豪斯多夫距离分别为0.858 0、0.920 4、0.928 2、0.920 3和18.17。并且与UNet等多种已存在的分割网络模型进行对比，IoU、Dice系数和精确率、召回率相较于UNet提高了2.80%、1.65%、1.47%和1.36%，豪斯多夫距离下降了41.16%。通过消融实验与类激活热力图，证明加入CBAM注意力机制与过参数卷积后能够提高网络分割精度，并能使网络更加专注于细胞的内部特征。结论 本文提出的DOCUNet将过参数卷积和注意力机制与UNet相融合，实现了胸水肿瘤细胞团块的有效分割。经过对比实验证明所提方法提高了细胞分割的精度。     

3D卷积自编码器高光谱图像分类模型

目的 高光谱图像分类是遥感领域的基础问题，高光谱图像同时包含丰富的光谱信息和空间信息，传统模型难以充分利用两种信息之间的关联性，而以卷积神经网络为主的有监督深度学习模型需要大量标注数据，但标注数据难度大且成本高。针对现有模型的不足，本文提出了一种无监督范式下的高光谱图像空谱融合方法，建立了3D卷积自编码器（3D convolutional auto-encoder，3D-CAE）高光谱图像分类模型。方法 3D卷积自编码器由编码器、解码器和分类器构成。将高光谱数据预处理后，输入到编码器中进行无监督特征提取，得到一组特征图。编码器的网络结构为3个卷积块构成的3D卷积神经网络，卷积块中加入批归一化技术防止过拟合。解码器为逆向的编码器，将提取到的特征图重构为原始数据，用均方误差函数作为损失函数判断重构误差并使用Adam算法进行参数优化。分类器由3层全连接层组成，用于判别编码器提取到的特征。以3D-CNN （three dimensional convolutional neural network）为自编码器的主干网络可以充分利用高光谱图像的空间信息和光谱信息，做到空谱融合。以端到端的方式对模型进行训练可以省去复杂的特征工程和数据预处理，模型的鲁棒性和稳定性更强。结果 在Indian Pines、Salinas、Pavia University和Botswana等4个数据集上与7种传统单特征方法及深度学习方法进行了比较，本文方法均取得最优结果，总体分类精度分别为0.948 7、0.986 6、0.986 2和0.964 9。对比实验结果表明了空谱融合和无监督学习对于高光谱遥感图像分类的有效性。结论 本文模型充分利用了高光谱图像的光谱特征和空间特征，可以做到无监督特征提取，无需大量标注数据的同时分类精度高，是一种有效的高光谱图像分类方法。     

SA-TF-UNet：基于空间注意力机制和Transformer的MRI海马体分割

目的 海马体内嗅皮层的像素体积较小，这些特征给医学影像的分割任务带来很大挑战。综合海马体的形态特点以及医生的分割流程，提出一种新的海马体分割方法，以实现在临床医学影像处理中对海马体的精确分割，辅助阿尔兹海默症的早期诊断。方法 提出一个基于自注意力机制与空间注意力机制的U型网络模型SA-TF-UNet （hippocampus segmentation network based on Transformer and spatial attention mechanisms）。该网络为端到端的预测网络，输入任意大小的3维MRI （magnetic resonance imaging）影像，输出类别标签。SA-TF-UNet采用编码器—解码器结构，编码器采用纯Transformer模块，不包含卷积模块。多头自注意力机制为Transformer模块中的特征提取器，自注意力模块基于全局信息建模，并提取特征。因此，使用Transformer提取特征符合医生分割海马体的基本思路。解码器采用简单的卷积模块进行上采样。使用AG （attention gate）模块作为跳跃连接的方式，自动增加前景的权重，代替了传统网络中的直接连接。为了验证AG的有效性，分别做了只在单层加入AG的实验，与在4层网络中全部加入AG的实验结果进行对比。为了进一步探讨AG模块中门控信号的来源，设计了两个SA-TF-UNet的变体，它们的网络结构中AG门控信号分别为比AG中的特征图深两层的Transformer模块输出和深3层的Transformer模块输出。结果 为了验证SA-TF-UNet在临床数据集中分割海马体的有效性，在由阿尔兹海默症患者的MRI影像组成的脑MRI数据集上进行实验。4层网络全部加入AG，且AG的门控信号是由比AG特征图更深一层的Transformer模块输出的SA-TF-UNet模型分割效果最好。SA-TF-UNet对于左海马体、右海马体的分割Dice系数分别为0.900 1与0.909 1，相较于对比的语义分割网络有显著提升，Dice系数提升分别为2.82%与3.43%。结论 加入空间注意力机制的以纯Transformer模块为编码器的分割网络有效提升了脑部MRI海马体的分割精度。     

改进预训练编码器U-Net模型的PET肿瘤自动分割

目的 为制定放疗计划并评估放疗效果,精确的PET（positron emission tomography）肿瘤分割在临床中至关重要。由于PET图像存在低信噪比和有限的空间分辨率等特点,为此提出一种应用预训练编码器的深度卷积U-Net自动肿瘤分割方法。方法 模型的编码器部分用ImageNet上预训练的VGG19编码器代替;引入基于Jaccard距离的损失函数满足对样本重新加权的需要;引入了DropBlock取代传统的正则化方法,有效避免过拟合。结果 PET数据库共包含1 309幅图像,专业的放射科医师提供了肿瘤的掩模、肿瘤的轮廓和高斯平滑后的轮廓作为模型的金标准。实验结果表明,本文方法对PET图像中的肿瘤分割具有较高的性能。Dice系数、Hausdorff距离、Jaccard指数、灵敏度和正预测值分别为0.862、1.735、0.769、0.894和0.899。最后,给出基于分割结果的3维可视化,与金标准的3维可视化相对比,本文方法分割结果可以达到金标准的88.5%,这使得在PET图像中准确地自动识别和连续测量肿瘤体积成为可能。结论 本文提出的肿瘤分割方法有助于实现更准确、稳定、快速的肿瘤分割。     

面向医学图像分割的多注意力融合网络

在深度医学图像分割领域中,TransUNet是当前先进的分割模型之一。但其编码器未考虑相邻分块之间的局部联系,在解码器上采样过程中缺乏通道间信息的交互。针对以上问题,提出一种多注意力融合网络（MFUNet）模型。首先,在编码器部分引入特征融合模块（FFM）来增强模型对Transformer中相邻分块间的局部联系并且保持图片本身的空间位置关系;其次,在解码器部分引入双通道注意力（DCA）模块来融合多级特征的通道信息,以增强模型对通道间关键信息的敏感度;最后,通过结合交叉熵损失和Dice损失来加强模型对分割结果的约束。在Synapse和ACDC公共数据集上进行实验,可以看出,MFUNet的Dice相似系数（DSC）分别达到了81.06%和90.91%;在Synapse数据集上的Hausdorff距离（HD）与基线模型TransUNet相比减小了11.5%;在ACDC数据集中右心室和心肌两部分的分割精度与基线模型TransUNet相比分别提升了1.43个百分点和3.48个百分点。实验结果表明,MFUNet在医学图像的内部填充和边缘预测方面均能实现更好的分割效果,有助于提升医生在临床实践中的诊...     

基于改进U-Net网络的多尺度番茄病害分割算法

针对当前农作物病害分割与识别模型病斑分割精度低、数据集不充分、训练速度过慢等问题,构建了一种基于改进的U-Net网络多尺度番茄叶部病害分割算法。在U-Net网络结构基础上进行改进,减小图像输入尺寸,在编码器中使用非对称Inception多通道卷积替换传统卷积,实现多尺度提取病害特征,提升模型准确度;在解码器中加入注意力模块,关注番茄病害边缘,减小上采样噪声;引入GN加速模型收敛,并将改进U-Net网络用在PlantVillage数据集上进行预训练,提高模型的分割准确度和速度。改进后的方法准确率、召回率和MIoU分别为92.9%、91.1%、93.6%,实验结果表明,该方法能够有效地提高模型对番茄的病害分割性能。     

U-Net支气管超声弹性图像纵膈淋巴结分割

目的 超声弹性成像技术已逐步应用于支气管淋巴结良恶性的诊断,帮助确定肺癌分期。在支气管超声弹性图像中,淋巴结区域的精确定位对诊断准确度具有重要影响,但通常依赖专业医师的手动分割,费时费力。为此,本文设计了一种注意力上下文编码器网络(attention context encoder network,ACE-Net)。方法 本文网络模型包括编码器、上下文提取器和解码器3部分。使用在Image Net数据集上预训练且去掉平均池化层和全连接层的34层残差网络Res Net-34作为编码器提取特征,上下文提取器从编码器的输出中进一步提取高级语义信息,同时保留尽可能多的空间信息,基于AG(attention gate)的解码器可以抑制输入图像中的不相关区域,同时突出对当前任务更关键的特征。结果 实验在本文收集的包含支气管超声弹性图像及对应分割标签的数据集上进行,与6种典型的U-Net结构深度网络模型的分割性能进行对比,数据集中的每幅图像中的淋巴结都由专业医师手动分割标注。基础U-Net网络得到淋巴结分割结果的Dice系数、敏感度和特异度分别为0.820 7、85.08%和96.82%,其他改进网...     

多尺度融合增强的纵膈淋巴结超声弹性图像分割

目的 支气管超声弹性成像具有丰富的通道语义信息,精准的分割纵膈淋巴结对诊断肺癌是否转移具有重要意义,也对癌症的分期和治疗有着重要作用。目前,超声弹性图像分割研究较少,没有充分挖掘图像通道特征之间的关系。因此,提出一种结合注意力机制的多尺度融合增强的纵膈淋巴结超声弹性图像分割U-Net(attention-based multi-scale fusion enhanced ultrasound elastic images segmentation network for mediastinal lymph node, AMFE-UNet)。方法首先,考虑到图像可以提供纵膈淋巴结的位置和通道信息,设计密集卷积网络（dense convolutional network,DenseNet）作为模型编码器;其次,结合注意力机制和空洞卷积设计多尺度融合增强解码器,从多尺度和范围对结节的边界和纹理进行建模;最后,用选择性内核网络设计跳跃连接,将编码器的中间特征与解码器的输出特征充分融合。根据解码器特征进行数值或通道融合的方式不同,将AMFE-UNet分为A和B两个子型。结果 在超声弹性图像数据集...     

自适应模态融合双编码器MRI脑肿瘤分割网络

目的 评估肿瘤的恶性程度是临床诊断中的一项具有挑战性的任务。因脑肿瘤的磁共振成像呈现出不同的形状和大小,肿瘤的边缘模糊不清,导致肿瘤分割具有挑战性。为有效辅助临床医生进行肿瘤评估和诊断,提高脑肿瘤分割精度,提出一种自适应模态融合双编码器分割网络D3D-Net(double3DNet)。方法 本文提出的网络使用多个编码器和特定的特征融合的策略,采用双层编码器用于充分提取不同模态组合的图像特征,并在编码部分利用特定的融合策略将来自上下两个子编码器的特征信息充分融合,去除冗余特征。此外,在编码解码部分使用扩张多纤维模块在不增加计算开销的前提下捕获多尺度的图像特征,并引入注意力门控以保留细节信息。结果 采用BraTS2018(brain tumor segmentation 2018)、BraTS2019和BraTS2020数据集对D3D-Net网络进行训练和测试,并进行了消融实验。在BraTS2018数据集上,本模型在增强肿瘤、整个肿瘤、肿瘤核心的平均Dice值与3D U-Net相比分别提高了3.6%,1.0%,11.5%,与DMF-Net(dilatedmulti-fibernetwork...     

注意力机制下密集空洞卷积的肺部图像分割

目的 卷积神经网络（convolutional neural network,CNN）在计算机辅助诊断（computer-aided diagnosis,CAD）肺部疾病方面具有广泛的应用,其主要工作在于肺部实质的分割、肺结节检测以及病变分析,而肺实质的精确分割是肺结节检出和肺部疾病诊断的关键。因此,为了更好地适应计算机辅助诊断系统要求,提出一种融合注意力机制和密集空洞卷积的具有编码—解码模式的卷积神经网络,进行肺部分割。方法 将注意力机制引入网络的解码部分,通过增大关键信息权重以突出目标区域抑制背景像素干扰。为了获取更广更深的语义信息,将密集空洞卷积模块部署在网络中间,该模块集合了Inception、残差结构以及多尺度空洞卷积的优点,在不引起梯度爆炸和梯度消失的情况下,获得了更深层次的特征信息。针对分割网络常见的特征丢失等问题,对网络中的上/下采样模块进行改进,利用多个不同尺度的卷积核级联加宽网络,有效避免了特征丢失。结果 在LUNA （lung nodule analysis）数据集上与现有5种主流分割网络进行比较实验和消融实验,结果表明,本文模型得到的预测图更接近于标签图像。Dice相似系数、交并比（intersection over union,IoU）、准确度（accuracy,ACC）以及敏感度（sensitivity,SE）等评价指标均优于对比方法,相比于性能第2的模型,分别提高了0.443%,0.272%,0.512%以及0.374%。结论 本文提出了一种融合注意力机制与密集空洞卷积的肺部分割网络,相对于其他分割网络取得了更好的分割效果。     

引入注意力机制和多视角融合的脑肿瘤MR图像U-Net分割模型

目的 脑肿瘤核磁共振（magnetic resonance,MR）图像分割对评估病情和治疗患者具有重要意义。虽然深度卷积网络在医学图像分割中取得了良好表现,但由于脑胶质瘤的恶性程度与外观表现有巨大差异,脑肿瘤MR图像分割仍是一项巨大挑战。图像语义分割的精度取决于图像特征的提取和处理效果。传统的U-Net网络以一种低效的拼接方式集成高层次特征和低层次特征,从而导致图像有效信息丢失,此外还存在未能充分利用上下文信息和空间信息的问题。对此,本文提出一种基于注意力机制和多视角融合U-Net算法,实现脑肿瘤MR图像的分割。方法 在U-Net的解码和编码模块之间用多尺度特征融合模块代替传统的卷积层,进行多尺度特征映射的提取与融合;在解码模块的级联结构中添加注意力机制,增加有效信息的权重,避免信息冗余;通过融合多个视角训练的模型引入3维图像的空间信息。结果 提出的模型在BraTS18（Multimodal Brain Tumor Segmentation Challenge 2018）提供的脑肿瘤MR图像数据集上进行验证,在肿瘤整体区域、肿瘤核心区域和肿瘤增强区域的Dice score分别为0.907、0.838和0.819,与其他方法进行对比,较次优方法分别提升了0.9%、1.3%和0.6%。结论 本文方法改进了传统U-Net网络提取和利用图像语义特征不足的问题,并引入了3维MR图像的空间信息,使得肿瘤分割结果更加准确,具有良好的研究和应用价值。     

Fine-grained histopathological cell segmentation through residual attention with prior embedding

In the task of histopathological cell segmentation, traditional algorithms struggle with cell edge processing, which leads to the blurring of cell edges. To strengthen the ability to learn the features of cell edges, this paper develops a novel deep neural network for robust and fine-grained cell segmentation. The proposed deep model mines global and local features by multiscale convolution and dilated convolution. Subsequently, the residual attention module is introduced in the third to fifth layers of the encoder; this module assigns a group of weight coefficients to all the deep features to boost the segmentation performance. In addition, to further improve the quality of the features in the decoder, we first introduce the strategy of U-Net for the extraction of prior information, where we filter the fused features and compress the features by using the prior information and the filtered features again to integrate more semantic information into the feature refinement in the decoding process. We tested the model on three public data sets: Multiorgan Nucleus Segmentation (MoNuSeg) (Dice 94.9%), Triple Negative Breast Cancer (TNBC) (Dice 95.4%) and Data Science Bowl (Dice 98.2%). Extensive experiments demonstrate the superior performance of our proposed method in comparison with that of state-of-the-art models; our method can effectively identify cell edges to produce fine-grained segmentation results.