基于多尺度特征融合双U型皮肤病变分割算法

针对皮肤病分割问题中皮肤病变区域大小不一且形状各异问题,提出一种基于多尺度特征融合的双U型皮肤病分割算法.该算法由粗分U型网络和细分U型网络两部分组成.首先粗分U型网络编码部分采用预训练VGG-19模型对相关特征进行多尺度特征提取;在解码阶段利用改进注意力残差块将底层与高层信息进行有效的映射融合,得到初步的Mask;然后将初步生成的Mask与原图像聚合,并输入多路特征提取编码器中进行二次特征蒸馏;而细分U型网络解码器同时与粗分U型网络编码部分和细分U型网络的编码部分特征映射进行融合,保证网络可以聚合更多的有效特征;最后利用Focal Tversky损失函数进一步提升分割效果.实验表明,所提算法在ISBI2016数据集上实验分割精度为96.11％、敏感度为93.59％、特异性为97.10％、Dice系数为93.14％、Jaccard系数为87.17％,能够有效地分割皮肤病病变区域.     

基于深度学习的轻量级道路图像语义分割算法

针对深度学习中道路图像语义分割模型参数量巨大以及计算复杂,不适合于部署在移动端进行实时分割的问题,提出了一种使用深度可分离卷积构建的轻量级对称U型编码器-解码器式的图像语义分割网络MUNet。首先设计出U型编码器-解码器式网络;其次,在卷积块之间设计稀疏短连接;最后,引入了注意力机制与组归一化（GN）方法,从而在减少模型参数量以及计算量的同时提升分割精度。针对道路图像CamVid数据集,在1 000轮训练后,MUNet模型分割结果在测试图像裁剪为720×720大小时的平均交并比（MIoU）为61.92%。实验结果表明,和常见的图像语义分割网络如金字塔场景分析网络（PSPNet）、RefineNet、全局卷积网络（GCN）和DeepLabv3+相比较,MUNet的参数量以及计算量更少,同时网络分割性能更好。     

基于双解码U型卷积神经网络的胰腺分割

计算机断层成像(computed tomography, CT)中,胰腺分割作为医学图像分析中最具挑战的任务之一,由于其体积小、形状多变的特点,导致传统的自动分割方法无法达到理想的分割精度.利用高级语义特征指导低级特征的思想,提出一种基于双解码U型卷积神经网络的单阶段胰腺分割模型.模型由一个编码器和两个解码器构成,两个解码器利用不同编码深度的特征将低级空间信息与高级语义信息有效结合,加强分割网络对特征信息的高效利用,能够对未裁剪、未降低分辨率的CT切片实现高精确度的分割.实验结果表明,方法能够在全尺寸的输入下实现较好的分割性能,在公开胰腺数据集上的分割效果优于现有单阶段胰腺分割方法.     

CoT-TransUNet:轻量化的上下文Transformer医学图像分割网络

针对以往医学图像分割网络中卷积的感受野太小以及Transformer的特征丢失问题,提出了一种端到端的轻量化上下文Transformer医学图像分割网络（lightweight context Transformer medical image segmentation network,CoT-TransUNet)。该网络由编码器、解码器以及跳跃连接三部分组成。对于输入图像,编码器使用CoTNet-Transformer的混合模块,采用CoTNet作为特征提取器来生成特征图。Transformer块则把特征图编码为输入序列。解码器通过一个级联上采样器,将编码后的特征进行上采样。该上采样器级联了多个上采样块,每个上采样块都采用CARAFE上采样算子。通过跳跃连接实现编码器与解码器在不同分辨率上的特征聚合。CoT-TransUNet通过在特征提取阶段采用全局与局部上下文信息相结合的CoTNet;在上采样阶段采用具有更大感受野的CARAFE算子。实现了生成更好的输入特征图,以及基于内容的上采样,并保持轻量化。在多器官分割任务的实验中,CoT-TransUNet取得了优于其他网络的性能。     

基于Transformer的U型医学图像分割网络综述

目前,医学图像分割模型广泛采用基于全卷积网络（FCN）的U型网络（U-Net）作为骨干网,但卷积神经网络（CNN）在捕捉长距离依赖能力上的劣势限制了分割模型性能的进一步提升。针对上述问题,研究者们将Transformer应用到医学图像分割模型中以弥补CNN的不足,结合Transformer和U型结构的分割网络成为研究热点之一。在详细介绍U-Net和Transformer之后,按医学图像分割模型中Transformer模块所处的位置,包括仅在编码器或解码器、同时在编码器和解码器、作为过渡连接和其他位置进行分类,讨论各模型的基本内容、设计理念以及可改进的地方,并分析了Transformer处于不同位置的优缺点。根据分析结果可知,决定Transformer所在位置的最大因素是目标分割任务的特点,而且Transformer结合U-Net的分割模型能更好地利用CNN和Transformer各自的优势,提高模型的分割性能,具有较大的发展前景和研究价值。     

SA-TF-UNet：基于空间注意力机制和Transformer的MRI海马体分割

目的 海马体内嗅皮层的像素体积较小，这些特征给医学影像的分割任务带来很大挑战。综合海马体的形态特点以及医生的分割流程，提出一种新的海马体分割方法，以实现在临床医学影像处理中对海马体的精确分割，辅助阿尔兹海默症的早期诊断。方法 提出一个基于自注意力机制与空间注意力机制的U型网络模型SA-TF-UNet （hippocampus segmentation network based on Transformer and spatial attention mechanisms）。该网络为端到端的预测网络，输入任意大小的3维MRI （magnetic resonance imaging）影像，输出类别标签。SA-TF-UNet采用编码器—解码器结构，编码器采用纯Transformer模块，不包含卷积模块。多头自注意力机制为Transformer模块中的特征提取器，自注意力模块基于全局信息建模，并提取特征。因此，使用Transformer提取特征符合医生分割海马体的基本思路。解码器采用简单的卷积模块进行上采样。使用AG （attention gate）模块作为跳跃连接的方式，自动增加前景的权重，代替了传统网络中的直接连接。为了验证AG的有效性，分别做了只在单层加入AG的实验，与在4层网络中全部加入AG的实验结果进行对比。为了进一步探讨AG模块中门控信号的来源，设计了两个SA-TF-UNet的变体，它们的网络结构中AG门控信号分别为比AG中的特征图深两层的Transformer模块输出和深3层的Transformer模块输出。结果 为了验证SA-TF-UNet在临床数据集中分割海马体的有效性，在由阿尔兹海默症患者的MRI影像组成的脑MRI数据集上进行实验。4层网络全部加入AG，且AG的门控信号是由比AG特征图更深一层的Transformer模块输出的SA-TF-UNet模型分割效果最好。SA-TF-UNet对于左海马体、右海马体的分割Dice系数分别为0.900 1与0.909 1，相较于对比的语义分割网络有显著提升，Dice系数提升分别为2.82%与3.43%。结论 加入空间注意力机制的以纯Transformer模块为编码器的分割网络有效提升了脑部MRI海马体的分割精度。     

基于编码器-解码器的半监督图像语义分割

基于深度卷积神经网络的图像语义分割方法需要大量像素级标注的训练数据,但标注的过程费时又费力.本文基于生成对抗网络提出一种编码-解码结构的半监督图像语义分割方法,其中编码器-解码器模块作为生成器,整个网络通过耦合标准多分类交叉熵损失和对抗损失进行训练.为充分利用浅层网络包含的丰富的语义信息,本文将编码器中不同尺度的特征输入到分类器,并将得到的不同粒度的分类结果融合,进而优化目标边界.此外,鉴别器通过发现无标签数据分割结果中的可信区域,以此提供额外的监督信号,来实现半监督学习.在PASCAL VOC 2012和Cityscapes上的实验表明,本文提出的方法优于现有的半监督图像语义分割方法.     

结合Transformer与对称型编解码器的噪声虹膜图像分割方法EI北大核心CSCD

针对少约束场景下采集的虹膜图像容易受到镜面反射、睫毛和头发遮挡、运动和离焦模糊等噪声的干扰,导致难以准确地分割有效的虹膜区域的问题,提出一种结合Transformer与对称型编解码器的噪声虹膜图像分割方法.首先,使用Swin Transformer作为编码器,将输入图像的区块序列送入分层Transformer模块中,通过自注意力机制建模像素间的长距离依赖,增强上下文信息的交互;其次,构建与编码器对称的Transformer解码器,对所提取的高阶上下文特征进行多层解码,解码过程中与编码器跳跃连接进行多尺度特征融合,减少下采样造成的空间位置信息丢失;最后,对解码器每个阶段的输出进行监督学习,提升不同尺度特征的抽取质量.基于3个公开的噪声近红外和可见光虹膜数据集NICE.I,CASIA.v4-distance和MICHE-I,与若干包括传统方法、基于卷积神经网络的方法和基于现有Transformer的方法在内的基准方法进行对比实验,实验结果表明,所提方法在E_(1),E_(2),F_(1)和MIOU定量评价指标上均取得了比基准方法更优的分割性能,尤其是在减少噪声的干扰上具有明显的优势.此外,在CASIA.v4-distance数据集上的虹膜识别实验表明,文中方法可以有效地提升虹膜识别的性能,显示了良好的应用潜力.     

基于新型编解码网络的复杂背景航拍图像输电线识别

针对常规图像处理和现有语义分割方法从航拍图像中识别输电线速度慢、准确率低等问题,构建了新型高效的输电线识别编解码网络。为减少模型参数,提高计算效率,采用轻量级MobileNetV3作为编码器主干特征提取网络,并在浅层引出快捷链路与深层进行堆叠;通过金字塔池化模块(PSP)和深度可分离卷积构建解码器提高输电线多尺度特征复用能力并实现网络轻量化;采用跳跃连接结构级联编码器和解码器从而融合浅层和深层多尺度特征信息;利用迁移学习加快网络训练收敛速度并识别出输电线。实验结果表明,新型编解码网络能准确快速地识别出复杂背景下的输电线,MPA、MIOU和FPS分别达到了94.37%、86.95%和31帧每秒,识别精度和速度均优于UNet网络和PSPNet网络。     

基于残差双注意力U-Net模型的CT图像囊肿肾脏自动分割

人体肾脏存在形状的多样性和解剖学的复杂性,囊肿病变也会导致肾脏形状发生大幅变化。为应对CT图像囊肿肾脏自动分割存在的诸多挑战,提出一种新型深度分割网络模型。该模型设计有带残差连接的双注意力模块,在残差结构的基础上,联合空间注意力和通道注意力机制自适应学习更加有效的特征表达。依据U-Net架构,以残差双注意力模块为基础模块构建编码器和解码器,设置层级间的跳跃连接,使网络能够更加关注肾脏区域特征,有效应对肾脏的形状变化。为了验证所提模型的有效性,从医院共采集79位肾囊肿患者的CT图像进行训练和测试,实验结果表明该模型能够准确分割CT图像切片中的肾脏区域,且各项分割指标优于多个经典分割网络模型。     

融合低阶特征与全局特征的图像语义分割方法

目前,深度全卷积网络在图像语义分割领域已经取得了瞩目的成就,但特征图的细节信息在多次下采样过程中会大量损失,对分割精度造成影响。针对该问题设计了一个用于图像语义分割的深度全卷积网络。该网络采用“编码器-解码器”结构,在编码器后端引入空洞卷积以降低细节信息的损失,在解码过程中融合对应尺寸的低阶语义特征,并在解码器末端融入全局特征以提升模型的分割精度。使用数据增强后的CamVid数据集对网络进行训练和测试,测试结果达到了90.14%的平均像素精度与71.94%的平均交并比。实验结果表明,该网络能充分利用低阶特征与全局特征,有效提升分割性能,并在区域平滑方面有很好的表现。     

基于光流场与语义特征融合的心脏Cine-MRI左心室心肌分割方法

由于运动原因会造成活体心脏MRI图像中左心室心内膜与心肌边缘轮廓模糊, 进而导致分割不准确以及分割精度较低, 针对这些问题, 本文提出一种基于光流场与语义特征融合的心脏4D Cine-MRI (magnetic resonance imaging)左心室心肌分割模型OSFNet. 该模型包含了光流场计算和语义分割网络: 将光流场计算得到的运动特征与图像语义特征进行融合, 通过网络学习达到了最优的分割效果. 模型采用编码器-解码器结构, 本文提出的多感受野平均池化模块用于提取多尺度语义特征, 减少了特征丢失; 解码器部分使用了多路上采样方法和跳跃连接, 保证了语义特征被有效还原. 本文使用ACDC公开数据集对模型进行训练与测试, 并分别与DenseNet和U-Net在左心室内膜分割、左心室内膜和心肌分割目标上进行对比. 实验结果表明, OSFNet在Dice和HD等多个指标上取得了最佳效果.     

自适应目标的U型皮肤病变图像分割算法

针对皮肤病变图像分割问题,提出一种自动适应目标形状的U型皮肤病变图像分割算法.对原始病变图片依次进行灰度化、归一化和限制对比度自适应直方图均衡化处理,提高前景与背景的对比度;将预处理后的图片输入到U型网络中进行训练,该网络将调制可变形卷积块融合到U-Net的编码器和解码器中,使其自动适应病变目标的比例和形状,让复杂的病变结构能被更好地检测到;通过Softmax分类器得到分割结果.在ISBI2016皮肤病变图像数据集的实验结果显示,分割精度、Dice系数和灵敏度分别为97.87％、94.01％、94.70％.该算法可精确分割皮肤病变区域,总体性能优于现有算法.     

面向甲状腺结节超声图像分割的多尺度特征融合“h”形网络

目的 准确定位超声甲状腺结节对甲状腺癌早期诊断具有重要意义,但患者结节大小、形状以及位置的不确定性极大影响了结节分割的准确率和模型的泛化能力。为了提高超声甲状腺结节分割的精度,增强泛化性能并降低模型的参数量,辅助医生诊断疾病,减少误诊,提出一种面向甲状腺结节超声图像分割的多尺度特征融合“h”形网络。方法 首先提出一种网络框架,形状与字母h相似,由一个编码器和两个解码器组成,引入深度可分离卷积缩小网络尺寸。编码器用于提取图像特征,且构建增强下采样模块来减少下采样时造成的信息损失,增强解码器特征提取的能力。第1个解码器负责获取图像的初步分割信息;第2个解码器通过融合第1个解码器预先学习到的信息来增强结节的特征表达,提升分割精度,并设计了融合卷积池化金字塔实现多尺度特征融合,增强模型的泛化能力。结果 该网络在内部数据集上的Dice相似系数（Dice similarity coefficients, DSC）、豪斯多夫距离（Hausdorff distance,HD）、灵敏度（sensitivity,SEN）和特异度（specificity,SPE）分别为0.872 1、0.935 6、0.879 7和0.997 3,在公开数据集DDTI（digital database thyroid image）上,DSC和SPE分别为0.758 0和0.977 3,在数据集TN3K（thyroid nodule 3 thousand）上的重要指标DSC和HD分别为0.781 5和4.472 6,皆优于其他模型。结论 该网络模型以较低的参数量提升了甲状腺超声图像结节的分割效果,增强了泛化性能。     

基于密集注意力网络的视网膜血管图像分割

视网膜血管的结构信息对眼科疾病的诊断具有重要的指导意义,对视网膜血管图像进行高效正确的分割成为临床的迫切需求。传统的人工分割方法耗时较长且易受个人主观因素的影响,分割质量不高。为此,提出一种基于密集注意力网络的图像自动分割算法。将编码器-解码器全卷积神经网络的基础结构与密集连接网络相结合,以充分提取每一层的特征,在网络的解码器端引入注意力门模块,对不必要的特征进行抑制,提高视网膜血管图像的分割精度。在DRIVE和STARE眼底图像数据集上的实验结果表明,与其他基于深度学习的算法相比,该算法的敏感性、特异性、准确率和AUC值均较高,分割效果较好。     

基于深度学习的无人机图像语义分割算法研究

已有关于无人机视觉的图像语义分割算法多数是对遥感图像进行分割,无法表现地面细节信息,导致无人机在低空飞行任务中的实时自主环境感知存在障碍。针对该问题,提出一种低空无人机实时图像语义分割方法。设计一种新型的超网络体系结构,在编码器的最后一层加入一个上下文头权重生成模块,在编码器编码结束前生成解码器中每个块的权重,以减少预测时网络的参数量和计算量,达到实时分割的效果。在解码器中,利用局部连接层机制设计一种动态分片卷积算法,在面对跨越多个分片的大型分割对象时充分考虑上下文语义信息,使解码器中每个卷积核的权重随输入特征图的空间位置而变化,同时利用动态权重针对性地分割不同物体,最大程度地提高网络的自适应性。在低空无人机视觉图像数据集上的实验结果表明,该方法对于建筑、道路、静态车等类别图像的平均交并比为66.3%,预测速度达到37.9帧/s,与MSD、ABCNet算法相比,其分割精度分别提升9.3和2.5个百分点。     

基于改进的U-Net肺结节分割方法研究

由于肺部CT图像的特征信息复杂程度高,经典U型卷积网络对肺结节分割存在准确率较低和误分割等问题.针对这一问题,提出一种改进的U型卷积网络模型.该模型将U-Net网络和DenseNet网络融合,将解码器浅层特征连接至深层特征来增强特征的复用性.通过U-Net网络与卷积条件随机场(ConvCRF)的端到端结合训练来增强边缘特征,解决了边界模糊的问题.提出一种改进的focal loss损失函数,该函数提高了结节所占的权重,解决了正负样本不平衡的问题.在LUNA16数据集中作对比实验验证了模型的性能,分割精准度达到0.9374,敏感度为0.941,该结果证明了改进模型在肺结节分割中更优.     

基于深度学习的遥感影像语义分割研究

高分辨率遥感图像的语义分割是遥感应用领域中的重要任务之一。针对经典语义分割网络在高分辨率遥感图像语义分割中存在边缘目标分割不准确、多尺度目标分割困难等问题，提出了一种基于改进空洞空间金字塔池的编码器-解码器结构网络(SMANet)。编码部分使用带有注意力机制的残差网络，使得网络充分提取图像的特征信息，其次通过多并行空洞空间金字塔模块（MASPP）获得特征图有关类别和空间上下文的更详细.信息；解码部分以自底向上方式将深层次语义信息逐步融入到低层次高分辨率图像中。使用WHDLD公开数据集对该算法进行实验，获得了6418%的平均交并比，实验结果表明SMANet优于目前主流的语义分割网络。     

基于深度神经网络的移动端人像分割

针对现有的人像分割算法大多忽略移动设备的硬件限制，盲目追求效果，以致无法满足移动端对于分割速度要求的问题，提出了一种可在移动设备上高效运行的人像分割网络。首先，基于编码器-解码器的轻量级U型架构来构建网络；其次，为了克服全卷积网络（FCN）受制于较小的感受域，无法充分捕获长距离信息的缺陷，引入期望最大化注意力块（EMAU）置于编码器之后、解码器之前；然后，在训练阶段添加多层边界辅助损失，有助于提高人物边界轮廓的准确度；最后，对模型进行量化和压缩。在Veer数据集上将所提网络与PortraitFCN+、ENet和BiSeNet等网络进行对比实验。实验结果表明，所提网络可以提高图像推理速度和分割效果，并能够以95.57%的准确率处理分辨率为224×224的RGB图像。     

多尺度融合增强的纵膈淋巴结超声弹性图像分割

目的 支气管超声弹性成像具有丰富的通道语义信息,精准的分割纵膈淋巴结对诊断肺癌是否转移具有重要意义,也对癌症的分期和治疗有着重要作用。目前,超声弹性图像分割研究较少,没有充分挖掘图像通道特征之间的关系。因此,提出一种结合注意力机制的多尺度融合增强的纵膈淋巴结超声弹性图像分割U-Net(attention-based multi-scale fusion enhanced ultrasound elastic images segmentation network for mediastinal lymph node, AMFE-UNet)。方法首先,考虑到图像可以提供纵膈淋巴结的位置和通道信息,设计密集卷积网络（dense convolutional network,DenseNet）作为模型编码器;其次,结合注意力机制和空洞卷积设计多尺度融合增强解码器,从多尺度和范围对结节的边界和纹理进行建模;最后,用选择性内核网络设计跳跃连接,将编码器的中间特征与解码器的输出特征充分融合。根据解码器特征进行数值或通道融合的方式不同,将AMFE-UNet分为A和B两个子型。结果 在超声弹性图像数据集...