基于组合 U-Net 网络的 CT 图像头颈放疗危及器官 自动分割

CT 图像头颈分割面临着以下难点：CT 图像的低对比度导致边界不清,图像扫描间距过大导 致冠状面和矢状面图像分辨率低,头颈中待分割的 22 个器官对于神经网络构建建模的需求不同,且由于存在极小器官造成了类间不平衡。为解决上述问题,该文提出一种 U-Net 组合模型——由 3 种 U-Net 模型组成,分别是 2D U-Net 模型、3D U-Net 模型及 3D-small U-Net 模型。其中,2D U-Net 模型用于厚层图像的分割,3D U-Net 模型利用三维空间信息,3D-small U-Net 模型用于分割最小的两个器官以解决类不平衡问题。该方法在 MICCAI 2019 StructSeg 头颈放疗危及器官分割任务中取得了第 2 名的成绩,平均 DSC 系数为 80.66%,95% 豪斯道夫距离为 2.96 mm。     

基于级联Vnet-S网络的CT影像单一器官自动分割算法

为了快速准确地对计算机断层扫描（CT）影像中的器官进行分割，提出基于级联Vnet-S网络的单一器官自动分割算法。首先，使用第一个Vnet-S网络对CT影像中的器官进行粗分割；然后，选择分割结果中的最大连接通量做两次膨胀，根据膨胀后的最大连接通量确定器官边界并提取器官区域；最后，使用第二个Vnet-S网络对器官进行细分割。为了验证算法的性能，采用MICCAI 2017 Liver Tumor Segmentation Challenge （LiTS）数据集进行肝脏分割实验，采用ISBI LUng Nodule Analysis 2016（LUNA16）数据集进行肺分割实验。级联Vnet-S算法在LiTS的70例线上测试数据上的Dice系数为0.9600，在LUNA16的288例测试数据上的Dice系数为0.9810，均高于Vnet-S网络和Vnet网络。实验结果表明，基于级联Vnet-S网络的单一器官分割算法可以准确地对器官进行分割，而且级联Vnet-S算法的计算量小于Unet网络和Vnet网络。     

基于级联卷积神经网络的作物病害叶片分割

针对传统卷积神经网络在作物病害叶片图像中分割精度低的问题,提出一种基于级联卷积神经网络（Cascade Convolutional Neural Network,CCNN）的作物病害叶片图像分割方法。该网络由区域病斑检测网络和区域病斑分割网络组成。基于传统VGG16模型构建区域病斑检测网络（Regional Detection Network,RD-net）,利用全局池化层代替全连接层,由此减少模型参数,实现叶片病斑区域精确定位。基于Encoder-Decoder模型结构建立区域分割网络（Regional Segmentation Network,RS-net）,并利用多尺度卷积核提高原始卷积核的局部感受野,对病斑区域精确分割。在不同环境下的病害叶片图像上进行分割实验,分割精度为87.04%、召回率为78.31%、综合评价指标值为88.22%、单幅图像分割速度为0.23?s。实验结果表明该方法能够满足不同环境下的作物病害叶片图像分割需求,可为进一步的作物病害识别方法研究提供参考。     

基于3D CNN的鼻咽癌CT图像分割

鼻咽癌CT图像分割是鼻咽癌诊断和治疗的先行任务,然而,由于鼻咽癌细胞的外形多样、灰度不均匀、边界模糊、病变形状复杂等因素使得分割难以准确。针对这一问题,提出了一种基于三维深度卷积神经网络的鼻咽癌CT图像分割方法,三维深度卷积神经网络框架的前5层采用卷积核为3~3的普通卷积,中间6层采用空洞率为2的膨胀卷积,后6层采用空洞率为4的膨胀卷积,每2个卷积层之间有一个残差连接,最后利用Softmax函数对每个像素点进行分类。膨胀卷积有助于得到精确的密集预测和沿物体边界的精细分割图,残差连接使深度卷积神经网络中的信息传播平滑,并能提高训练速度。实验结果表明,在鼻咽癌CT图像分割中该方法与其他主流方法相比有更好的性能。     

鼻咽癌原发肿瘤放疗靶区的自动分割

目的 放射治疗是鼻咽癌的主要治疗方式之一,精准的肿瘤靶区分割是提升肿瘤放疗控制率和减小放疗毒性的关键因素,但常用的手工勾画时间长且勾画者之间存在差异。本文探究Deeplabv3+卷积神经网络模型用于鼻咽癌原发肿瘤放疗靶区（primary tumor gross target volume,GTVp）自动分割的可行性。方法 利用Deeplabv3+网络搭建端到端的自动分割框架,以150例已进行调强放射治疗的鼻咽癌患者CT（computed tomography）影像和GTVp轮廓为研究对象,随机选取其中15例作为测试集。以戴斯相似系数（Dice similarity coefficient,DSC）、杰卡德系数（Jaccard index,JI）、平均表面距离（average surface distance,ASD）和豪斯多夫距离（Hausdorff distance,HD）为评估标准,详细比较Deeplabv3+网络模型、U-Net网络模型的自动分割结果与临床医生手工勾画的差异。结果 研究发现测试集患者的平均DSC值为0.76±0.11,平均JI值为0.63±0.13,平均ASD值为（3.4±2.0）mm,平均HD值为（10.9±8.6）mm。相比U-Net模型,Deeplabv3+网络模型的平均DSC值和JI值分别提升了3%~4%,平均ASD值减小了0.4 mm,HD值无统计学差异。结论 研究表明,Deeplabv3+网络模型相比U-Net模型采用了新型编码—解码网络和带孔空间金字塔网络结构,提升了分割精度,有望提高GTVp的勾画效率和一致性,但在临床实践中需仔细审核自动分割结果。     

基于深度级联神经网络的自动驾驶运动规划模型

针对基于规则的运动规划算法需要预先定义规则和基于深度学习的方法没有利用时间特征的问题，提出一种基于深度级联神经网络的运动规划模型。该模型将卷积神经网络（CNN）和长短期记忆网络（LSTM）这两种经典的深度学习模型进行融合并构成一种新的级联神经网络，分别提取输入图像的空间和时间特征，并用以拟合输入序列图像与输出运动参数之间的非线性关系，从而完成从输入序列图像到运动参数的端到端的规划。实验利用模拟驾驶环境的数据进行训练和测试，结果显示所提模型在乡村路、高速路、隧道和山路四种道路中均方根误差（RMSE）不超过0.017，且预测结果的稳定度优于未使用级联网络的算法一个数量级。结果表明，所提模型能有效地学习人类的驾驶行为，并且能够克服累积误差的影响，适应多种不同场景下的路况，具有较好的鲁棒性。     

卷积神经网络结合可变模型的MRI图像自动分割方法

利用心脏核磁共振成像技术对左心室进行分割,可以准确计算出心室容积等重要临床指标。针对左心室位置检测、形状推断与分割问题,提出一种基于卷积网络和可变模型算法的左心室图像处理方法。利用稀疏自动编码和卷积网络实现左心室图像位置的高精度检测;基于堆栈稀疏编码器和多层神经网络推断出左心室图像的基本形状;利用可变模型和推断出的形状组合对心脏图像进行精确分割。在30个心脏核磁共振数据库中采集图像数据进行实验分析,实验结果表明,相比其他几种较新的分割算法,该方法在计算轮廓比例和一致性两个指标上均获得了最优结果。     

基于级联CNN的SAR图像舰船目标检测算法

针对合成孔径雷达(SAR)图像中舰船目标稀疏的特点,提出一种基于级联卷积神经网络(CNN)的SAR图像舰船目标检测方法.将候选区域提取方法BING与目标检测方法Fast R-CNN相结合,并采用级联CNN设计,可同时兼顾舰船检测的准确率和速度.首先,针对SAR图像中相干斑噪声影响梯度检测的问题,在原有梯度算子的基础上增加平滑算子,并对图像尺寸个数和候选框个数进行适应性改进,使其提取到的候选窗口更快更准;然后,设计级联结构的Fast R-CNN检测框架,前端简单的CNN负责排除明显的非目标区域,后端复杂的CNN对高概率候选区域进行分类和位置回归,整个结构可以保证快速准确地对舰船这种稀疏目标进行检测;最后,设计一种联合优化方法对多任务的目标函数进行优化,使其更快更好地收敛.在SAR图像舰船检测数据集SSDD上的实验结果显示,所提出的方法相比于原始Fast R-CNN和Faster R-CNN检测方法,检测精度从65.2%和70.1%提高到73.5%,每张图像的处理时间从2235ms和198ms下降到113ms.     

级联优化CNN的手指静脉图像质量评估

目的 针对手动设计的手指静脉质量特征计算过程复杂、鲁棒性差、表达效果不理想等问题,提出了基于级联优化CNN（卷积神经网络）进行多特征融合的手指静脉质量评估方法。方法 以半自动化方式对手指静脉公开数据库MMCBNU_6000进行质量标注并用R-SMOTE（radom-synthetic minority over-sampling technique）算法平衡类别;将深度学习中的CNN结构应用到手指静脉质量评估并研究了不同的网络深度对表征手指静脉质量的影响;受到传统方法中将二值图像和灰度图像结合进行质量评估的启发,设计了两种融合灰度图像和二值图像的质量特征的模型：多通道CNN（MC-CNN）和级联优化CNN（CF-CNN）,MC-CNN在训练和测试时均需要同时输入二值图像和灰度图像,CF-CNN在训练时分阶段输入二值图像和灰度图像,测试时只需输入灰度图像。结果 本文设计的3种简单CNN结构（CNN-K,K=3,4,5）在MMCBNU_6000数据库上对测试集图像的分类正确率分别为93.31%、93.94%、85.63%,以灰度图像和二值图像分别作为CNN-4的输入在MMCBNU_6000数据库上对测试集图像的分类正确率对应为93.94%、91.92%,MC-CNN和CF-CNN在MMCBNU_6000数据库上对测试集图像的分类正确率分别为91.44%、94.62%,此外,与现有的其他算法相比,CF-CNN在MMCBNU_6000数据库上对高质量测试图像、低质量测试图像、整体测试集图像的分类正确率均最高。结论 实验结果表明,基于CF-CNN学习到的融合质量特征比现有的手工特征和基于单一静脉形式学习到的特征表达效果更好,可以有效地对手指静脉图像进行高、低质量的区分。     

基于卷积神经网络的胸片肺野自动分割

针对传统胸片肺野分割方法需要人工干预、提取特征以及对先验知识的依赖性问题,提出了一种基于卷积神经网络(CNN)的胸片肺野自动分割方法,将X光胸片的分割问题转换为图像块的分类问题.将原图像分割成左、右肺,切块处理后分别作为训练样本,利用深度学习自动发现图像块中的潜在特征,对图像块进行分类,并将结果映射成二值图,得到初步分割结果,再对其进行后处理,合并之后作为最终的分割结果.实验表明:此方法在公开的JSRT数据集上进行测试,Jaccard指标可达94.6%,平均边界距离(MBD)指标达到1.10 mm,较现存分割算法更加出色.     

引入分组注意力的医学图像分割模型

目的 卷积神经网络结合U-Net架构的深度学习方法广泛应用于各种医学图像处理中,取得了良好的效果,特别是在局部特征提取上表现出色,但由于卷积操作本身固有的局部性,导致其在全局信息获取上表现不佳。而基于Transformer的方法具有较好的全局建模能力,但在局部特征提取方面不如卷积神经网络。为充分融合两种方法各自的优点,提出一种基于分组注意力的医学图像分割模型（medical image segmentation module based on group attention,GAU-Net）。方法 利用注意力机制,设计了一个同时集成了Swin Transformer和卷积神经网络的分组注意力模块,并嵌入网络编码器中,使网络能够高效地对图像的全局和局部重要特征进行提取和融合;在注意力计算方式上,通过特征分组的方式,在同一尺度特征内,同时进行不同的注意力计算,进一步提高网络提取语义信息的多样性;将提取的特征通过上采样恢复到原图尺寸,进行像素分类,得到最终的分割结果。结果 在Synapse多器官分割数据集和ACDC （automated cardiac diagnosis challenge）数据集上进行了相关实验验证。在Synapse数据集中,Dice值为82.93%,HD（Hausdorff distance）值为12.32%,相较于排名第2的方法,Dice值提高了0.97%,HD值降低了5.88%;在ACDC数据集中,Dice值为91.34%,相较于排名第2的方法提高了0.48%。结论 本文提出的医学图像分割模型有效地融合了Transformer和卷积神经网络各自的优势,提高了医学图像分割结果的精确度。     

结合上下文特征与CNN多层特征融合的语义分割

目的 针对基于区域的语义分割方法在进行语义分割时容易缺失细节信息,造成图像语义分割结果粗糙、准确度低的问题,提出结合上下文特征与卷积神经网络（CNN）多层特征融合的语义分割方法。方法 首先,采用选择搜索方法从图像中生成不同尺度的候选区域,得到区域特征掩膜;其次,采用卷积神经网络提取每个区域的特征,并行融合高层特征与低层特征。由于不同层提取的特征图大小不同,采用RefineNet模型将不同分辨率的特征图进行融合;最后将区域特征掩膜和融合后的特征图输入到自由形式感兴趣区域池化层,经过softmax分类层得到图像的像素级分类标签。结果 采用上下文特征与CNN多层特征融合作为算法的基本框架,得到了较好的性能,实验内容主要包括CNN多层特征融合、结合背景信息和融合特征以及dropout值对实验结果的影响分析,在Siftflow数据集上进行测试,像素准确率达到82.3%,平均准确率达到63.1%。与当前基于区域的端到端语义分割模型相比,像素准确率提高了10.6%,平均准确率提高了0.6%。结论 本文算法结合了区域的前景信息和上下文信息,充分利用了区域的语境信息,采用弃权原则降低网络的参数量,避免过拟合,同时利用RefineNet网络模型对CNN多层特征进行融合,有效地将图像的多层细节信息用于分割,增强了模型对于区域中小目标物体的判别能力,对于有遮挡和复杂背景的图像表现出较好的分割效果。     

深度卷积神经网络图像语义分割研究进展

在计算机视觉领域中,语义分割是场景解析和行为识别的关键任务,基于深度卷积神经网络的图像语义分割方法已经取得突破性进展。语义分割的任务是对图像中的每一个像素分配所属的类别标签,属于像素级的图像理解。目标检测仅定位目标的边界框,而语义分割需要分割出图像中的目标。本文首先分析和描述了语义分割领域存在的困难和挑战,介绍了语义分割算法性能评价的常用数据集和客观评测指标。然后,归纳和总结了现阶段主流的基于深度卷积神经网络的图像语义分割方法的国内外研究现状,依据网络训练是否需要像素级的标注图像,将现有方法分为基于监督学习的语义分割和基于弱监督学习的语义分割两类,详细阐述并分析这两类方法各自的优势和不足。本文在PASCAL VOC（pattern analysis, statistical modelling and computational learning visual object classes）2012数据集上比较了部分监督学习和弱监督学习的语义分割模型,并给出了监督学习模型和弱监督学习模型中的最优方法,以及对应的MIoU（mean intersection-over-union）。最后,指出了图像语义分割领域未来可能的热点方向。     

多层语义融合CNN的步态人体语义分割

目的 针对反恐、安防领域利用监控视频进行步态识别时由光照、拍摄角度、遮挡等多协变量引起的轮廓缺失、人体阴影和运算时间等问题,提出了一种基于RPGNet（Regin of Interest+Parts of Body Semantics+GaitNet）网络的步态人体语义分割方法。方法 该方法按照功能划分为R（region of interest）模块、P（parts of body semantics）模块和GNet（GaitNet）模块。R模块提取人体步态感兴趣区域,起到提升算法效率和图像去噪的作用。P模块借助LabelMe开源图像注释工具进行步态人体部位语义标注。GNet模块进行步态人体部位语义训练与分割。借鉴ResNet和RefineNet网络模型,设计了一种细节性步态语义分割网络模型。结果 对步态数据库1 380张图片进行了测试,RPGNet方法与6种人体轮廓分割方法进行了对比实验,实验结果表明RPGNet方法对细节和全局信息处理得都很精确,在0°、45°和90°视角都表现出较高的分割正确率。在多人、戴帽和遮挡条件下,实验结果表明RPGNet方法人体分割效果良好,能够满足步态识别过程中的实时性要求。结论 实验结果表明,RPGNet步态人体语义分割方法在多协变量情况下能够有效进行步态人体语义分割,同时也有效提高了步态识别的识别率。     

自适应感受野机制遥感图像分割模型

目的 遥感图像中存在大小、形态不一的目标,增加了目标分割任务的困难性。感受野代表了特征图中每个像素对应输入图像的区域,若感受野与目标形状的契合度较高,则特征图中包含的目标特征更加完整,有利于分割。在现有的分割方法中,通常采用的是正方形的感受野,而遥感图像中目标形状多变,导致感受野无法较好地契合目标形状,在提取目标特征时会引入过多的无用特征,从而影响分割精度。为此,本文提出基于自适应感受野机制的遥感图像分割模型。方法 在编码—解码网络结构的基础上,引入自适应感受野机制。首先在编码器上提取不同大小和宽高比的感受野特征,然后在特征融合时使用通道注意力模块自适应地获取通道权重,通过加权强化与目标形状契合度高的感受野的特征,弱化与目标形状契合度低的感受野的特征,在保留目标特征的同时减少背景特征的干扰,进而提升模型的分割精度。结果 在Inria Aerial Image Labeling数据集与DeepGlobe Road Extraction数据集上进行实验并与相关方法比较,在两个数据集上的平均交并比分别为76.1%和61.9%,平均F1值分别为86.5%和76.5%。结论 本文模型能够提取不同形状感受野的特征,并自适应地获取通道权重,使模型能提取更加完整的目标特征,从而提升目标分割效果。     

基于半监督对抗学习的图像语义分割

目的 将半监督对抗学习应用于图像语义分割,可以有效减少训练过程中人工生成标记的数量。作为生成器的分割网络的卷积算子只具有局部感受域,因此对于图像不同区域之间的远程依赖关系只能通过多个卷积层或增加卷积核的大小进行建模,但这种做法也同时失去了使用局部卷积结构获得的计算效率。此外,生成对抗网络(generative adversarial network, GAN)中的另一个挑战是判别器的性能控制。在高维空间中,由判别器进行的密度比估计通常是不准确且不稳定的。为此,本文提出面向图像语义分割的半监督对抗学习方法。方法 在生成对抗网络的分割网络中附加两层自注意模块,在空间维度上对语义依赖关系进行建模。自注意模块通过对所有位置的特征进行加权求和,有选择地在每个位置聚合特征。因而能够在像素级正确标记值数据的基础上有效处理输入图像中广泛分离的空间区域之间的关系。同时,为解决提出的半监督对抗学习方法的稳定性问题,在训练过程中将谱归一化应用到对抗网络的判别器中,这种加权归一化方法不仅可以稳定判别器网络的训练,并且不需要对唯一的超参数进行密集调整即可获得满意性能,且实现简单,计算量少,即使在缺乏互补的正则化...     

傅里叶变换通道注意力网络的胆管癌高光谱图像分割

目的 胆管癌高光谱图像的光谱波段丰富但存在冗余,造成基于深度神经网络高光谱图像分割方法的分割精度下降,虽然一些基于通道注意力机制的网络能够关注重要通道,但在处理通道特征时存在信息表示不足问题,因此本文研究构建一种新的通道注意力机制深度网络,以提高分割准确性。方法 提出了傅里叶变换多频率通道注意力机制（frequency selecting channel attention,FSCA）。FSCA对输入特征进行2维傅里叶变换,提取部分频率特征,再通过两层全连接层得到通道权重向量,将通道权重与对应通道特征相乘,获得了融合通道注意力信息的输出。针对患癌区域和无癌区域数据不平衡问题引入了Focal损失,结合Inception模块,构建基于Inception-FSCA的胆管癌高光谱图像分割网络。结果 在采集的胆管癌高光谱数据集上进行实验,Inception-FSCA网络的准确率（accuracy）、精度（precision）、敏感性（sensitivity）、特异性（specificity）、Kappa系数分别为0.978 0、0.965 4、0.958 6、0.985 2、0.945 6,优于另外5种对比方法。与合成的假彩色图像的分割结果相比,高光谱图像上的实验指标分别提高了0.058 4、0.105 8、0.087 5、0.039 0、0.149 3。结论 本文所提出的傅里叶变换多频率通道注意力机制能够更有效地利用通道信息,基于Inception-FSCA的胆管癌高光谱图像分割网络能够提升分割效果,在胆管癌医学辅助诊断方面具有研究和应用价值。     

融合上下文信息的深度推荐模型

目前,在基于文档信息的推荐任务中,传统基于文档的混合推荐算法仍依赖于浅层的线性模型,当评分数据变得庞大且复杂时,其推荐性能往往不太理想。针对此问题,提出一种深度融合模型(DeepFM),该模型能够在完全捕获文本信息的同时也能很好地处理复杂且稀疏的评分数据。DeepFM由两个并行的神经网络组成,其中一路神经网络使用多层感知器提取评分矩阵的行向量信息从而获得用户的潜在特征向量,另一路则使用MLP和卷积神经网络(CNN)共同建模从而提取额外有关项目的文本信息得到项目潜在特征向量。最后,通过构建融合层将用户特征向量和项目特征向量进行融合得出预测评分。实验结果表明,DeepFM在MovieLens数据集和亚马逊数据集上的性能优于主流的推荐模型。     

双编码特征注意网络的手术器械分割

目的 手术器械分割是外科手术机器人精准操作的关键环节之一,然而,受复杂因素的影响,精准的手术器械分割目前仍然面临着一定的挑战,如低对比度手术器械、复杂的手术环境、镜面反射以及手术器械的尺度和形状变化等,造成分割结果存在模糊边界和细节错分的问题,影响手术器械分割的精度。针对以上挑战,提出了一种新的手术器械分割网络,实现内窥镜图像中手术器械的准确分割。方法 为了实现内窥镜图像的准确表征以获取有效的特征图,提出了基于卷积神经网络（convolutional neural network,CNN）和Transformer融合的双编码器结构,实现分割网络对细节特征和全局上下文语义信息的提取。为了实现局部特征图的特征增强,引入空洞卷积,设计了多尺度注意融合模块,以获取多尺度注意力特征图。针对手术器械分割面临的类不均衡问题,引入全局注意力模块,提高分割网络对手术器械区域的关注度,并减少对于无关特征的关注。结果 为了有效验证本文模型的性能,使用两个公共手术器械分割数据集进行性能分析和测试。基于定性分析和定量分析通过消融实验和对比实验,验证了本文算法的有效性和优越性。实验结果表明：在Kvasir-instrument数据集上,本文算法的Dice分数和mIOU （mean intersection over union）值分别为96.46%和94.12%;在Endovis2017 （2017 Endoscopic Vision Challenge）数据集上,本文算法的Dice分数和mIOU值分别为96.27%和92.55%。相较于对比的先进分割网络,本文算法实现了分割精度的有效提升。同时,消融研究也证明了本文算法方案设计的合理性,缺失任何一个子模块都会造成不同程度的精度损失。结论 本文所提出的分割模型有效地融合了CNN和Transformer的优点,同时实现了细节特征和全局上下文信息的充分提取,可以实现手术器械准确、稳定分割。