结合全卷积网络和GrowCut的肾皮质分割算法

目的 肾脏图像分割对于肾脏疾病的诊断有着重要意义,临床上通过测量肾皮质的体积和厚度可判断肾脏是否有肿瘤、慢性动脉硬化性肾病和肾移植急性排斥反应等。现有的肾脏分割算法大多针对一种模态,且只能分割出肾脏整体。本文提出一种基于全卷积网络和GrowCut的肾皮质自动分割算法,用于多模态肾脏图像分割。方法 首先用广义霍夫变换对肾脏进行检测,提取出感兴趣区域,通过数据增强扩充带标签数据;然后用VGG-16预训练模型进行迁移学习,构建适用于肾皮质分割的全卷积网络,设置网络训练参数,使用扩充数据训练网络。最后用全卷积网络分割图像,提取最后一层卷积层的特征图得到种子点标记,结合肾脏图像的先验知识纠正错误种子点,将该标记图作为GrowCut初始种子点可实现肾皮质准确分割。结果 实验数据为30组临床CT和MRI图像,其中一组有标记的CT图像用于训练网络并测试算法分割准确性,该文算法分割准确率IU（region intersection over union）和DSC（Dice similarity coefficient）分别达到91.06%±2.34%和91.79%±2.39%。与全卷积网络FCN-32s相比,本文提出的网络参数减少,准确率更高,可实现肾皮质分割。GrowCut算法考虑像素间的邻域信息,与全卷积网络结合可进一步将分割准确率提高3%。结论 该方法可准确分割多模态肾脏图像,包括正常和变异肾脏的图像,说明该方法优于主流方法,能够为临床诊断提供可靠依据。     

基于条件生成对抗网络的舌体图像分割

在舌体图像分割过程中容易出现边缘细节的丢失,适用性差,算法运行速度慢等问题.论文针对上述问题提出一种改进的基于条件生成对抗网络的分割方法.首先,在生成器网络中使用可分离的卷积结构代替传统卷积结构.其次,为了提高分割效果,在生成器网络中加入残差结构增强网络对图像细节的获取能力.最后,使用形态学相关算法对分割后的舌体图像进一步处理优化.实验表明,相对于原始的条件生成对抗网络分割模型,论文所提算法的P值提升1.03％,R值提升1.51％,F值提升1.36％,并且耗时更短,分割效果显著优于传统分割方法,这为后续舌像的分析与诊断奠定基础.     

图像局部交互熵分割模型的两步快速优化

目的 针对LCK（local correntropy-based K-means）模型收敛速度慢,提出新的基于LCK模型的两步快速分割模型。方法 两步快速分割模型包括粗分割和细分割。1）粗分割：先将待分割的原始图像下采样,减少数据量;然后使用LCK模型对采样后的粗尺度图像进行分割,得到粗分割结果及其相应的粗水平集函数。由于数据量的减少,粗分割步骤可以快速得到近似分割结果。2）细分割：在水平集函数光滑性约束下,将粗分割结果及其对应的粗水平集函数上采样到原始图像的尺度,然后将上采样后的粗水平集函数作为细分割的初始值,利用LCK模型对原始图像进行精细分割。因初始值与真实目标边界很接近,所以只需很少迭代次数就能得到最终分割结果。结果 采用F-score评价方法分析自然以及合成图像的分割结果,并与LCK模型作比较,新的模型F-score数值最大,且迭代次数不大于50。结论 粗分割步骤能在小数据量的情况下,快速分割出粗略的目标;细分割步骤在较好的初始值条件下,能够快速收敛到最终的分割结果,从而有效提高了模型的计算效率和精确性。本文算法主要适用于分割含有未知噪声及灰度非同质的医学图像,且分割效率高。     

结合上下文特征与CNN多层特征融合的语义分割

目的 针对基于区域的语义分割方法在进行语义分割时容易缺失细节信息,造成图像语义分割结果粗糙、准确度低的问题,提出结合上下文特征与卷积神经网络（CNN）多层特征融合的语义分割方法。方法 首先,采用选择搜索方法从图像中生成不同尺度的候选区域,得到区域特征掩膜;其次,采用卷积神经网络提取每个区域的特征,并行融合高层特征与低层特征。由于不同层提取的特征图大小不同,采用RefineNet模型将不同分辨率的特征图进行融合;最后将区域特征掩膜和融合后的特征图输入到自由形式感兴趣区域池化层,经过softmax分类层得到图像的像素级分类标签。结果 采用上下文特征与CNN多层特征融合作为算法的基本框架,得到了较好的性能,实验内容主要包括CNN多层特征融合、结合背景信息和融合特征以及dropout值对实验结果的影响分析,在Siftflow数据集上进行测试,像素准确率达到82.3%,平均准确率达到63.1%。与当前基于区域的端到端语义分割模型相比,像素准确率提高了10.6%,平均准确率提高了0.6%。结论 本文算法结合了区域的前景信息和上下文信息,充分利用了区域的语境信息,采用弃权原则降低网络的参数量,避免过拟合,同时利用RefineNet网络模型对CNN多层特征进行融合,有效地将图像的多层细节信息用于分割,增强了模型对于区域中小目标物体的判别能力,对于有遮挡和复杂背景的图像表现出较好的分割效果。     

结合KSW和FCNN的道路场景分割

目的 随着自动驾驶技术不断引入生活,机器视觉中道路场景分割算法的研究已至关重要。传统方法中大多数研究者使用机器学习方法对阈值分割,而近年来深度学习的引入,使得卷积神经网络被广泛应用于该领域。方法 针对传统阈值分割方法难以有效提取多场景下道路图像阈值的问题和直接用深度神经网络来训练数据导致过分割严重的问题,本文提出了结合KSW（key seat wiper）和全卷积神经网络（FCNN）的道路场景分割方法,该方法结合了KSW熵法及遗传算法,利用深度学习在不同场景下的特征提取,并将其运用到无人驾驶技术的道路分割中。首先对道路场景测试集利用KSW熵法及遗传算法得到训练集,然后导入到全卷积神经网络中进行训练得到有效训练模型,最后通过训练模型实现对任意一幅道路场景图分割。结果 实验结果表明,在KITTI数据集中进行测试,天空和树木的分割精度分别达到91.3%和94.3%,道路、车辆、行人的分割精度提高了2%左右。从分割结果中明显看出,道路图像中的积水、泥潭、树木等信息存在的过分割现象有良好的改观。结论 相比传统机器学习道路场景分割方法,本文方法在一定程度上提高了分割精度。对比深度学习直接应用于道路场景分割的方法,本文方法在一定程度上避免了过分割现象,提高了模型的鲁棒性。综上所述,本文提出的结合KSW和FCNN的道路场景分割算法有广泛的研究前景,有望应用于医学图像和遥感图像的处理中。     

2D级联CNN模型的放疗危及器官自动分割

目的 精准的危及器官（organs at risk,OARs）勾画是肿瘤放射治疗过程中的关键步骤。依赖人工的勾画方式不仅耗费时力,且勾画精度容易受图像质量及医生主观经验等因素的影响。本文提出了一种2D级联卷积神经网络（convolutional neural network,CNN）模型,用于放疗危及器官的自动分割。方法 模型主要包含分类器和分割网络两部分。分类器以VGG（visual geometry group）16为骨干结构,通过减少卷积层以及加入全局池化极大地降低了参数量和计算复杂度;分割网络则是以U-Net为基础,用双线性插值代替反卷积对特征图进行上采样,并引入Dropout层来缓解过拟合问题。在预测阶段,先利用分类器从输入图像中筛选出包含指定器官的切片,然后使用分割网络对选定切片进行分割,最后使用移除小连通域等方法对分割结果进一步优化。结果 本文所用数据集共包含89例宫颈癌患者的腹盆腔CT（computed tomography）图像,并以中国科学技术大学附属第一医院多位放射医师提供的手工勾画结果作为评估的金标准。在实验部分,本文提出的分类器在6种危及器官（左右股骨、左右股骨头、膀胱和直肠）上的平均分类精度、查准率、召回率和F1-Score分别为98.36%、96.64%、94.1%和95.34%。基于上述分类性能,本文分割方法在测试集上的平均Dice系数为92.94%。结论 与已有的CNN分割模型相比,本文方法获得了最佳的分割性能,先分类再分割的策略能够有效地避免标注稀疏问题并减少假阳性分割结果。此外,本文方法与专业放射医师在分割结果上具有良好的一致性,有助于在临床中实现更准确、快速的危及器官分割。     

前列腺磁共振图像分割的反卷积神经网络方法

目的 前列腺磁共振图像存在组织边界对比度低、有效区域少等问题,手工勾勒组织轮廓边界的传统分割方法无法满足临床实时性要求,针对这些问题提出了一种基于深度反卷积神经网络的前列腺磁共振图像分割算法。方法 基于深度学习理论,将训练图像样本输入设计好的卷积神经网络,提取具有高度区分性的前列腺图像特征,反卷积策略用于拓展特征图尺寸,使网络的输入尺寸与输出预测图大小匹配。网络生成的概率预测图通过训练一个softmax分类器,对预测图像取二值化,获得最终的分割结果。为克服原始图像中有效组织较少的问题,采用dice相似性系数作为卷积网络的损失函数。结果 本文算法以Dice相似性系数和Hausdorff距离作为评价指标,在MICCAI 2012数据集中,Dice相似性系数大于89.75%,Hausdorff距离小于1.3 mm,达到了传统方法的分割精度,并且将处理时间缩短在1 min以内,明显优于其他方法。结论 定量与定性的实验表明,基于反卷积神经网络的前列腺分割方法可以准确地对磁共振图像进行分割,相比于其他分割算法大幅度减小了处理时间,能够很好地适用于临床的前列腺图像分割任务。     

带尺寸约束的弱监督眼底图像视盘分割

目的 医学图像的像素级标注工作需要耗费大量的人力。针对这一问题，本文以医学图像中典型的眼底图像视盘分割为例，提出了一种带尺寸约束的弱监督眼底图像视盘分割算法。方法 对传统卷积神经网络框架进行改进，根据视盘的结构特点设计新的卷积融合层，能够更好地提升分割性能。为了进一步提高视盘分割精度，本文对卷积神经网络的输出进行了尺寸约束，同时用一种新的损失函数对尺寸约束进行优化，所提的损失公式可以用标准随机梯度下降方法来优化。结果 在RIM-ONE视盘数据集上展开实验，并与经典的全监督视盘分割方法进行比较。实验结果表明，本文算法在只使用图像级标签的情况下，平均准确识别率（mAcc）、平均精度（mPre）和平均交并比（mIoU）分别能达到0.852、0.831、0.827。结论 本文算法不需要专家进行像素级标注就能够实现视盘的准确分割，只使用图像级标注就能够得到像素级标注的分割精度。缓解了医学图像中像素级标注难度大的问题。     

串行处理卷积神经网络的海马子区分割

目的 海马体积很小,对比度极低,传统标记融合方法选用手工设计的特征模型,难以提取出适应性好、判别性强的特征。近年来,深度学习方法取得了极大成功,基于深度网络的方法已应用于医学图像分割中,但海马结构复杂,子区较多且体积差别较大,特别是CA2和CA3子区体积极小,常见的深度网络无法准确分割海马子区。为了解决这些问题,提出一种结合多尺度输入和串行处理神经网络的海马子区分割方法。方法 针对海马中体积差距较大的子区,设计两种不同的网络,结合多种尺度图像块信息,为小子区建立类别数量均衡的训练集,避免网络被极端化训练,最后,采用串行标记的方式对海马子区进行分割。结果 在Tail,SUB和PHG子区上的准确率达到了0.865,0.81,0.773,较现有的多图谱子区分割方法有较大提高,并且将体积较小子区CA2,CA3上的准确率分别提高了6%和9%。结论 该算法将基于卷积神经网络的分类方法引入到标记融合阶段,根据海马子区特殊的灰度及结构特点,设计两种针对性网络,实验证明,该算法能提取出适应性好、判别性强的特征,提高了分割准确率。     

鲁棒空间约束的模糊聚类图像分割

目的 为进一步提高分割精度,在模糊聚类的基础上引入统计信息,提出一种鲁棒型空间约束的模糊聚类分割算法。方法 基于局部空间信息的先验概率与后验概率,提出一种新型空间约束项,并通过卷积操作提高运行效率;进而引入负对数联合概率作为测度函数,进一步提高算法对于各像素点所属类别的甄别能力;同时将测度函数与空间约束项整合至目标函数中,通过迭代更新各参数达到最小化目标函数的目的。结果 对于合成图像的实验结果表明,本文算法对于噪声类型和噪声强度具有较强的鲁棒性;对于彩色图像的实验结果表明,在适当的特征描述符的辅助下,本文算法也能够获得令人满意的分割结果和较高的分割精度。结论 本文算法克服了现有算法的缺陷,进一步提升了图像的分割精度。其适用于分割带噪声图像,且在适当纹理特征的辅助下分割彩色图像,与同类算法的比较实验结果验证了本文算法的有效性。     

残差密集空间金字塔网络的城市遥感图像分割

目的 遥感图像语义分割是根据土地覆盖类型对图像中每个像素进行分类,是遥感图像处理领域的一个重要研究方向。由于遥感图像包含的地物尺度差别大、地物边界复杂等原因,准确提取遥感图像特征具有一定难度,使得精确分割遥感图像比较困难。卷积神经网络因其自主分层提取图像特征的特点逐步成为图像处理领域的主流算法,本文将基于残差密集空间金字塔的卷积神经网络应用于城市地区遥感图像分割,以提升高分辨率城市地区遥感影像语义分割的精度。方法 模型将带孔卷积引入残差网络,代替网络中的下采样操作,在扩大特征图感受野的同时能够保持特征图尺寸不变;模型基于密集连接机制级联空间金字塔结构各分支,每个分支的输出都有更加密集的感受野信息;模型利用跳线连接跨层融合网络特征,结合网络中的高层语义特征和低层纹理特征恢复空间信息。结果 基于ISPRS （International Society for Photogrammetry and Remote Sensing） Vaihingen地区遥感数据集展开充分的实验研究,实验结果表明,本文模型在6种不同的地物分类上的平均交并比和平均F₁值分别达到69.88%和81.39%,性能在数学指标和视觉效果上均优于SegNet、pix2pix、Res-shuffling-Net以及SDFCN （symmetrical dense-shortcut fully convolutional network）算法。结论 将密集连接改进空间金字塔池化网络应用于高分辨率遥感图像语义分割,该模型利用了遥感图像不同尺度下的特征、高层语义信息和低层纹理信息,有效提升了城市地区遥感图像分割精度。     

融合分割先验的多图像目标语义分割

目的 在序列图像或多视角图像的目标分割中，传统的协同分割算法对复杂的多图像分割鲁棒性不强，而现有的深度学习算法在前景和背景存在较大歧义时容易导致目标分割错误和分割不一致。为此，提出一种基于深度特征的融合分割先验的多图像分割算法。方法 首先，为了使模型更好地学习复杂场景下多视角图像的细节特征，通过融合浅层网络高分辨率的细节特征来改进PSPNet-50网络模型，减小随着网络的加深导致空间信息的丢失对分割边缘细节的影响。然后通过交互分割算法获取一至两幅图像的分割先验，将少量分割先验融合到新的模型中，通过网络的再学习来解决前景/背景的分割歧义以及多图像的分割一致性。最后通过构建全连接条件随机场模型，将深度卷积神经网络的识别能力和全连接条件随机场优化的定位精度耦合在一起，更好地处理边界定位问题。结果 本文采用公共数据集的多图像集进行了分割测试。实验结果表明本文算法不但可以更好地分割出经过大量数据预训练过的目标类，而且对于没有预训练过的目标类，也能有效避免歧义的区域分割。本文算法不论是对前景与背景区别明显的较简单图像集，还是对前景与背景颜色相似的较复杂图像集，平均像素准确度（PA）和交并比（IOU）均大于95%。结论 本文算法对各种场景的多图像分割都具有较强的鲁棒性，同时通过融入少量先验，使模型更有效地区分目标与背景，获得了分割目标的一致性。     

基于融合多层卷积特征的显著性区域提取

针对目前卷积神经网络提取图像特征不充分导致的显著性提取效果不明显的问题,提出了一种多层卷积特征融合的自编码显著性区域提取算法.在使用卷积网络提取图像特征时,其浅层卷积特征一般提取的是图像的细节特征如颜色、纹理和位置特征,深层次卷积特征一般是图像的语义特征,在编码层将浅层卷积特征经过下采样融合到深层次的卷积特征中,并将深层次卷积特征进行上采样融合到浅层卷积特征中,实验表明这样可以大大提高编码质量;在解码中将编码时的卷积特征也进行融合,可以获取到解码丢失的信息进而得到更优的解码图像.此外还设计了逐层监督的方式来指导解码层的训练,即用标准的区域提取图进行下采样作为每一层解码层的标准图进行监督训练.实验结果表明,该方法可以在PAGRN的基础上将F度量平均提升0.071,平均绝对误差MEA平均降低0.031.     

融合低阶特征与全局特征的图像语义分割方法

目前,深度全卷积网络在图像语义分割领域已经取得了瞩目的成就,但特征图的细节信息在多次下采样过程中会大量损失,对分割精度造成影响。针对该问题设计了一个用于图像语义分割的深度全卷积网络。该网络采用“编码器-解码器”结构,在编码器后端引入空洞卷积以降低细节信息的损失,在解码过程中融合对应尺寸的低阶语义特征,并在解码器末端融入全局特征以提升模型的分割精度。使用数据增强后的CamVid数据集对网络进行训练和测试,测试结果达到了90.14%的平均像素精度与71.94%的平均交并比。实验结果表明,该网络能充分利用低阶特征与全局特征,有效提升分割性能,并在区域平滑方面有很好的表现。     

全卷积神经网络下的多光谱遥感影像分割

目的 传统的遥感影像分割方法需要大量人工参与特征选取以及参数选择,同时浅层的机器学习算法无法取得高精度的分割结果。因此,利用卷积神经网络能够自动学习特征的特性,借鉴处理自然图像语义分割的优秀网络结构,针对遥感数据集的特点提出新的基于全卷积神经网络的遥感影像分割方法。方法 针对遥感影像中目标排列紧凑、尺寸变化大的特点,提出基于金字塔池化和DUC（dense upsampling convolution）结构的全卷积神经网络。该网络结构使用改进的DenseNet作为基础网络提取影像特征,使用空间金字塔池化结构获取上下文信息,使用DUC结构进行上采样以恢复细节信息。在数据处理阶段,结合遥感知识将波段融合生成多源数据,生成植被指数和归一化水指数,增加特征。针对遥感影像尺寸较大、采用普通预测方法会出现拼接痕迹的问题,提出基于集成学习的滑动步长预测方法,对每个像素预测14次,每次预测像素都位于不同图像块的不同位置,对多次预测得到的结果进行投票。在预测结束后,使用全连接条件随机场（CRFs）对预测结果进行后处理,细化地物边界,优化分割结果。结果 结合遥感知识将波段融合生成多源数据可使分割精度提高3.19%;采用基于集成学习的滑动步长预测方法可使分割精度较不使用该方法时提高1.44%;使用全连接CRFs对预测结果进行后处理可使分割精度提高1.03%。结论 针对宁夏特殊地形的遥感影像语义分割问题,提出基于全卷积神经网络的新的网络结构,在此基础上采用集成学习的滑动步长预测方法,使用全连接条件随机场进行影像后处理可优化分割结果,提高遥感影像语义分割精度。     

基于卷积神经网络的虫情图像分割和计数方法

为提高虫情图像的分割和计数的准确率,提出了一种基于卷积神经网络的虫情图像分割和计数方法。该方法基于U-Net模型构造了一种昆虫图像分割的模型Insect-Net,将完整的虫情图像和切割后的虫情图像分别输入模型后,提取两者特征进行融合。将融合后的特征输入1个1×1的卷积层得到最终分割结果,再将得到的结果二值化后,采用轮廓检测算法将昆虫目标与背景分离并计数。实验结果表明,该方法在虫情图像中取得了较高的分割正确率和计数正确率,分别为94.4%和89.2%。用深度学习和卷积神经网络的方法有效提高了虫情图像的计数精度,并且为昆虫识别分类提供了大量的无背景数据集。     

基于改进全卷积网络的小麦图像分割

针对漫水填充结合模板匹配的双面联合分割方法对小麦图像进行分割存在过分割以及欠分割现象,提出基于改进的全卷积网络的图像语义分割方法.该方法融入前二个池化层的输出信息作为Softmax层的输入,探讨并得出了只融入第二个池化层的输出信息的网络模型优于同时融入前两个池化层的网络模型,引入Batch Normalization层到网络层中,并且针对小麦图像的需要将原来的21类网络输出类别更换为2类输出.实验采用建立的小麦图像数据库,结果表明改进后的网络使得过分割和欠分割现象明显减少,分割效果得到了显著提升,并且使用F-measure定量分析了模型的有效性.     

基于密集注意力网络的视网膜血管图像分割

视网膜血管的结构信息对眼科疾病的诊断具有重要的指导意义,对视网膜血管图像进行高效正确的分割成为临床的迫切需求。传统的人工分割方法耗时较长且易受个人主观因素的影响,分割质量不高。为此,提出一种基于密集注意力网络的图像自动分割算法。将编码器-解码器全卷积神经网络的基础结构与密集连接网络相结合,以充分提取每一层的特征,在网络的解码器端引入注意力门模块,对不必要的特征进行抑制,提高视网膜血管图像的分割精度。在DRIVE和STARE眼底图像数据集上的实验结果表明,与其他基于深度学习的算法相比,该算法的敏感性、特异性、准确率和AUC值均较高,分割效果较好。     

基于路径聚合扩张卷积的图像语义分割方法

基于编码器-解码器的深度全卷积神经网络在图像语义分割中取得了重大的进展,但是深度网络中网络低层定位信息传播到网络高层路径过长,导致解码阶段难以利用低层定位信息来恢复物体边界结构,针对这一问题,提出了一种应用在分割网络解码器部分的路径聚合结构。该结构缩短了分割网络中低层信息到高层信息的传播路径并提供多尺度的上下文语义信息,使得分割网络能产生更为精细的边界分割结果。针对语义分割中常使用的Softmax交叉熵损失函数对外观相似样本区分能力不足的问题,对Softmax交叉熵损失函数进行改造,提出了双向交叉熵损失函数。本文提出的路径聚合扩张卷积网络结合新的损失函数方法在PASCAL VOC2012Aug数据集上获得了更好的效果,将mIoU值从78.77%提升到了80.44%。