基于Generalized Region Loss的代价函数及在图像分割中的应用

针对图像分割中的困难样本,提出了一种对像素区域细分计算的Generalized Region Loss的新的代价函数;首先通过引入一项参数,改变了以往代价函数主要通过设置权重或Focal等关注困难样本的方法,其次通过对标签图像和预测图像进行区域划分,并且对划分四区域的困难样本分类关注,最后分别计算其四区域绝对损失,进而进行加权组合;为验证算法性能,使用CamVid数据集作为实验数据,该代价函数在FCN和U-Net两种图像分割网络上得到验证,同当前图像分割领域常用的12种代价函相比,IoU指标分别提高1.93%和2.99%,由此证明此代价函数优于大多数图像分割代价函数;最终实验结果表明,提出的基于像素区域细分计算的代价函数能够有效提高图像分割精度,为图像分割的研究提供借鉴。     

融合U-Net改进模型与超像素优化的语义分割方法

基于现有的语义分割方法在面对不受限制的开放词汇量和多样多变的场景时表现出的分割不够精细、语义信息提取不充分和收敛时间长的问题,提出一种融合U-Net改进模型与超像素优化的语义分割方法。U-Net改进模型中结合空间金字塔模块（ Atrous spatial Pyramid pooling, ASPP）和Xception结构,在ASPP模块的分支网络中加入扩张卷积（Dilated convolutions,DC）形成模块本身的串并联结构,以增强图像特征提取能力;在Xception模块中添加注意力通道以及使用大的卷积核重构Xception模块,以减少数据的参数量并提高收敛速率,在此改进基础上再对图像进行超像素分割处理。最后使用条件随机场对分割结果施加全局约束,进一步优化像素的语义信息。本文方法在PASCAL VOC 2012测试集上进行验证并与DeepLab V3等主流网络进行对比,结果表明本文方法准确率提高了2.4%,证明了该方法在适应多变场景和应对精细语义分割上的有效性。     

基于注意力机制的改进UNet草莓病害语义分割

针对当前传统农作物病害语义分割方法精度不高、鲁棒性差等问题,本文提出了基于注意力机制的改进UNet草莓病害语义分割模型.首先,在编码器中加入CNN-Transformer混合结构,增强全局信息与局部细节信息的特征提取能力.其次,在解码器中将dual up-sample模块替换传统上采样,提高特征提取能力与分割精度.再使用hard-swish激活函数代替ReLU激活函数,更加平滑的曲线有助于提高泛化性和非线性特征提取能力,防止梯度消失.最后,通过使用结合交叉熵Dice损失函数,加强模型对分割结果的约束,进一步提升分割精度.实验采用了由7种草莓病害2 500张图像组成的数据集,在复杂背景下对草莓病害进行分割,语义分割像素精度达到92.56%,平均交并比达到84.97%.实验结果表明,本文的改进UNet在草莓病害语义分割方面,能实现更好的分割效果,优于大多数分割模型.     

轻量化卷积神经网络在SAR图像语义分割中的应用

针对合成孔径雷达图像的语义分割问题,构建了一个全新的TerraSAR-X语义分割数据集GDUT-Nansha。然后,为解决传统深度学习方法模型体积大,难以在样本数量偏少的合成孔径雷达图像数据集上应用的问题,对轻量化卷积神经网络ENet模型进行了分析和改造。提出了一种改进的轻量化卷积神经网络模型(revised weighted loss eNet,RWL-ENet);针对合成孔径雷达图像数据集样本不平衡问题,使用了带有权重的损失函数。通过和其他经典卷积神经网络语义分割模型的对比实验,验证了新数据集的可靠性;同时,在参数量和模型体积远远小于其他网络模型的前提下,RWL-ENet模型在像素精度、平均像素精度、平均交并比三个定量指标上分别达到了0.884、0.804和0.645。     

GCM+-LANet：遥感图像语义分割的全局卷积模块与局部注意力网络模型

遥感图像地物种类丰富、尺寸多变、分布不均衡、背景复杂,导致经典图像语义分割网络难以在遥感图像上取得理想分割效果。局部注意力网络模型（LANet）在遥感图像语义分割上取得了较好的实验效果,但大尺寸、小尺寸和细长的地物目标分割效果不佳。提出了一种改进LANet网络的高分辨率遥感图像语义分割网络模型,首先,针对全局特征提取设计了全局卷积模块（GCM⁺）,以组合卷积的形式扩大感受野,提升大尺寸地物目标的分割性能;其次,利用针对计算机视觉提出的激活函数Funnel ReLU（FReLU）来解决细小目标漏分的问题。实验结果表明：该网络模型在Potsdam数据集上平均交并比达到了75.83%,像素准确率达到了94.95%,比基础网络LANet有较大提升。     

面向小目标提取的改进DeepLabV3+模型遥感图像分割北大核心CSCD

针对DeepLabV3+模型在遥感影像语义分割中呈现出小尺度地物语义信息丢失、数据类别不均衡引起误差等缺陷，提出了一种面向小目标提取的改进DeepLabV3+语义分割模型。首先，在模型编码器空间空洞金字塔池化(atrous spatial pyramid pooling, ASPP)中引入多组并行空洞卷积(multiple parallel dilated convolution, MPDC)和感受野融合策略；其次，在模型解码器部分加入特征注意力融合模块(feature attention fusion, FAF);最后，使用加权的Lovasz-softmax loss优化损失函数。将改进后的模型通过Landcover和CCF2017高分辨率遥感影像数据集进行验证，结果表明，在两个测试数据集上的平均交并比比原始的DeepLabV3+模型分别提高了1.17%～1.24%和0.85%～0.95%,特别地，小目标如建筑物的交并比相比原始模型分别提升了3.51%～3.86%和2.11%～2.38%,改进后的DeepLabV3+模型能更充分表达高分辨率遥感图像细节信息。     

结合语义边界信息的道路环境语义分割方法

语义分割是实现道路语义环境解释的重要方法,深度学习语义分割由于卷积、池化及反卷积的作用使分割边界模糊、不连续以及小目标漏分错分,影响了分割效果,降低了分割精度。针对上述问题,提出了一种结合语义边界信息的新的语义分割方法,首先在语义分割深度模型中构建了一个语义边界检测子网,利用网络中的特征共享层将语义边界检测子网络学习到的语义边界信息传递给语义分割网络;然后结合语义边界检测任务和语义分割任务定义了新的模型代价函数,同时完成语义边界检测和语义分割两个任务,提升语义分割网络对物体边界的描述能力,提高语义分割质量。最后在Cityscapes数据集上进行一系列实验证明,结合语义边界信息的语义分割方法在准确率上比已有的语义分割网络SegNet提升了2.9%,比ENet提升了1.3%。所提方法可以改善语义分割中出现的分割不连续、物体边界不清晰、小目标错分漏分、分割精度不高等问题。     

基于增强特征表示的语义分割神经网络

语义分割是计算机视觉领域中一个基础而重要的话题，针对语义分割中边界分割困难的问题，提出了一种利用类别整体特征以增强模型表征能力的语义分割神经网络结构。通过分析同类别内各像素特征应具有相似性、不同类别内的特征应具有可分性的特点，利用区域提议汇聚各类别区域内的特征，并使用关注特征的方法建立像素点与类别之间的联系，从而增强模型表征能力。通过在公开数据集上的实验分析比较，上述结构能有效提升像素点特征表示能力。     

基于反卷积特征学习的图像语义分割算法

随着深度学习的发展,语义分割任务中许多复杂的问题得以解决,为图像理解奠定了坚实的基础.本文算法突出表现在两个方面,其一是利用反卷积网络,对卷积网络中不同深度的卷积层提取到的多尺度特征进行融合,之后再次通过反卷积操作对融合后的特征图进行上采样,将其放大到原图像的大小,最后对每个像素进行语义类别的预测.其二为了提升本文网络结构的性能,提出一种新的数据处理方式,批次中心化算法.经过实验验证,本文算法在SIFT-Flow数据集上语义分割的平均准确率达到45.2%,几何分割的准确率达到96.8%,在PASCAL VOC2012数据集上语义分割的平均准确率达到73.5%.     

基于U-Net的高分辨率遥感图像语义分割方法

图像分割是遥感解译的重要基础环节,高分辨率遥感图像中包含复杂的地物目标信息,传统分割方法应用受到极大限制,以深度卷积神经网络为代表的分割方法在诸多领域取得了突破进展。针对高分辨遥感图像分割问题,提出一种基于U-Net改进的深度卷积神经网络,实现了端到端的像素级语义分割。对原始数据集做了扩充,对每一类地物目标训练一个二分类模型,随后将各预测子图组合生成最终语义分割图像。采用了集成学习策略来提高分割精度,在“CCF卫星影像的AI分类与识别竞赛”数据集上取得了94%的训练准确率和90%的测试准确率。实验结果表明,该网络在拥有较高分割准确率的同时还具有良好的泛化能力,能够用于实际工程。     

基于改进Deeplab v3+的服装图像分割网络

在服装图像分割领域,现有算法存在服装边缘分割粗糙、分割精度差和服装深层语义特征提取不够充分等问题。将Coordinate Attention机制和语义特征增强模块（SFEM）嵌入到语义分割性能较好的Deeplab v3+网络,设计一种用于服装图像分割领域的CA_SFEM_Deeplab v3+网络。为了加强服装图像有效特征的学习,在Deeplab v3+网络的主干网络resnet101中嵌入Coordinate Attention机制,并将经过带空洞卷积池化金字塔网络的特征图输入到语义特征增强模块中进行特征增强处理,从而提高分割的准确率。实验结果表明,CA_SFEM_Deeplab v3+网络在DeepFashion2数据集上的平均交并比与平均像素准确率分别为0.557、0.671,相较于Deeplab v3+网络分别提高2.1%、2.3%,其所得分割服装轮廓更为精细,具有较好的分割性能。     

融合注意力机制的对抗式半监督语义分割

图像语义分割任务是计算机视觉领域重要研究课题之一。当前基于全卷积神经网络的语义分割算法存在像素之间缺乏关联性、卷积核感受野小于理论值、人工标记数据集标签成本大等问题。为了解决上述问题,提出了一种融合注意力机制的对抗式半监督语义分割模型。将生成对抗网络应用到图像语义分割中,增强像素点之间的关联性;提出模型在生成网络中加入自注意力模块和多核池化模块以对长距离语义信息进行融合,扩大了卷积核感受野;在PASCAL VOC2012增强数据集和Cityscapes数据集上进行了大量实验,实验结果证明了该方法在图像语义分割任务中的有效性和可靠性。     

自适应边距损失用于车辆外观分割方法

车辆外观分割是计算机视觉在交通场景中的一个重要应用。得益于近几年深度学习技术的火热兴起，以深度卷积神经网络为主的分割方法在诸多领域内取得了突破进展。针对车辆外观分割中的样本不均衡问题，提出一种新的自适应损失函数，替换了原始的softmax损失，并且训练一个新的卷积神经网络模型，实现了端到端的像素级语义分割。同时构建了一个车辆外观分割数据集，用以模型的训练和测试。实验结果表明，该网络对比同类算法拥有较高的分割准确率，对于面积较小的类别有更好的效果。     

基于多尺度的贝叶斯模型显著性检测

针对传统基于贝叶斯模型的显著性检测算法存在准确率不理想的问题,提出了一种基于多尺度的贝叶斯模型显著性检测算法。通过超像素分割算法(SLIC)将原图分割成不同尺度的超像素,根据超像素边界信息得到背景种子,进而通过距离计算和多尺度融合得到背景先验;对原图进行颜色增强,采用Harris算子对增强图进行检测角点求得凸包,融合不同尺度下的超像素得到凸包先验;融合背景先验和凸包先验得到最终先验;利用颜色直方图和凸包计算似然概率;将最终先验和似然概率通过贝叶斯模型计算显著图。在公开数据集MSRA1000、ECSSD上与多种传统算法进行准确率和召回率对比,该算法有更好的表现。     

改进DeepLabV3+网络的遥感影像农作物分割方法

针对于当前遥感影像农作物提取存在的识别精度较低、边缘识别效果较差、提取速度慢等问题,提出了一种改进DeepLabV3+网络的遥感影像农作物分割方法。将特征提取网络改为更轻量级的MobileNetV2网络,空洞空间金字塔池化模块中的普通卷积改为深度可分离卷积,大幅减少模型计算量,提高模型计算速度;在特征提取模块以及空洞空间金字塔池化模块加入双注意力机制,进一步优化模型边缘识别效果,提升模型分割精度。此外针对农作物数据集类别不平衡问题,引入加权损失函数,给予玉米、薏米与背景类不同的权重,提高模型对农作物区域分割精度。以2019年某地区的无人机遥感影像为研究对象,对玉米、薏米两种农作物进行分割。实验结果表明,改进DeepLabV3+算法像素准确率可达到93.9%,平均召回率可达到90.7%,平均交并比可达到83.3%,优于传统DeepLabV3+、Unet、Segnet等常用于农作物提取的分割方法,对农作物具有更好的分割效果。     

BEMD-分层水平集侧扫声纳图像快速分割算法

针对侧扫声纳图像不同区域的像素分布特点,提出了一种改进的BEMD(二维经验模态分解)-分层水平集分割算法。介绍了CV(Chan和Vese)水平集模型和分层水平集模型,利用分层水平集模型进行三类分割。为了提高分割精度,利用BEMD重新描述模型的能量函数。通过BEMD的加权参数,在不影响分割精度的前提下提高模型的抗噪性能。分析了c-均值算法与水平集算法的联系,利用改进的c-均值算法初始化水平集演化曲线,以减少迭代次数。对水平集能量函数添加惩罚项,以提高水平集演化速度。利用改进的BEMD-分层水平集分割算法进行无监督的图像分割实验并与其他算法比较,验证了该算法的抗噪性、分割的准确性和快速性。     

树形结构卷积神经网络优化的城区遥感图像语义分割

目的 高分辨率遥感图像通常包含复杂的语义信息与易混淆的目标,对其语义分割是一项重要且具有挑战性的任务。基于DeepLab V3+网络结构,结合树形神经网络结构模块,设计出一种针对高分辨率遥感图像的语义分割网络。方法 提出的网络结构不仅对DeepLab V3+做出了修改,使其适用于多尺度、多模态的数据,而且在其后添加连接树形神经网络结构模块。树形结构通过建立混淆矩阵、提取混淆图、构建图分割,能够对易混淆的像素更好地区分,得到更准确的分割结果。结果 在国际摄影测量及遥感探测学会（International Society for Photogrammetry and Remote Sensing,ISPRS）提供的两个不同城市的遥感影像集上分别进行了实验,模型在整体准确率（overall accuracy, OA）这一项表现最好,在Vaihingen和Potsdam数据集上分别达到了90.4%和90.7%,其整体分割准确率较其基准结果有10.3%和17.4%的提升,对比ISPRS官方网站上的3种先进方法也有显著提升。结论 提出结合DeepLab V3+和树形结构的卷积神经网络,有效提升了高分辨率遥感图像语义分割整体精度,其中易混淆类别数据的分割准确率显著提高。在包含复杂语义信息的高分辨率遥感图像中,由于易混淆类别之间的像素分割错误减少,使用了树形结构的网络模型的整体分割准确率也有较大提升。     

门控多层融合的实时语义分割

针对语义分割任务中因模型下采样过程中的像素损失而导致的上采样像素难以精确还原的问题,提出一种基于门控多层融合的实时语义分割方法.考虑分割的实时性,采用轻量级模型作为基础网络进行特征信息的提取.为解决像素难以精确还原问题,设计了一种横向连接的门控注意力结构,此结构可以对目标特征进行筛选,并通过横向传递增强上采样特征图信息的多样性,从而提高特征图的还原精度.此外,还提出采用多层融合结构来整合不同网络层的语义信息,利用不同网络层间的语义表达差异对缺失像素进行补充.实验以CamVid和VOC为数据集,以512×512大小的图像为输入,测试结果表明,方法的图像语义分割精度达到72.9%,平均分割速度为43.1帧/s.     

基于语义信息的精细化边缘检测方法

边缘检测是在图像中准确地提取视觉上显著的边缘像素,以得到图像的边缘信息,然而传统基于全卷积网络的边缘检测方法通常存在预测边缘粗糙、模糊等问题。提出一种语义信息指导的精细化边缘检测方法。通过图像分割子网络将学习到的图像语义信息传递给边缘检测子网络,同时利用图像语义信息指导边缘检测子网络,其引入具有注意力机制与残差结构的特征融合模块,以生成精细的图像边缘,增强不同尺度的特征融合。在此基础上,结合图像分割任务和图像边缘检测任务中的代价函数定义新的模型代价函数并进行训练,进一步提高网络边缘检测质量。在BSDS500数据集上的实验结果验证了该方法的有效性,结果表明,该方法的固定轮廓阈值与图像最佳阈值分别达到0.818和0.841,相比HED、RCF等主流边缘检测方法,能够预测更精细的边缘图像,且鲁棒性更优。     

结合上下文特征与CNN多层特征融合的语义分割

目的 针对基于区域的语义分割方法在进行语义分割时容易缺失细节信息,造成图像语义分割结果粗糙、准确度低的问题,提出结合上下文特征与卷积神经网络（CNN）多层特征融合的语义分割方法。方法 首先,采用选择搜索方法从图像中生成不同尺度的候选区域,得到区域特征掩膜;其次,采用卷积神经网络提取每个区域的特征,并行融合高层特征与低层特征。由于不同层提取的特征图大小不同,采用RefineNet模型将不同分辨率的特征图进行融合;最后将区域特征掩膜和融合后的特征图输入到自由形式感兴趣区域池化层,经过softmax分类层得到图像的像素级分类标签。结果 采用上下文特征与CNN多层特征融合作为算法的基本框架,得到了较好的性能,实验内容主要包括CNN多层特征融合、结合背景信息和融合特征以及dropout值对实验结果的影响分析,在Siftflow数据集上进行测试,像素准确率达到82.3%,平均准确率达到63.1%。与当前基于区域的端到端语义分割模型相比,像素准确率提高了10.6%,平均准确率提高了0.6%。结论 本文算法结合了区域的前景信息和上下文信息,充分利用了区域的语境信息,采用弃权原则降低网络的参数量,避免过拟合,同时利用RefineNet网络模型对CNN多层特征进行融合,有效地将图像的多层细节信息用于分割,增强了模型对于区域中小目标物体的判别能力,对于有遮挡和复杂背景的图像表现出较好的分割效果。