基于深度学习的遥感影像语义分割研究

高分辨率遥感图像的语义分割是遥感应用领域中的重要任务之一。针对经典语义分割网络在高分辨率遥感图像语义分割中存在边缘目标分割不准确、多尺度目标分割困难等问题，提出了一种基于改进空洞空间金字塔池的编码器-解码器结构网络(SMANet)。编码部分使用带有注意力机制的残差网络，使得网络充分提取图像的特征信息，其次通过多并行空洞空间金字塔模块（MASPP）获得特征图有关类别和空间上下文的更详细.信息；解码部分以自底向上方式将深层次语义信息逐步融入到低层次高分辨率图像中。使用WHDLD公开数据集对该算法进行实验，获得了6418%的平均交并比，实验结果表明SMANet优于目前主流的语义分割网络。     

基于三端注意力机制的视网膜血管分割算法

视网膜血管的结构和形态是计算机辅助系统诊断眼科疾病的重要依据.针对细小血管分割精度低的问题,提出一种融合残差密集模块与三端注意力模块的改进型U-Net算法.首先,将残差模块与密集模块相结合,充分利用每层的特征,提高网络提取细小血管特征的能力.在解码阶段引入三端注意力模块,利用空间注意力机制自适应地对特征进行空间校正,抑制背景噪声,突出目标区域.同时,通过多尺度特征融合的方式,利用高级语义特征改善网络对细小血管的分割效果.最后,为获取血管的多尺度特征, 在编码-解码网络结构中加入空洞卷积,在不增加参数的情况下增加感受野.基于DRIVE和STARE数据集的实验结果表明,所提出网络的灵敏度、特异性、准确率和AUC(area under curve)分别为81.26%/82.57%、98.20%/98.37%、96.70%/97.51%和98.12%/98.41%,优于现有先进算法.     

基于多维注意力融合的驾驶场景分割增强算法

针对使用注意力机制的语义分割模型计算资源消耗与精度不平衡的问题，提出一种轻量化的语义分割注意力增强算法。首先，基于驾驶场景中物体的形状特点设计了条状分维注意力机制，使用条形池化代替传统方形卷积，并结合降维操作分维度提取长程语义关联，削减模型计算量。接着融合通道域与空间域上的注意力，形成可叠加与拆解的轻量化多维注意力融合模块，全方位提取特征信息，进一步提升模型精度。最后，将模块插入基于ResNet-101骨干网的编码—解码网络中，指导高低层语义融合，矫正特征图边缘信息，补充预测细节。实验表明，该模块有较强的鲁棒性和泛化能力，与同类型注意力机制相比，削减了约90%的参数量以及80%的计算量，且分割精度依旧取得了稳定的提升。     

多尺度特征自适应融合的图像语义分割算法

为解决Deeplab v3+网络在解码过程中仅融合一个尺度编码特征,导致部分细节信息丢失,从而造成最终分割结果较为粗糙等问题,提出多尺度特征自适应融合的图像语义分割算法.该算法在Deeplab v3+的解码过程中使用自适应空间特征融合结构,给不同尺度的编码特征分配自适应的融合权重,通过融合编码过程中的多尺度特征进行特征图的上采样,从而实现图像更加精细的语义分割效果.实验结果表明,该算法在Cityscapes数据集上达到了95.05%的像素准确度和69.36%的平均交并率,且对大部分小尺度目标物体的分割更为精准;在Vaihingen遥感图像数据集上本文提出的算法达到了83.49%的像素准确度和68.77%的平均交并率,进一步验证了本文改进算法的泛化性.     

基于注意力感知和语义感知的RGB-D室内图像语义分割算法

近年来,全卷积神经网络有效提升了语义分割任务的准确率.然而,由于室内环境的复杂性,室内场景语义分割仍然是一个具有挑战性的问题.随着深度传感器的出现,人们开始考虑利用深度信息提升语义分割效果.以往的研究大多简单地使用等权值的拼接或求和操作来融合RGB特征和深度特征,未能充分利用RGB特征与深度特征之间的互补信息.本文提出一种基于注意力感知和语义感知的网络模型ASNet(Attention-aware and Semantic-aware Network).通过引入注意力感知多模态融合模块和语义感知多模态融合模块,有效地融合多层次的RGB特征和深度特征.其中,在注意力感知多模态融合模块中,本文设计了一种跨模态注意力机制,RGB特征和深度特征利用互补信息相互指导和优化,从而提取富含空间位置信息的特征表示.另外,语义感知多模态融合模块通过整合语义相关的RGB特征通道和深度特征通道,建模多模态特征之间的语义依赖关系,提取更精确的语义特征表示.本文将这两个多模态融合模块整合到一个带有跳跃连接的双分支编码-解码网络模型中.同时,网络在训练时采用深层监督策略,在多个解码层上进行监督学习.在公开数据集上的实验结果表明,本文算法优于现有的RGB-D图像语义分割算法,在平均精度和平均交并比上分别比近期算法提高了1.9%和1.2%.     

改进Deeplab v3+网络的手术器械分割方法

针对当前国内手术器械管理耗费人力,智能化程度低的问题,提出一种动态学习特征的改进Deeplab v3+网络模型语义分割算法。为了加强相关任务有效特征学习,在Deeplab v3+模型编码端嵌入注意力机制CBAM模块并通过密集深度分离卷积和扩张卷积提取图像高层特征;在解码端增加两路低层特征来源,保留了重要特征信息,提高了分割准确率。实验结果表明,改进后网络在手术器械数据集上MIoU、PA、Recall、[F]值分别为0.854、0.874、0.872和0.873。相较于其他语义分割网络,改进网络分割性能更优,有极大的工程实用价值。     

基于全融合网络的三维点云语义分割

为提高室内场景的点云语义分割精度,设计了一个全融合点云语义分割网络。网络由特征编码模块、渐进式特征解码模块、多尺度特征解码模块、特征融合模块和语义分割头部组成。特征编码模块采用逆密度加权卷积作为特征编码器对点云数据进行逐级特征编码,提取点云数据的多尺度特征;然后通过渐进式特征解码器对高层语义特征进行逐层解码,得到点云的渐进式解码特征。同时,多尺度特征解码器对提取的点云多尺度特征分别进行特征解码,得到点云多尺度解码特征。最后将渐进式解码特征与多尺度解码特征融合,输入语义分割头部实现点云的语义分割。全融合网络增强了网络特征提取能力的鲁棒性,实验结果也验证了该网络的有效性。     

基于改进DeeplabV3+的地物分类方法研究

原始DeeplabV3+算法对无人机航拍图像中的地物边缘分割不够准确,对道路的分割存在不连续的情况.因此,针对这些问题,文中对DeeplabV3+算法进行了改进.首先,在编码阶段进行特征融合,增强浅层特征图的语义信息;其次,在分割网络结构中添加边界提取分支模块,并采用Canny边缘检测算法提取真实的边界信息进行监督训练,使网络对地物边缘的分割更为精细;最后,在网络的解码阶段,融合更多的浅层特征.实验结果表明,所提方法的mIoU值为80.92％,比DeeplabV3+算法提升了6.35％,能够有效进行地物分类.     

引入注意力机制和多视角融合的脑肿瘤MR图像U-Net分割模型

目的 脑肿瘤核磁共振（magnetic resonance,MR）图像分割对评估病情和治疗患者具有重要意义。虽然深度卷积网络在医学图像分割中取得了良好表现,但由于脑胶质瘤的恶性程度与外观表现有巨大差异,脑肿瘤MR图像分割仍是一项巨大挑战。图像语义分割的精度取决于图像特征的提取和处理效果。传统的U-Net网络以一种低效的拼接方式集成高层次特征和低层次特征,从而导致图像有效信息丢失,此外还存在未能充分利用上下文信息和空间信息的问题。对此,本文提出一种基于注意力机制和多视角融合U-Net算法,实现脑肿瘤MR图像的分割。方法 在U-Net的解码和编码模块之间用多尺度特征融合模块代替传统的卷积层,进行多尺度特征映射的提取与融合;在解码模块的级联结构中添加注意力机制,增加有效信息的权重,避免信息冗余;通过融合多个视角训练的模型引入3维图像的空间信息。结果 提出的模型在BraTS18（Multimodal Brain Tumor Segmentation Challenge 2018）提供的脑肿瘤MR图像数据集上进行验证,在肿瘤整体区域、肿瘤核心区域和肿瘤增强区域的Dice score分别为0.907、0.838和0.819,与其他方法进行对比,较次优方法分别提升了0.9%、1.3%和0.6%。结论 本文方法改进了传统U-Net网络提取和利用图像语义特征不足的问题,并引入了3维MR图像的空间信息,使得肿瘤分割结果更加准确,具有良好的研究和应用价值。     

基于改进U-Net的卫星图像分割算法

为解决传统模型与算法对遥感卫星图像小目标的分割精度低、泛化能力差等问题,提出一种基于改进U-Net的图像分割算法。将骨干网络改为ResNet18并加入优化后的空洞卷积池化金字塔与卷积注意力机制模块,充分提取小目标边缘特征。该算法在中国南部某地区的公开卫星图像数据集上的平均交并比与分割总精度分别达到了75.8%与95.6%,均超过U-Net、DeepLabV3+、SegNet、W-Net等主流语义分割网络。实验结果表明,该算法能有效改善网络的预测精度与小目标的分割结果。     

结合自注意力和特征自适应融合的语义分割算法

针对场景图像语义分割任务中存在多尺度目标以及特征提取网络缺乏对全局上下文信息的获取等问题,设计了一种嵌入改进自注意力机制以及自适应融合多尺度特征的双路径分割算法。在空间路径利用双分支的简易下采样模块进行4倍下采样提取高分辨率的边缘细节信息,使网络对目标边界分割更精确。在语义路径嵌入上下文捕获模块和自适应特征融合模块,为解码阶段提供具有丰富多尺度的高语义上下文信息,并采用类别平衡策略进一步提升分割效果。经过实验验证,该模型在Camvid和Aeroscapes数据集上的MIOU(mean intersection over union)指标分别为59.4％和60.1％,具有较好的分割效果。     

IrisCodeNet：虹膜特征编码网络

使用有效的特征提取算法对虹膜纹理进行准确的表达是虹膜识别技术的关键。基于虹膜识别任务的特殊性,提出了用于虹膜特征编码的网络模型IrisCodeNet。该网络架构使用了改进的BasicBlock,并结合了可以扩大决策边界的损失函数AM-Softmax（additive margin softmax）。为了获取最佳的虹膜识别效果,对AM-Softmax的参数设置、虹膜图像预处理输入形式、数据增强方式、网络输入尺寸做了细致的研究。实验结果表明：使用IrisCodeNet训练得到的特征提取器在CASIA-Iris-Thousand、CASIA-Iris-Distance、IITD虹膜数据库上进行测试,所评估的等错误率（equal error rate,EER）和正确接受率（true acceptance rate,TAR）均远远超过了广泛应用的传统算法。特别地,IrisCodeNet无需传统的虹膜归一化或精确的虹膜分割步骤依然取得了极好的识别效果。并且使用Grad-CAM（gradient-weighted class activation mapping）算法进行了可视化分析,结果表明该网络框架有效地关注了虹膜纹理信息,从而证明了IrisCodeNet具有较强的虹膜纹理特征提取能力。     

改进的多尺度图谱和局部谱的目标提取算法

当目标对象与背景的纹理较多或两者纹理较接近时,基于多尺度图谱和局部谱的目标提取算法不能很好地提取目标,主要由于在计算相似度度量时,金字塔多尺度图谱算法特征选取较简单。针对算法不足,提出基于改进的金字塔多尺度图谱和局部谱相结合的目标提取算法,主要通过改进多尺度图谱中干涉轮廓权重构造方法,原算法中是基于拉普拉斯边缘图和梯度图,改进后是基于多尺度边缘概率检测算子和方向分水岭算法产生的边缘强度图。多尺度边缘概率检测算子可以有效地解决纹理较复杂图像分割不佳问题,方向分水岭算法可以有效解决由于目标和背景部分边界信息较接近导致的分割不佳问题。实验结果表明改进算法有效地弥补了原算法的不足,并且具有良好的目标提取效果。     

多级特征引导网络的红外与可见光图像融合

目的 以卷积神经网络为基础的深度学习技术在图像融合方面表现出优越的性能。在各类图像融合领域,红外与可见光的图像融合应用十分广泛,这两种图像各自的特性十分鲜明,二者信息交互融合得到的融合图像具有显著的价值和意义。为了提高红外与可见光图像的融合质量,本文提出了一种多级特征引导网络的融合框架。方法 本文框架中编码器用于提取源图像的特征,并将多级特征引导至解码器中对融合结果进行重建。为了有效地训练网络,设计了一种混合损失函数。其中,加权保真项约束融合结果与源图像的像素相似度,而结构张量损失鼓励融合图像从源图像中提取更多的结构特征,为了有效进行多尺度信息交互,不同于普通的编解码结构,本文方法在编码器每一层的每一部分均进行特征引导,在编码部分采用池化对尺寸进行缩小,解码采用上采样将尺寸放大,实现多尺度融合与重建,有效弥补了训练过程中卷积层数的堆叠导致的信息的丢失,在编码部分适时地对特征进行引导,及时地与解码层进行融合,在网络结构构建完成后,提出一种损失融合算法,从红外图像和可见光图像各自特点出发,分别设计基于视觉显著性权值估计的2范数损失和基于结构张量的F范数损失。结果 为了说明融合方法的可行性,...     

结合FCM和SVM的纹理分割算法

支持向量机由于其具备的各种优点在图像分割领域得到越来越广泛的应用。但是作为有监督的分类器,它无法自动获取图像中的类别特征。针对这一问题,提出一种结合模糊聚类技术与支持向量机的纹理分割算法,实现了纹理图像的自动分割。在Matlab 7.0平台下进行仿真实验,得到良好效果。实验结果证明该算法能有效地提高纹理图像分割的精度。     

改进U-Net的新冠肺炎图像分割方法

新型冠状病毒肺炎（COVID-19）大流行疾病正在全球范围内蔓延。计算机断层扫描（CT）影像技术,在抗击全球 COVID-19 的斗争中起着至关重要的作用,诊断新冠肺炎时,如果能够从CT图像中自动准确分割出新冠肺炎病灶区域,将有助于医生进行更准确和快速的诊断。针对新冠肺炎病灶分割问题,提出基于U-Net改进模型的自动分割方法。在编码器中运用了在 ImageNet 上预训练好的 EfficientNet-B0网络,对有效信息进行特征提取。在解码器中将传统的上采样操作换成DUpsampling结构,以此来充分获取病灶边缘的细节特征信息,最后通过模型快照的集成提高分割的精度。在公开数据集上的实验结果表明,所提算法的准确率、召回率和Dice系数分别为84.24%、80.43%和85.12%,与其他的语义分割算法相比,该方法能有效分割新冠肺炎病灶区域,具有良好的分割性能。     

U-Net与自适应阈值脉冲耦合神经网络相结合的眼底血管分割方法

由于眼底血管结构复杂多变,且图像中血管与背景对比度低,眼底血管分割存在巨大困难,尤其是微小型血管难以分割。基于深层全卷积神经网络的U-Net能够有效提取血管图像全局及局部信息,但由于其输出为灰度图像,并采用硬阈值实现二值化,这会导致血管区域丢失、血管过细等问题。针对这些问题,提出一种结合U-Net与脉冲耦合神经网络（PCNN）各自优势的眼底血管分割方法。首先使用迭代式U-Net模型凸显血管,即将U-Net模型初次提取的特征与原图融合的结果再次输入改进的U-Net模型进行血管增强;然后,将U-Net输出结果视为灰度图像,利用自适应阈值PCNN对其进行精准血管分割;在U-Net模型中引入Batch Normalization和Dropout,提高训练速度,有效缓解过拟合问题。实验结果表明,所提方法的AUC在DRVIE、STARE和CHASE_DB1数据集上分别为0.979 6,0.980 9和0.982 7。该方法可以提取更多的血管细节,且具有较强的泛化能力和良好的应用前景。     

基于深度学习高分辨率遥感影像语义分割

高分辨率遥感影像含有丰富的地理信息. 目前基于传统神经网络的语义分割模型不能够对遥感影像中小物体进行更高维度的特征提取, 导致分割错误率较高. 本文提出一种基于编码与解码结构特征连接的方法, 对DeconvNet网络模型进行改进. 模型在编码时, 通过记录池化索引的位置并应用于上池化中, 能够保留空间结构信息; 在解码时, 利用编码与解码对应特征层连接的方式使模型有效地进行特征提取. 在模型训练时, 使用设计的预训练模型, 可以有效地扩充数据, 来解决模型的过拟合问题. 实验结果表明, 在对优化器、学习率和损失函数适当调整的基础上, 使用扩充后的数据集进行训练, 对遥感影像验证集的分割精确度达到95%左右, 相对于DeconvNet和UNet网络模型分割精确度有显著提升.     

基于多尺度特征融合模型的遥感图像建筑物分割

针对传统深度网络模型难以精确提取建筑物边缘轮廓特征及对不同尺寸建筑物无法自适应提取的问题,提出一种膨胀卷积特征提取的多尺度特征融合深度神经网络模型(Multiscale-feature fusion Deep Neural Networks with dilated convolution,MDNNet)对遥感图像建筑物自动分割的方法。首先在ResNet101模型中引入膨胀卷积扩大提取视野保留更多特征图像分辨率;其次利用多尺度特征融合模块获取多个尺度的建筑物特征并将不同尺度的特征融合;最终利用特征解码模块将特征图恢复到原始输入图像尺寸,实现遥感图像建筑物精确分割。在WHU遥感图像数据集的实验结果表明,提出模型有效克服道路、树木和阴影等因素影响,分割结果有效保留建筑物边界细节信息,有效提升分割精度,像素准确率PA达到0.864,平均交并比mIoU达到0.815,召回率Recall达到0.862。     

脊柱MR图像自动分割方法的研究

脊柱磁共振（magnetic resonance,MR）图像精确分割是脊柱配准、三维重建等技术的前提。传统脊柱MR图像分割方法过程繁琐,精度低。为克服传统方法弊端,提出了一种基于深度学习的脊柱MR图像自动分割方法。该方法构建对称通道卷积神经网络提取多尺度图像特征,通过残差连接解决训练中网络退化问题,同时用跳跃连接层连接中间层特征减少信息丢失。在搭建的网络模型中加入卷积块注意力机制关注空间和通道中的有效特征。实验结果表明,该模型在测试集上的平均DSC系数为0.861?9,相比FCN、U-Net、DeeplabV3+和UNet++网络模型分别提高了15.34%、7.08%、5.79%、3.1%。该模型可应用于临床实践中提升脊柱MR图像的分割精度。