基于编码器-解码器的半监督图像语义分割

基于深度卷积神经网络的图像语义分割方法需要大量像素级标注的训练数据,但标注的过程费时又费力.本文基于生成对抗网络提出一种编码-解码结构的半监督图像语义分割方法,其中编码器-解码器模块作为生成器,整个网络通过耦合标准多分类交叉熵损失和对抗损失进行训练.为充分利用浅层网络包含的丰富的语义信息,本文将编码器中不同尺度的特征输入到分类器,并将得到的不同粒度的分类结果融合,进而优化目标边界.此外,鉴别器通过发现无标签数据分割结果中的可信区域,以此提供额外的监督信号,来实现半监督学习.在PASCAL VOC 2012和Cityscapes上的实验表明,本文提出的方法优于现有的半监督图像语义分割方法.     

一种基于对抗学习的仿真遥感图像生成方法

遥感图像数据标注耗时、成本高且需要专家知识，使得有标签的遥感数据难于获得，因此亟需生成有标签遥感数据的有效方法。由计算机视觉领域用于风格迁移的循环一致生成对抗网络出发，提出了一种基于深度学习，利用循环一致生成对抗网络生成新数据集的仿真遥感图像转换方法。将源数据与生成数据视为源域与目标域，遥感图像转换可视为仿真遥感数据集的风格迁移。生成的数据集可进一步用于分类、语义分割和域适应等适用于遥感图像的常见任务。实验结果表明该方法可有效生成风格迁移的仿真遥感数据。     

遥感图像语义分割中的弱监督域自适应算法

近年来,遥感图像的语义分割得到广泛应用。虽然基于深度学习的方法极大程度地提高了遥感图像的语义分割精度,但由于遥感图像的多样性（不同的地理位置、地形和天气条件）以及像素级标签的缺乏,该算法难以适用于跨多个域的任务。而若重新训练新的域则需要消耗大量人力资源来收集相应的像素级标签。为了解决这一跨域问题,基于对抗学习提出了一种目标域图像级标签已知的弱监督域自适应方法：利用图像级标签,提出多类域判别器,使目标域各个类别自适应地对齐到源域;为保持训练过程的平稳,一种基于熵值产生目标域像素级伪标签的方法被提出以监督特征提取器,提升模型表现。在ISPRS Vaihingen与ISPRS Potsdam数据集上的大量实验表明,改进后的算法优于其他遥感图像语义分割中的基于对抗学习域自适应算法。     

基于对抗域适应的红外舰船目标分割

为了提高红外舰船目标的分割准确率,提出一种基于对抗域适应的红外舰船目标分割方法,其中有标注的可见光舰船图像为源域,没有标注的红外舰船图像为目标域。为了解决两个域之间的风格差异问题,本文依次对源域的可见光图像进行灰度化和白化预处理,将其转换为具有目标域风格的图像。对于目标域的红外图像,使用去噪网络进行优化;接着,为了解决判别网络视野受限问题,设计基于空洞卷积的判别网络;最后,针对目标域预测图像置信度低问题,将目标域预测图像的信息熵加入到对抗损失中。在可见光和红外舰船图像组成的数据集上的实验结果高于现有方法,证明了本文方法的有效性。     

基于边缘增强的遥感图像弱监督语义分割方法

随着弱监督学习被应用于遥感图像语义分割,大大降低了模型训练的数据成本。然而,由于监督信息不足,类激活图难以准确激活出遥感图像中不同尺度大小的目标,这使得基于类激活图获得的伪分割掩码边缘粗糙,从而导致最终的分割结果不准确。此外,大部分的弱监督语义分割方法都是基于可视化的两阶段方法,模型复杂繁琐。针对上述问题,设计了一种基于边缘增强的端到端弱监督语义分割网络。在特征空间边缘增强模块中,以自监督方式引导网络学习遥感图像中尺寸不一的目标,并且,细化伪分割掩码的边缘;在输出空间边缘增强模块中,通过端到端训练提升分割精度,同时降低模型训练的繁琐度。在ISPRS 2D数据集上的实验结果表明,该方法在仅使用图像级标签的情况下MIoU分别为57.72%和59.45%,与其他方法相比,效果较好。     

结合深度特征与多标记分类的图像语义标注

为了缩减不同模态数据间的语义鸿沟,提出一种结合深度卷积神经网络和集成分类器链的多标记图像语义标注方法.该方法主要由生成式特征学习和判别式语义学习2个阶段构成.首先利用深度卷积神经网络学习图像的高层视觉特征;然后基于获取的视觉特征与图像的语义标记集训练集成分类器链,并学习视觉特征包含的语义信息;最后利用训练得到的模型对未知图像进行自动语义标注.在Corel5K和PASCAL VOC 2012图像数据集上的实验结果表明,与一些当前国际先进水平的方法相比,文中方法的鲁棒性更强,标注结果更精确.     

眼底数据频域增强算法

眼底血管分割算法常作为一种辅助分析工具用于眼部疾病的诊断.具有良好泛化性能的算法需要大量有标签数据作为支撑,但眼底数据难以获取且标注成本高.当数据匮乏时,模型训练容易过拟合,导致产生域泛化性能弱的问题.使用生成对抗网络进行数据增强能在一定程度上缓解该问题,但是合成的图像往往包含噪声数据,性能提升有限.本文从频域角度出发,设计一种数据增强算法,定义频域语义信息量,将眼底数据集的频段划分为低频、中频和高频.在训练阶段,对低频分量进行随机融合,中频分量使用随机权重增强.在测试阶段通过聚类算法缩小源域和目标域在频域上的语义信息偏差,从而提升算法的泛化性能.     

基于图卷积网络的多标签遥感图像分类

由于遥感图像包含物体类别多样,单个语义类别标签无法全面地描述图像内容,而多标签图像分类任务更加具有挑战性.通过探索深度图卷积网络(GCN),解决了多标签遥感图像分类缺乏对标签语义信息相关性利用的问题,提出了一种新的基于图卷积的多标签遥感图像分类网络,它包含图像特征学习模块、基于图卷积网络的分类器学习模块和图像特征差异化模块三个部分.在公开多标签遥感数据集Planet和UCM上与相关模型进行对比,在多标签遥感图像分类任务上可以得到了较好的分类结果.该方法使用图卷积等模块将多标签图像分类方法应用到遥感领域,提高了模型分类能力,缩短了模型训练时间.     

对抗学习遥感图像场景识别

目的 在高分辨率遥感图像场景识别问题中,经典的监督机器学习算法大多需要充足的标记样本训练模型,而获取遥感图像的标注费时费力。为解决遥感图像场景识别中标记样本缺乏且不同数据集无法共享标记样本问题,提出一种结合对抗学习与变分自动编码机的迁移学习网络。方法 利用变分自动编码机（variational auto-encoders,VAE）在源域数据集上进行训练,分别获得编码器和分类器网络参数,并用源域编码器网络参数初始化目标域编码器。采用对抗学习的思想,引入判别网络,交替训练并更新目标域编码器与判别网络参数,使目标域与源域编码器提取的特征尽量相似,从而实现遥感图像源域到目标域的特征迁移。结果 利用两个遥感场景识别数据集进行实验,验证特征迁移算法的有效性,同时尝试利用SUN397自然场景数据集与遥感场景间的迁移识别,采用相关性对齐以及均衡分布适应两种迁移学习方法作为对比。两组遥感场景数据集间的实验中,相比于仅利用源域样本训练的网络,经过迁移学习后的网络场景识别精度提升约10%,利用少量目标域标记样本后提升更为明显;与对照实验结果相比,利用少量目标域标记样本时提出方法的识别精度提升均在3%之上,仅利用源域标记样本时提出方法场景识别精度提升了10%~40%;利用自然场景数据集时,方法仍能在一定程度上提升场景识别精度。结论 本文提出的对抗迁移学习网络可以在目标域样本缺乏的条件下,充分利用其他数据集中的样本信息,实现不同场景图像数据集间的特征迁移及场景识别,有效提升遥感图像的场景识别精度。     

聚类中心对齐的无监督域适应网络

深度学习在图像分类上的准确度很大程度上依赖于大量的标记数据,无监督域适应已经被证明是一种有效的方法去解决一个新的无标签域上的任务,其主要思想是利用有标签的数据集作为源域,通过减少源域和目标域之间的差异,将源域训练的预测模型应用于目标域.本文提出了聚类中心对齐的无监督域适应方法CADA,将语义对齐方法与传统对抗域适应相结...     

基于深度学习的自然灾害遥感影像语义分割

自然灾害种类繁多, 通过遥感影像语义分割相对比较困难. 为了能够更好实现遥感影像分割, 本文提出一种基于生成对抗网络的3层遥感影像语义分割模型, 针对不同场景的解析, 基于全卷积神经网络FCN, 设计一种多层次的遥感语义分割框架. 有效对遥感图像语义分割进行处理, 从而提高了模型的分割精度. 实验表明利用这种模型是有效的, 特别是受损建筑的分割结果, mIoU为82.28%, 通过该模型与其他网络模型进行对比, 其性能评价指标明显优于其他网络模型. 最后, 通过对自然灾害各种场景影像进行分析, 为应急管理部门提供一份可靠的数据报告.     

基于多尺度特征多对抗网络的雾天图像识别

目的 当前的大型数据集,例如ImageNet,以及一些主流的网络模型,如ResNet等能直接高效地应用于正常场景的分类,但在雾天场景下则会出现较大的精度损失。雾天场景复杂多样,大量标注雾天数据成本过高,在现有条件下,高效地利用大量已有场景的标注数据和网络模型完成雾天场景下的分类识别任务至关重要。方法 本文使用了一种低成本的数据增强方法,有效减小图像在像素域上的差异。基于特征多样性和特征对抗的思想,提出多尺度特征多对抗网络,通过提取数据的多尺度特征,增强特征在特征域分布的代表性,利用对抗机制,在多个特征上减少特征域上的分布差异。通过缩小像素域和特征域分布差异,进一步减小领域偏移,提升雾天场景的分类识别精度。结果 在真实的多样性雾天场景数据上,通过消融实验,使用像素域数据增强方法后,带有标签的清晰图像数据在风格上更趋向于带雾图像,总的分类精度提升了8.2%,相比其他的数据增强方法,至少提升了6.3%,同时在特征域上使用多尺度特征多对抗网络,相比其他的网络,准确率至少提升了8.0%。结论 像素域数据增强以及多尺度特征多对抗网络结合的雾天图像识别方法,综合考虑了像素域和特征域的领域分布差异,结合了多尺度的丰富特征信息,同时使用多对抗来缩小雾天数据的领域偏移,在真实多样性雾天数据集上获得了更好的图像分类识别效果。     

残差密集空间金字塔网络的城市遥感图像分割

目的 遥感图像语义分割是根据土地覆盖类型对图像中每个像素进行分类,是遥感图像处理领域的一个重要研究方向。由于遥感图像包含的地物尺度差别大、地物边界复杂等原因,准确提取遥感图像特征具有一定难度,使得精确分割遥感图像比较困难。卷积神经网络因其自主分层提取图像特征的特点逐步成为图像处理领域的主流算法,本文将基于残差密集空间金字塔的卷积神经网络应用于城市地区遥感图像分割,以提升高分辨率城市地区遥感影像语义分割的精度。方法 模型将带孔卷积引入残差网络,代替网络中的下采样操作,在扩大特征图感受野的同时能够保持特征图尺寸不变;模型基于密集连接机制级联空间金字塔结构各分支,每个分支的输出都有更加密集的感受野信息;模型利用跳线连接跨层融合网络特征,结合网络中的高层语义特征和低层纹理特征恢复空间信息。结果 基于ISPRS （International Society for Photogrammetry and Remote Sensing） Vaihingen地区遥感数据集展开充分的实验研究,实验结果表明,本文模型在6种不同的地物分类上的平均交并比和平均F₁值分别达到69.88%和81.39%,性能在数学指标和视觉效果上均优于SegNet、pix2pix、Res-shuffling-Net以及SDFCN （symmetrical dense-shortcut fully convolutional network）算法。结论 将密集连接改进空间金字塔池化网络应用于高分辨率遥感图像语义分割,该模型利用了遥感图像不同尺度下的特征、高层语义信息和低层纹理信息,有效提升了城市地区遥感图像分割精度。     

离散ADMM方法下像素与对象基元协同优化的遥感影像无监督语义分割

语义分割是遥感影像分析中的重要技术之一。现有的方法（如基于深度卷积神经网络的方法等）虽然在语义分割中取得了显著进展,但往往需要大量训练数据。基于图模型的马尔可夫随机场模型（Markov random field model,MRF）提出了一种不依赖训练数据的无监督语义分割思路,可以有效地刻画地物空间关系,并对地物空间分布的统计规律进行建模。但现有的MRF模型方法通常建立在基于像素或对象的单一粒度基元上,难以充分利用影像信息,语义分割效果不佳。针对上述问题,引入交替方向乘子法 （alternative direction method of multiplier,ADMM）并将其离散化,提出了一种像素与对象基元协同的MRF模型无监督语义分割方法（MRF-ADMM）。首先构建像素基元和对象基元两个概率图,其中像素基元概率图用于刻画影像的细节信息,保持语义分割的边界;对象基元概率图用于描述较大范围的空间关系,以应对遥感影像地物内部的高异质性,使分割结果中地物内部具有良好的区域完整性。在模型求解过程中,针对像素和对象基元的特点,提出了一种离散化的ADMM方法,并将其用于两种基元类别标记的传递与更新,实现像素基元细节信息和对象基元区域信息的协同优化。高分二号和航拍影像等不同数据库不同类型遥感影像的语义分割实验结果表明,相较于现有的MRF模型,提出的MRF-ADMM方法能有效地协同不同粒度基元的优点,优化语义分割结果。     

Segmentation of High Spatial Resolution Remotely Sensed Data Using Watershed with Self-adaptive Parameterization

Segmentation of high spatial resolution remotely sensed image is the important foundation of Object\|Based Image Analysis(OBIA), most of the image segmentation algorithms involve the problem of parameter setting. Self\|adaptive Parameterization is one of the key factors that affect the efficiency and effectiveness of remote sensing image segmentation. Considering that traditional watershed segmentation algorithm is susceptible to noise and the segmentation scale parameter is difficult to be self\|adaptively chosen,this paper propose a scale self\|adaptive method in watershed segmentation. After median filtering in primary image, this paper uses spatial statistical method to realize the self\|adaptive setting of watershed segmentation parameters, and then segments the high spatial resolution remote sensing image. This study uses IKONOS and Quickbird multispectral images as experimental data to testify the validity of the method proposed by this paper. The homogeneity within the segmentation parcels and the heterogeneity between thesegmentation parcels are used to build up a synthetic evaluation model to quantitatively evaluate the segmentation results by the proposed method by comparing with different parameter sequences segmentation results. The comparison result show that the proposed method perform well in high spatial resolution image segmentation. As result, the method proposed in this paper not only improves the accuracy of image segmentation to a certain extent, but also raises the automation of the segmentation parameter selection, which provides a new way for image segmentation and the research of parameterization in the future.     

弱监督深度语义分割网络的多源遥感影像水体检测

目的 深度语义分割网络的优良性能高度依赖于大规模和高质量的像素级标签数据。在现实任务中,收集大规模、高质量的像素级水体标签数据将耗费大量人力物力。为了减少标注工作量,本文提出使用已有的公开水体覆盖产品来创建遥感影像对应的水体标签,然而已有的公开水体覆盖产品的空间分辨率低且存在一定错误。对此,提出采用弱监督深度学习方法训练深度语义分割网络。方法 在训练阶段,将原始数据集划分为多个互不重叠的子数据集,分别训练深度语义分割网络,并将训练得到的多个深度语义分割网络协同更新标签,然后利用更新后的标签重复前述过程,重新训练深度语义分割网络,多次迭代后可以获得好的深度语义分割网络。在测试阶段,多源遥感影像经多个代表不同视角的深度语义分割网络分别预测,然后投票产生最后的水体检测结果。结果 为了验证本文方法的有效性,基于原始多源遥感影像数据创建了一个面向水体检测的多源遥感影像数据集,并与基于传统的水体指数阈值分割法和基于低质量水体标签直接学习的深度语义分割网络进行比较,交并比（intersection-over-union,IoU）分别提升了5.5%和7.2%。结论 实验结果表明,本文方法具有收敛性,并且光学影像和合成孔径雷达（synthetic aperture radar,SAR）影像的融合有助于提高水体检测性能。在使用分辨率低、噪声多的水体标签进行训练的情况下,训练所得多视角模型的水体检测精度明显优于基于传统的水体指数阈值分割法和基于低质量水体标签直接学习的深度语义分割网络。     

全卷积神经网络下的多光谱遥感影像分割

目的 传统的遥感影像分割方法需要大量人工参与特征选取以及参数选择,同时浅层的机器学习算法无法取得高精度的分割结果。因此,利用卷积神经网络能够自动学习特征的特性,借鉴处理自然图像语义分割的优秀网络结构,针对遥感数据集的特点提出新的基于全卷积神经网络的遥感影像分割方法。方法 针对遥感影像中目标排列紧凑、尺寸变化大的特点,提出基于金字塔池化和DUC（dense upsampling convolution）结构的全卷积神经网络。该网络结构使用改进的DenseNet作为基础网络提取影像特征,使用空间金字塔池化结构获取上下文信息,使用DUC结构进行上采样以恢复细节信息。在数据处理阶段,结合遥感知识将波段融合生成多源数据,生成植被指数和归一化水指数,增加特征。针对遥感影像尺寸较大、采用普通预测方法会出现拼接痕迹的问题,提出基于集成学习的滑动步长预测方法,对每个像素预测14次,每次预测像素都位于不同图像块的不同位置,对多次预测得到的结果进行投票。在预测结束后,使用全连接条件随机场（CRFs）对预测结果进行后处理,细化地物边界,优化分割结果。结果 结合遥感知识将波段融合生成多源数据可使分割精度提高3.19%;采用基于集成学习的滑动步长预测方法可使分割精度较不使用该方法时提高1.44%;使用全连接CRFs对预测结果进行后处理可使分割精度提高1.03%。结论 针对宁夏特殊地形的遥感影像语义分割问题,提出基于全卷积神经网络的新的网络结构,在此基础上采用集成学习的滑动步长预测方法,使用全连接条件随机场进行影像后处理可优化分割结果,提高遥感影像语义分割精度。