一种改进EDLines模型的唐卡图像头饰语义分割方法

为了克服现有肖像唐卡图像头饰分割方法的局限 性和像素级标注全监督语义分割的 高成本,我们提出了一种带有框级标注的弱监督语义分割方法。首先,所提出的方法使用Ca nny算法来获取头饰的粗糙边缘。其次,利用改进的EDLines算法来提取头饰的关键点。最后 ,本文使用Polygons处理,根据头饰的特点生成特征掩码。实验表明,在人像唐卡图像佛 像头饰的分割中,该方法的平均像素联合交集(mean intersection over union, mIoU)指数比语义分割实例方法(semantic segmentation instance,SDI)高7.56%,比弱监督实例分割-包围盒先验方法(weakly-supervised instance segmentation_bounding box prior, WSIS_BBTP)高6.11%,具有有效性。     

基于语义分割的双目场景流估计

针对现有场景流计算方法在复杂场景、大位移和运动遮挡等情况下易产生运动边缘模糊的问题,提出一种基于语义分割的双目场景流估计方法.首先,根据图像中的语义信息类别,通过深度学习的卷积神经网络模型将图像划分为带有语义标签的区域;针对不同语义类别的图像区域分别进行运动建模,利用语义知识计算光流信息并通过双目立体匹配的半全局匹配方法计算图像视差信息.然后,对输入图像进行超像素分割,通过最小二乘法耦合光流和视差信息,分别求解每个超像素块的运动参数.最后,在优化能量函数中添加语义分割边界的约束信息,通过更新像素到超像素块的映射关系和超像素块到移动平面的映射关系得到最终的场景流估计结果.采用KITTI 2015标准测试图像序列对本文方法和代表性的场景流计算方法进行对比分析.实验结果表明,本文方法具有较高的精度和鲁棒性,尤其对于复杂场景、运动遮挡和运动边缘模糊的图像具有较好的边缘保护作用.     

基于区域与深度残差网络的图像语义分割

该文提出了一种结合区域和深度残差网络的语义分割模型。基于区域的语义分割方法使用多尺度提取相互重叠的区域,可识别多种尺度的目标并得到精细的物体分割边界。基于全卷积网络的方法使用卷积神经网络(CNN)自主学习特征,可以针对逐像素分类任务进行端到端训练,但是这种方法通常会产生粗糙的分割边界。该文将两种方法的优点结合起来:首先使用区域生成网络在图像中生成候选区域,然后将图像通过带扩张卷积的深度残差网络进行特征提取得到特征图,结合候选区域以及特征图得到区域的特征,并将其映射到区域中每个像素上;最后使用全局平均池化层进行逐像素分类。该文还使用了多模型融合的方法,在相同的网络模型中设置不同的输入进行训练得到多个模型,然后在分类层进行特征融合,得到最终的分割结果。在SIFT FLOW和PASCAL Context数据集上的实验结果表明该文方法具有较高的平均准确率。     

基于区域限制的EM和图割的非监督彩色图像分割方法

提出一种基于区域限制的EM(Expectation Maximization)和图割的非监督彩色图像分割方法,以解决自动确定分割类数问题.首先,生成图像的超像素,提取图像的CIE Lab颜色特征和多尺度四元数Gabor滤波特征;为了高效自动地确定分割类数,同时避免因直接使用超像素造成的奇异值问题,对每一个超像素采样并使用采样像素表示超像素;然后采用高斯混合模型对采样像素集合进行建模,使用加入区域限制的分量EM自动获取模型组件数及参数,最后使用图割结合高斯混合模型对图像进行优化,获取最终分割结果.实验结果表明,该方法在分割效率和分割质量上均得到较大提升.     

DECANet：基于改进DeepLabv3+的图像语义分割方法

在图像的语义分割任务中，不同对象之间像素值存在差异，导致现有的网络模型在图像语义分割过程中丢失图像局部细节信息。针对上述问题，提出一种图像语义分割方法（DECANet）。首先，引入通道注意力网络模块，通过对所有通道的依赖关系进行建模提高网络的表达能力，选择性地学习并强化通道特征，提取有用信息，抑制无用信息。其次，利用改进的空洞空间金字塔池化（ASPP）结构，对提取到的图像卷积特征进行多尺度融合，减少图像细节信息丢失，且在权重参数不改变的情况下提取语义像素位置信息，加快模型的收敛速度。最后，DECANet在PASCAL VOC2012和Cityscapes数据集上的平均交并比分别达81.08%和76%，与现有的先进网络模型相比，检测性能更优，可以有效地捕获局部细节信息，减少图像语义像素分类错误。     

基于全卷积网络的语义显著性区域检测方法研究

基于底层视觉特征和先验知识的显著性区域检测算法难以检测一些复杂的显著性目标,人的视觉系统能分辨这些目标是由于其中包含丰富的语义知识.本文构建了一个基于全卷积结构的语义显著性区域检测网络,用数据驱动的方式构建从图像底层特征到人类语义认知的映射,提取语义显著性区域.针对网络提取的语义显著性区域的缺点,本文进一步引入颜色信息、目标边界信息、空间一致性信息获得准确的超像素级前景和背景概率.最后提出一个优化模型融合前景和背景概率信息、语义信息、空间一致性信息得到最终的显著性区域图.在6个数据集上与15种最新算法的比较实验证明了本文算法的有效性和鲁棒性.     

基于深度卷积神经网络的气象雷达噪声图像语义分割方法

针对新一代多普勒气象雷达的散射回波图像受非降雨等噪声回波干扰导致精细化短时气象预报准确度降低的问题,该文提出一种基于深度卷积神经网络(DCNN)的气象雷达噪声图像语义分割方法。首先,设计一种深度卷积神经网络模型(DCNNM),利用MJDATA数据集的训练集数据进行训练,通过前向传播过程提取特征,将图像高维全局语义信息与局部特征细节融合;然后,利用训练误差值反向传播迭代更新网络参数,实现模型的收敛效果最优化;最后,通过该模型对气象雷达图像数据进行分割处理。实验结果表明,该文方法对气象雷达图像的去噪效果较好,与光流法、全卷积网络(FCN)等方法相比,该文方法对气象雷达图像中真实回波和噪声回波的识别准确率高,图像的像素精度较高。     

基于显著性特征和DCNN的高分遥感影像场景分类

高分遥感影像的场景分类是解译遥感影像信息的重要工作之一.为了准确提取出目标信息,针对高分遥感影像场景分类中存在的背景复杂、目标多样、目标信息与背景信息难以区分等问题,提出了一种基于显著性特征和深度卷积神经网络(DCNN)的高分遥感影像场景分类方法.首先,利用K-means聚类与超像素分割算法得到影像的颜色空间分布与颜色对比图,融合不同对比图,以得到显著图.然后,通过对数变换增强显著图中的特征,采用自适应阈值分割方法提高目标的区分度并划分出目标区域和背景区域,以提取出感兴趣区域.最后,构建了一种用于提取深层语义特征的DCNN模型,并将得到的特征输入网络模型中进行训练和分类.实验结果表明,本方法能有效区分主要目标信息与背景信息,减少无关信息的干扰,在UC-Merced数据集和WHU-RS数据集上的分类精度分别为96.10％和95.84％.     

一种新的多尺度深度学习图像语义理解方法研究

如何在深度学习中融合 图像的多尺度信息,是基于深度学习的视觉算法需要解决的一个关键问题。本文提出一种基 于多尺度交替 迭代训练的深度学习方法,并应用于图像的语义理解。算法采用卷积神经网络(CNN)从原始 图像中提取稠密性特征 来编码以每个像素为中心的矩形区域,将多个尺度图像交替迭代训练,能够捕获不同尺度下 的纹理、颜色和 边缘等重要信息。在深度学习提取特征分类结果的基础上,提出了一种结合超像素分割的方 法,统计超像 素块的主导类别,来校正分类错误的像素类别,同时描绘出目标区域边界轮廓,完成最终的 语义理解。在Stanford Background Dataset 8类数据集上验证了本文方法的有效性,准确 率达到77.4%。     

基于图注意力网络的半监督SAR舰船目标检测

基于深度学习的合成孔径雷达(SAR)舰船目标检测近年得到了快速发展。然而,传统有监督学习需要大量的标记样本来训练网络。针对此问题,该文提出一种基于图注意力网络(GAT)的半监督SAR舰船目标检测方法。首先,设计了对称卷积神经网络用于海陆分割。随后,完成超像素分割并将超像素块建模为GAT的节点,利用感兴趣区域池化层提取节点的多尺度特征。GAT采用注意力机制自适应地汇聚邻接节点特征实现对无标记节点的分类。最后,将预测为舰船目标的超像素块定位到SAR图像中并获得精细检测结果。在实测高分辨SAR图像数据集上验证了所提方法。结果表明该方法可以在少量标记样本下,以低虚警率实现对舰船目标的可靠检测。     

Weakly supervised image parsing via label propagation over discriminatively semantic graph

In this paper, we concentrate on a challenging problem, i.e., weakly supervised image parsing, whereby only weak image-level labels are available in the dataset. In tradition, an affinity graph of superpixels is constructed to strengthen weak information by leveraging the neighbors from the perspective of image-level labels. Existing work constructs the affinity graph by purely utilizing the visual relevance, where the context homogenization is a common phenomenon and hinders the performance of label prediction. To overcome the context homogenization problem, we not only consider the visual and semantic relevance but also the semantic distinction between every target superpixel and its neighbor superpixels in the affinity graph construction. We propose a novel way in constructing the inter-image contextual graph, and design a label propagation framework jointly combining visual relevance, semantic relevance and discriminative ability. Extensive experiments on real-world datasets demonstrate that our approach obtains significant gains.     

基于深度网络的图像语义分割综述

图像语义分割不仅预测一幅图像中的不同类别,同时还定位不同语义类别的位置,具有重要的研究意义和应用价值.本文阐述了图像语义分割最新的研究成果和方法,从三个角度综述了基于深度卷积神经网络的图像语义分割模型,分别是基于候选区域模型、基于全卷积网络模型和基于弱监督学习的语义分割模型,对这三类模型的方法和结构进行了详细的研究和分析.并在PASCAL VOC 2012数据集上对一些代表性的语义分割算法的性能进行了比较分析.     

Weakly supervised semantic segmentation and optimization algorithm based on multi-scale feature model

In order to improve the accuracy of weakly-supervised semantic segmentation method,a segmentation and optimization algorithm that combines multi-scale feature was proposed.The new algorithm firstly constructs a multi-scale feature model based on transfer learning algorithm.In addition,a new classifier was introduced for category prediction to reduce the failure of segmentation due to the prediction of target class information errors.Then the designed multi-scale model was fused with the original transfer learning model by different weights to enhance the generalization performance of the model.Finally,the predictions class credibility was added to adjust the credibility of the corresponding class of pixels in the segmentation map,avoiding false positive segmentation regions.The proposed algorithm was tested on the challenging VOC 2012 dataset,the mean intersection-over-union is 58.8% on validation dataset and 57.5% on test dataset.It outperforms the original transfer-learning algorithm by 12.9% and 12.3%.And it performs favorably against other segmentation methods using weakly-supervised information based on category labels as well.     

基于GAN的ISAR图像语义分割方法

逆合成孔径雷达（ISAR）成像技术能够对空间目标进行远距离成像,刻画目标的外形、结构和尺寸等信息。ISAR图像语义分割能够获取目标的感兴趣区域,是ISAR图像解译的重要技术支撑,具有非常重要的研究价值。由于ISAR图像表征性较差,图像中散射点的不连续和强散射点存在的旁瓣效应使得人工精准标注十分困难,基于交叉熵损失的传统深度学习语义分割方法在语义标注不精准情况下无法保证分割性能的稳健。针对这一问题,提出了一种基于生成对抗网络（GAN）的ISAR图像语义分割方法,采用对抗学习思想学习ISAR图像分布到其语义分割图像分布的映射关系,同时通过构建分割图像的局部信息和全局信息来保证语义分割的精度。基于仿真卫星目标ISAR图像数据集的实验结果证明,本文方法能够取得较好的语义分割结果,且在语义标注不够精准的情况下模型更稳健。     

Interactive image segmentation based on samples reconstruction and FLDA

Existing interactive image segmentation methods heavily rely on manual input, i.e. a sufficient quantity and correct locations of labels. In this paper, we propose a new interactive segmentation algorithm which aims to reduce human intervention and to generate high-quality segmentation results. In contrast to most energy minimizing based segmentation methods, the segmentation is cast as multi-classification in our proposed method. First, the input image is segmented into superpixels by using different methods. Then we build a dictionary consisting of all obtained superpixels and reconstruct samples represented by certain labeled superpixels. Finally, we learn a discriminative projection matrix through Fishers linear discriminant analysis (FLDA) algorithm, which learns a discriminative subspace for classification. The unlabeled superpixels are grouped into foreground or background, via calculating their minimal norm. Our method can capture long range grouping cues and reduce the sensitivity with respect to input label quantity and location of labels, by the combination of superpixels and discriminative dictionary. Extensive experiments are conducted both on MSRC and another challenging database in order to demonstrate the effectiveness of the proposed method. Quantitative and qualitative results show that our method is competitive to the state-of-the-art performance.     

基于Word Embedding的遥感影像检测分割

遥感影像检测分割技术通常需提取影像特征并通过深度学习算法挖掘影像的深层特征来实现.然而传统特征（如颜色特征、纹理特征、空间关系特征等）不能充分描述影像语义信息,而单一结构或串联算法无法充分挖掘影像的深层特征和上下文语义信息.针对上述问题,本文通过词嵌入将空间关系特征映射成实数密集向量,与颜色、纹理特征的结合.其次,本文构建基于注意力机制下图卷积网络和独立循环神经网络的遥感影像检测分割并联算法（Attention Graph Convolution Networks and Independently Recurrent Neural Network,ATGIR）.该算法首先通过注意力机制对结合后的特征进行概率权重分配;然后利用图卷积网络（GCNs）算法对高权重的特征进一步挖掘并生成方向标签,同时使用独立循环神经网络（IndRNN）算法挖掘影像特征中的上下文信息,最后用Sigmoid分类器完成影像检测分割任务.以胡杨林遥感影像检测分割任务为例,我们验证了提出的特征提取方法和ATGIR算法能有效提升胡杨林检测分割任务的性能.     

一种基于改进的MobileNetV2网络语义分割算法

基于金字塔卷积神经网络的语义分割算法准确率很高,但是其计算资源消耗巨大、算法执行时间长、无法满足实时性要求.为了解决这个问题,本文做出了以下改进：（1）用MobileNet替换原网络的结构,减少了网络运算时间和内存开销;（2）引入编码器-解码器结构提高输出图像的分辨率,进一步细化分割结果;（3）针对高分辨率图像推断时间过长的问题,本文设计了多级图像输入方法,降低了网络推断高分辨率图像所消耗的时间.本文在VOC 2012数据集和Cityscapes数据集上进行了测试,并与FCN、SegNet、DeepLab、PSPNet以及DFN等语义分割模型对比.实验结果表明,本文设计的语义分割算法在VOC 2012数据集上达到了76.1%的mIoU,在Cityscapes数据集上达到了74.1%的mIoU,略低于传统语义分割算法;处理一张分辨率为1024×512的图片需要18ms,少于传统语义分割算法,满足了实时性要求,达到了准确率与计算资源消耗之间的平衡.     

迷彩伪装目标图像语义分割数据集的构建

数据集是基于深度学习语义分割技术的重要组成部分。为了将语义分割技术应用于野外战场环境,构建一个符合实战场景的数据集至关重要。针对迷彩伪装目标侦察识别的作战保障需求,分析了野外战场环境及战场侦察图像的特点,设计了特定场景数据集的构建流程与方法,构建了具有精细化语义标注的语义分割数据集CSS,并通过实验验证了该数据集在语义分割任务上的有效性。     

基于超像素和SVM的交互式联合分割算法研究*

联合分割是一类针对前景相同或相似的图像集进行处理的图像分割算法。本文将分割问题视为前背景像素的分类问题,提出了一种基于超像素和机器学习的联合分割算法, 其中使用支持向量机来实现超像素的分类。相比于其他联合分割算法,本文使用词袋(BOF)模型来描述每个超像素,并引入词频-逆向文件频率(Tf-idf)加权算法来优化提取到的特征。为了减少用户交互工作,通过只在一组前景相似的图像中使用一幅种子图像,并在训练分类器时采用样本抽取的方法来解决正负样本数量不平衡的问题。本文使用iCoSeg联合分割标准图像集来测试本文的算法,实验结果表明,相比其他联合分割算法,本文的方法在精确度和灵活性上都更有优势。