遥感图像飞机目标分类的卷积神经网络方法

目的 遥感图像飞机目标分类,利用可见光遥感图像对飞机类型进行有效区分,对提供军事作战信息有重要意义。针对该问题,目前存在一些传统机器学习方法,但这些方法需人工提取特征,且难以适应真实遥感图像的复杂背景。近年来,深度卷积神经网络方法兴起,网络能自动学习图像特征且泛化能力强,在计算机视觉各领域应用广泛。但深度卷积神经网络在遥感图像飞机分类问题上应用少见。本文旨在将深度卷积神经网络应用于遥感图像飞机目标分类问题。方法 在缺乏公开数据集的情况下,收集了真实可见光遥感图像中的8种飞机数据,按大致4∶1的比例分为训练集和测试集,并对训练集进行合理扩充。然后针对遥感图像与飞机分类的特殊性,结合深度学习卷积神经网络相关理论,有的放矢地设计了一个5层卷积神经网络。结果 首先,在逐步扩充的训练集上分别训练该卷积神经网络,并分别用同一测试集进行测试,实验表明训练集扩充有利于网络训练,测试准确率从72.4%提升至97.2%。在扩充后训练集上,分别对经典传统机器学习方法、经典卷积神经网络LeNet-5和本文设计的卷积神经网络进行训练,并在同一测试集上测试,实验表明该卷积神经网络的分类准确率高于其他两种方法,最终能在测试集上达到97.2%的准确率,其余两者准确率分别为82.3%、88.7%。结论 在少见使用深度卷积神经网络的遥感图像飞机目标分类问题上,本文设计了一个5层卷积神经网络加以应用。实验结果表明,该网络能适应图像场景,自动学习特征,分类效果良好。     

前列腺磁共振图像分割的反卷积神经网络方法

目的 前列腺磁共振图像存在组织边界对比度低、有效区域少等问题,手工勾勒组织轮廓边界的传统分割方法无法满足临床实时性要求,针对这些问题提出了一种基于深度反卷积神经网络的前列腺磁共振图像分割算法。方法 基于深度学习理论,将训练图像样本输入设计好的卷积神经网络,提取具有高度区分性的前列腺图像特征,反卷积策略用于拓展特征图尺寸,使网络的输入尺寸与输出预测图大小匹配。网络生成的概率预测图通过训练一个softmax分类器,对预测图像取二值化,获得最终的分割结果。为克服原始图像中有效组织较少的问题,采用dice相似性系数作为卷积网络的损失函数。结果 本文算法以Dice相似性系数和Hausdorff距离作为评价指标,在MICCAI 2012数据集中,Dice相似性系数大于89.75%,Hausdorff距离小于1.3 mm,达到了传统方法的分割精度,并且将处理时间缩短在1 min以内,明显优于其他方法。结论 定量与定性的实验表明,基于反卷积神经网络的前列腺分割方法可以准确地对磁共振图像进行分割,相比于其他分割算法大幅度减小了处理时间,能够很好地适用于临床的前列腺图像分割任务。     

基于2维灰度熵阈值选取快速迭代的图像分割

目的 为了使图像阈值分割的精度和速度进一步提高,提出了一种基于2维灰度熵阈值选取快速迭代的图像分割方法。方法 首先,提出了1维灰度熵阈值选取的快速迭代算法;然后,考虑图像目标和背景的类内灰度均匀性,给出了基于灰度—邻域平均灰度级直方图的灰度熵阈值选取准则;最后,提出了2维灰度熵阈值选取的快速迭代算法,并采用递推方式计算准则函数中的中间变量,避免其重复运算,加快了运算速度,大大减少了运算量。结果 大量实验结果表明,与近年来提出的3种阈值分割法相比,所提出的方法分割性能更优,分割后的图像中目标区域完整,边缘清晰,细节丰富且运行时间短,仅为基于混沌小生境粒子群优化的二维斜分倒数熵分割法运行时间的3%左右。结论 本文方法对不同类型灰度级图像的分割效果及运行速度均有明显优势,是实际系统中可选择的一种快速有效的图像分割方法。     

结合全卷积神经网络的室内场景分割

目的 视觉假体通过向盲人体内植入电极刺激视神经产生光幻视,盲人所能感受到的物体只是大体轮廓,对物体识别率低,针对视觉假体中室内应用场景的特点,提出一种快速卷积神经网络图像分割方法对室内场景图像进行分割,通过图像分割技术把物品大致的位置和轮廓显示出来,辅助盲人识别。方法 构建了用于室内场景图像分割的FFCN（fast fully convolutional networks）网络,通过层间融合的方法,避免连续卷积对图像特征信息的损失。为了验证网络的有效性,创建了室内环境中的基本生活物品数据集（以下简称XAUT数据集）,在原图上通过灰度标记每个物品的类别,然后附加一张颜色表把灰度图映射成伪彩色图作为语义标签。采用XAUT数据集在Caffe（convolutional architecture for fast feature embedding）框架下对FFCN网络进行训练,得到适应于盲人视觉假体的室内场景分割模型。同时,为了对比模型的有效性,对传统的多尺度融合方法FCN-8s、FCN-16s、FCN-32s等进行结构微调,并采用该数据集进行训练得到适用于室内场景分割的相应算法模型。结果 各类网络的像素识别精度都达到了85%以上,均交并比（MIU）均达到60%以上,其中FCN-8s at-once网络的均交并比最高,达到70.4%,但其分割速度仅为FFCN的1/5。在其他各类指标相差不大的前提下,FFCN快速分割卷积神经网络上平均分割速度达到40帧/s。结论 本文提出的FFCN卷积神经网络可以有效利用多层卷积提取图像信息,避免亮度、颜色、纹理等底层信息的影响,通过尺度融合技术可以很好地避免图像特征信息在网络卷积和池化中的损失,相比于其他FCN网络具有更快的速度,有利于提高图像预处理的实时性。     

基于链式竞争遗传算法的KSW熵的图像分割

针对最佳熵阈值图像分割算法过程中计算复杂度高的问题,提出了一种基于链式竞争遗传算法的最佳熵阈值确定法(KSW熵法)的图像分割算法.通过将3个邻域的链式竞争引入到常规遗传算法框架下,实现特征选择过程;将改进的遗传算法应用到最佳阈值图像分割算法中,完成对阈值的寻优过程.仿真实验结果与分析表明:算法在分割速度和效果上均优于传统的最佳阈值图像分割算法和单纯的遗传优化最佳阈值图像分割算法.     

串行处理卷积神经网络的海马子区分割

目的 海马体积很小,对比度极低,传统标记融合方法选用手工设计的特征模型,难以提取出适应性好、判别性强的特征。近年来,深度学习方法取得了极大成功,基于深度网络的方法已应用于医学图像分割中,但海马结构复杂,子区较多且体积差别较大,特别是CA2和CA3子区体积极小,常见的深度网络无法准确分割海马子区。为了解决这些问题,提出一种结合多尺度输入和串行处理神经网络的海马子区分割方法。方法 针对海马中体积差距较大的子区,设计两种不同的网络,结合多种尺度图像块信息,为小子区建立类别数量均衡的训练集,避免网络被极端化训练,最后,采用串行标记的方式对海马子区进行分割。结果 在Tail,SUB和PHG子区上的准确率达到了0.865,0.81,0.773,较现有的多图谱子区分割方法有较大提高,并且将体积较小子区CA2,CA3上的准确率分别提高了6%和9%。结论 该算法将基于卷积神经网络的分类方法引入到标记融合阶段,根据海马子区特殊的灰度及结构特点,设计两种针对性网络,实验证明,该算法能提取出适应性好、判别性强的特征,提高了分割准确率。     

结合深度学习和支持向量机的海马子区图像分割

目的 由于海马子区体积很小且结构复杂,传统的分割方法无法达到理想的分割效果,为此提出一种基于卷积神经网络和支持向量机的海马子区分割方法。方法 该方法构建一种新模型,将卷积神经网络和支持向量机结合起来,使用支持向量机分类器替换卷积神经网络的输出层,通过训练深层网络自动提取图像块特征,利用所提取的图像特征训练支持向量机实现图像的像素级分类。结果 实验选取美国旧金山CIND中心的32位实验者的脑部磁共振图像（MRI）进行海马子区分割测试,在定性和定量方面分别对比了本文方法与支持向量机（SVM）、卷积神经网络（CNN）和基于稀疏表示与字典学习方法的分割结果。所提方法对海马子区CA1、CA2、DG、CA3、Head、Tail、SUB、ERC和PHG的分割准确率分别为0.969、0.733、0.967、0.837、0.981、0.920、0.972、0.968和0.976。本文方法优于现有的基于稀疏表示与字典学习、支持向量机和卷积神经网络的方法,各海马子区分割准确率均有较大提升,对较大子区如Head,准确率较现有最优方法提升10.2%,对较小子区如CA2、CA3,准确率分别有36.2%和52.7%的大幅提升。结论 本文方法有效提升了海马子区的分割准确率,可用于大脑核磁共振图像中海马及其子区的准确分割,为诸多神经退行性疾病的临床诊断与治疗提供依据。     

融合分割先验的多图像目标语义分割

目的 在序列图像或多视角图像的目标分割中，传统的协同分割算法对复杂的多图像分割鲁棒性不强，而现有的深度学习算法在前景和背景存在较大歧义时容易导致目标分割错误和分割不一致。为此，提出一种基于深度特征的融合分割先验的多图像分割算法。方法 首先，为了使模型更好地学习复杂场景下多视角图像的细节特征，通过融合浅层网络高分辨率的细节特征来改进PSPNet-50网络模型，减小随着网络的加深导致空间信息的丢失对分割边缘细节的影响。然后通过交互分割算法获取一至两幅图像的分割先验，将少量分割先验融合到新的模型中，通过网络的再学习来解决前景/背景的分割歧义以及多图像的分割一致性。最后通过构建全连接条件随机场模型，将深度卷积神经网络的识别能力和全连接条件随机场优化的定位精度耦合在一起，更好地处理边界定位问题。结果 本文采用公共数据集的多图像集进行了分割测试。实验结果表明本文算法不但可以更好地分割出经过大量数据预训练过的目标类，而且对于没有预训练过的目标类，也能有效避免歧义的区域分割。本文算法不论是对前景与背景区别明显的较简单图像集，还是对前景与背景颜色相似的较复杂图像集，平均像素准确度（PA）和交并比（IOU）均大于95%。结论 本文算法对各种场景的多图像分割都具有较强的鲁棒性，同时通过融入少量先验，使模型更有效地区分目标与背景，获得了分割目标的一致性。     

多通道融合可分离卷积神经网络下的脑部磁共振图像分割

目的 卷积神经网络方法可以提取到图像的深层次信息特征,在脑部磁共振图像（MRI）分割领域展现出优秀的性能。但大部分深度学习方法都存在参数量大,边缘分割不准确的问题。为克服上述问题,本文提出一种多通道融合可分离卷积神经网络（MFSCNN）模型分割脑图像。方法 首先,在训练集中增加待分割脑结构及其边缘像素点的权重,强制使网络学习如何分割脑结构边缘部分,从而提升整体脑结构分割的准确率。其次,引入残差单元,以避免梯度弥散,同时使用深度可分离卷积代替原始的卷积层,在不改变网络每个阶段特征通道数的情况下,减少了网络训练的参数数量和训练时间,降低了训练成本。最后,将不同阶段的特征信息合并在一起,进行通道混洗,得到同时包含深浅层次信息的增强信息特征,加入到网络中进行训练,每个阶段的输入特征信息更丰富,学习特征的速度和收敛速度更快,显著地提升了网络的分割性能。结果 在IBSR（internet brain segmentation repositor）数据集上的分割结果表明,MFSCNN的分割性能相对于普通卷积神经网络（CNN）方法要明显提高,且在边缘复杂的部分,分割效果更理想,Dice和IOU（intersection over union）值分别提升了0.9% 6.6%,1.3% 9.7%。在边缘平滑的部分,MFSCNN方法比引入残差块的神经网络模型（ResCNN）和引入局部全连接模块的神经网络模型（DenseCNN）分割效果要好,而且MFSCNN的参数量仅为ResCNN的50%,DenseCNN的28%,在提升分割性能的同时,也降低了运算复杂度,缩短了训练时间。同时,在IBSR、Hammer67n20、LPBA40这3个数据集上,MFSCNN的分割性能比现有的其他主流方法更出色。结论 本文提出的MFSCNN方法,加强了网络特征的信息量,提升了网络模型的训练速度,在不同数据集上均获得更精确的MR脑部图像分割结果。     

多模态深度神经网络的固废对象分割

目的 对城市发展过程中产生的建筑固废进行处理,并将之转换为资源和能源,是极佳的保护环境的经济发展模式。然而人工分拣处理存在效率低、污染严重、对人身危害大等问题。目前工业界在探索一种有效的基于机械臂自动抓取的建筑固废自动分拣系统,其中图像分割技术是非常必要的一个环节。但是工业现场的环境因素造成固废对象的颜色严重退化,会影响最终的固废对象分割。本文针对建筑固废图像分割难度大的现状,提出一种基于多模态深度神经网络的方法来解决固废对象分割问题。方法 首先, 在颜色退化严重的场景下,把RGB图像和深度图一起作为深度卷积神经网络的输入,利用深度卷积神经网络进行高维特征学习,通过softmax分类器获得每个像素的标签分配概率。其次,基于新的能量函数建立全连接条件随机场,通过最小化能量函数寻找全局最优解来分割图像,从而为每一类固废对象产生一个独立的分割块。最后,利用局部轮廓信息计算深度梯度,实现同一类别的不同实例的固废对象精确分割。结果 在固废图像测试集上,该方法取得了90.02%均像素精度和89.03%均交并比（MIOU）。此外,与目前一些优秀的语义分割算法相比,也表现出了优越性。结论 本文方法能够对每一个固废对象同时进行有效的分割和分类,为建筑垃圾自动分拣系统提供准确的固废对象轮廓和类别信息,从而方便实现机械臂的自动抓取。     

自适应梯度重建分水岭分割算法

目的 针对灰度分水岭算法存在过分割且难以直接应用到彩色图像分割的问题,提出一种自适应梯度重建分水岭分割算法。方法 该方法首先利用PCA技术对彩色图像降维,然后计算降维后的梯度图像,并采用自适应重建算法修正梯度图像,最后对优化后的梯度图像应用分水岭变换实现对彩色图像的正确分割。结果 采用融合了颜色距离、均方差和区域信息的性能指标和分割区域数对分割效果进行评估,对不同类型的彩色图像进行分割实验,本文算法在正确分割图像的同时获得了较高的性能指标。与现有的分水岭分割算法相比,提出的方法能有效剔除图像中的伪极小值,减少图像中的极小值数目,从而解决了过分割问题,有效提升了分割效果。结论 本文算法具有较好的适用性和较高的鲁棒性。     

结合语义分割与模型匹配的室内场景重建方法

目的 由于室内点云场景中物体的密集性、复杂性以及多遮挡等带来的数据不完整和多噪声问题,极大地限制了室内点云场景的重建工作,无法保证场景重建的准确度。为了更好地从无序点云中恢复出完整的场景,提出了一种基于语义分割的室内场景重建方法。方法 通过体素滤波对原始数据进行下采样,计算场景三维尺度不变特征变换（3D scale-invariant feature transform,3D SIFT）特征点,融合下采样结果与场景特征点从而获得优化的场景下采样结果;利用随机抽样一致算法（random sample consensus,RANSAC）对融合采样后的场景提取平面特征,将该特征输入PointNet网络中进行训练,确保共面的点具有相同的局部特征,从而得到每个点在数据集中各个类别的置信度,在此基础上,提出了一种基于投影的区域生长优化方法,聚合语义分割结果中同一物体的点,获得更精细的分割结果;将场景物体的分割结果划分为内环境元素或外环境元素,分别采用模型匹配的方法、平面拟合的方法从而实现场景的重建。结果 在S3DIS （Stanford large-scale 3D indoor space dataset）数据集上进行实验,本文融合采样算法对后续方法的效率和效果有着不同程度的提高,采样后平面提取算法的运行时间仅为采样前的15%;而语义分割方法在全局准确率（overall accuracy,OA）和平均交并比（mean intersection over union,mIoU）两个方面比PointNet网络分别提高了2.3%和4.2%。结论 本文方法能够在保留关键点的同时提高计算效率,在分割准确率方面也有着明显提升,同时可以得到高质量的重建结果。     

基于深度学习的图像语义分割技术研究综述

图像语义分割技术是智能系统理解自然场景的关键技术之一,作为视觉智能领域的重要研究方向,该技术在移动机器人、无人机、智能驾驶以及智慧安防等领域具有广阔的应用前景。对于图像语义分割技术的研究发展历程进行了详细评述,包括从传统的语义分割方法到当前主流的基于深度学习的图像语义分割理论及其方法,重点阐述了基于深度学习的图像语义分割技术的框架及其实现过程,进而对当前具有代表性的典型算法的效果以及优缺点进行了分析,然后归纳了算法评价指标,最后对该技术的发展进行了总结与展望。该研究对于从事图像语义分割技术的研究人员和工程技术人员均具有很好的参考意义。     

Land-use scene classification based on a CNN using a constrained extreme learning machine

ABSTRACT

Classifying land-use scenes from high-resolution remote-sensing imagery with high quality and accuracy is of paramount interest for science and land management applications. In this article, we proposed a new model for land-use scene classification by integrating the recent success of convolutional neural network (CNN) and constrained extreme learning machine (CELM). In the model, the fully connected layers of a pretrained CNN have been removed. Then, CNN works as a deep and robust convolutional feature extractor. After normalization, deep convolutional features are fed to the CELM classifier. To analyse the performance, the proposed method has been evaluated on two challenging high-resolution data sets: (1) the aerial image data set consisting of 30 different aerial scene categories with sub-metre resolution and (2) a Sydney data set that is a large high spatial resolution satellite image. Experimental results show that the CNN-CELM model improves the generalization ability and reduces the training time compared to state-of-the-art methods.     

自适应边距损失用于车辆外观分割方法

车辆外观分割是计算机视觉在交通场景中的一个重要应用。得益于近几年深度学习技术的火热兴起，以深度卷积神经网络为主的分割方法在诸多领域内取得了突破进展。针对车辆外观分割中的样本不均衡问题，提出一种新的自适应损失函数，替换了原始的softmax损失，并且训练一个新的卷积神经网络模型，实现了端到端的像素级语义分割。同时构建了一个车辆外观分割数据集，用以模型的训练和测试。实验结果表明，该网络对比同类算法拥有较高的分割准确率，对于面积较小的类别有更好的效果。     

基于超像素联接权模型的视频分割算法

视频图像分割是图像处理领域的一个热门问题。在传统分割算法的基础上,提出了一种新的无监督的视频分割算法。该算法采用超像素对运动前景进行表示,定义联接权概念来描述超像素属于同一物体的可能性,并利用当前帧的静态特征与前后帧的关联特征进行联接权计算。为优化超像素间匹配关系的搜索,算法引入了超像素颜色特征匹配约束与运动关联性匹配约束的机制。分别在简单场景和复杂场景进行了视频分割实验,简单场景下,算法保证了较高的召回率与稳定的准确率;复杂场景下,算法完成了人群中单个人的切分。大量实验结果表明,该算法能够实现视频图像的分割,并且能有效解决过分割问题。     

带尺寸约束的弱监督眼底图像视盘分割

目的 医学图像的像素级标注工作需要耗费大量的人力。针对这一问题，本文以医学图像中典型的眼底图像视盘分割为例，提出了一种带尺寸约束的弱监督眼底图像视盘分割算法。方法 对传统卷积神经网络框架进行改进，根据视盘的结构特点设计新的卷积融合层，能够更好地提升分割性能。为了进一步提高视盘分割精度，本文对卷积神经网络的输出进行了尺寸约束，同时用一种新的损失函数对尺寸约束进行优化，所提的损失公式可以用标准随机梯度下降方法来优化。结果 在RIM-ONE视盘数据集上展开实验，并与经典的全监督视盘分割方法进行比较。实验结果表明，本文算法在只使用图像级标签的情况下，平均准确识别率（mAcc）、平均精度（mPre）和平均交并比（mIoU）分别能达到0.852、0.831、0.827。结论 本文算法不需要专家进行像素级标注就能够实现视盘的准确分割，只使用图像级标注就能够得到像素级标注的分割精度。缓解了医学图像中像素级标注难度大的问题。     

公路视觉导航中道路图像的阈值分割

在公路视觉导航中,分割道路图像的分道线与路面是至关重要。在采用传统最优阈值分割算法时,因道路图像远处与近处的对比度存在差异,易导致不完全分割。为了解决上述问题,针对道路图像的特性提出了逐行最优阈值分割思想。该文通过对大量视频图像的道路与分道线特点进行统计,并结合公路视觉导航中图像的序列性,对逐行最优阈值分割进行了改进以提高实时性,提出了一种新的基于视频流的多阈值分割算法。通过对三种方法对比试验,表明该方法有很好的实时性、有效性和自适应性。