残差网络分层融合的高光谱地物分类

高光谱图像具有较高的空间分辨率,蕴含着丰富的空间光谱信息,近年来被广泛用于城市地物分类中。在高光谱图像分类过程中,空间光谱特征的提取直接影响着分类精度;传统的高光谱图像特征提取方法只利用了4或8邻域的像素进行简单卷积处理,因而丢失了大量的复杂、有效信息;卷积神经网络（CNN）虽然可以自动提取空间光谱特征,在保留图像空间信息的同时,简化网络模型,但是,随着网络深度增加,网络分类产生退化现象,而且网络间缺乏相关信息的互补性,从而影响分类精度。该工作引入CNN自动提取空间光谱特征,并且针对CNN深度增加所导致的退化问题,设计了面向地物分类的高光谱特征融合残差网络。首先,为了降低高光谱图像的光谱冗余度,利用PCA提取主要光谱波段;然后,为了逐级提取光谱图像的空间光谱特征,定义了卷积核为16,32,64的低、中、高3层残差网络模块,并利用64个1×1的卷积核对3层特征输出进行卷积,完成维度匹配与特征图融合;接着,对融合后的特征图进行全局平均池化(GAP)生成用于分类的特征向量;最后,引入具有可调节机制的Large-Margin Softmax损失函数,监督模型完成训练过程,实现高光谱图像分类。实验采用Indian Pines,University of Pavia和Salinas地区的高光谱图像来验证方法有效性,设置批次训练的样本集为100,网络训练的初始学习率为0.1,当损失函数稳定后学习率降低为0.001,动量为0.9,权重延迟为0.000 1,最大训练迭代次数为2×104,当3个数据集的样本块像素分别设置为25×25,23×23,27×27,网络深度分别为28,32和28时,3个数据集的分类准确率最高,其平均总体准确率（OA）为98.75%、平均准确率（AA）的评价值为98.1%,平均Kappa系数为0.98。实验结果表明,基于残差网络的分类方法能够自动学习更丰富的空间光谱特征,残差网络层数的增加和不同网络层融合可以提高高光谱分类精度;Large-Margin Softmax实现了类内紧凑和类间分离,可以进一步提高高光谱图像分类精度。     

基于扩张卷积注意力神经网络的高光谱图像分类

为了解决训练样本有限情况下高光谱图像分类精度低的问题,提出了一种结合扩张卷积与注意力机制的三维-二维串联卷积神经网络模型。首先,该模型以串联的三维-二维卷积神经网络作为基础结构,利用三维卷积同时提取高光谱图像的空谱特征,并采用二维卷积进一步提取高级空间语义信息;然后,通过引入扩张卷积增大卷积核感受野,构建了多尺度特征提取结构,实现了多尺度特征的融合;最后,利用注意力机制使网络关注重要的空谱特征,并抑制噪声和冗余信息。在两个常用数据集上对本文算法和四种基于深度学习的分类算法进行对比实验,结果表明,所提模型取得了最准确的分类结果,有效提高了训练样本有限条件下的分类精度。     

基于深度残差网络的高光谱遥感数据霾监测

霾监测是环境治理中的关键技术之一。目前地面观测站进行霾监测的耗费较大,基于多光谱遥感的霾识别精度较低。将深度学习用于高光谱遥感数据的霾监测,提出一种基于深度残差网络的高光谱霾监测方法,利用深度网络提取霾光谱曲线特征,再使用残差学习等方法降低网络训练难度,得到了霾监测模型。苏州地区Hyperion高光谱数据集上的实验表明,与其他遥感霾监测方法相比,所提方法的霾识别精度更高。     

基于深度残差网络的恒星光谱类别预测

近年来,随着各大光谱巡天项目的陆续实施,观测得到的天体光谱数据急剧增长。大型光谱巡天项目对光谱的自动分类和分析提出了更高的要求。本文将分类问题转化为回归问题,提出一种基于深度残差网络的光谱类别预测方法,对恒星光谱进行光谱次型预测。网络主要包括25个卷积层,1个最大池化层,1个平均池化层,全连接层以及12个残差结构。最大池化层用来筛选特征,卷积层提取特征,平均池化层用于减少模型参数,提高效率。残差结构可以防止网络退化,加深网络来提取高维抽象特征以及提高训练速度。考虑到数据有非零几率存在错误标签以及损坏数据,采用Log-Cosh作为损失函数来降低坏样本带来的负面影响。实验数据使用的是从LAMOST DR5中随机抽取的80 000条光谱,由于光谱质量等原因,每个光谱型的光谱数量不一。经过剔除坏值,流量归一化后,按7∶1∶2分为训练集、验证集和测试集。实验包括两个部分,第一个部分是使用数据集训练网络在光谱次型上进行类别预测,使用最大绝对误差、平均绝对误差以及标准差来比较不同形状卷积核的性能。将预测值作为横坐标,标签作为纵坐标,对测试集所有样本点使用二阶非线性拟合,得到了一条与y=x重合的直线。证明模型可以很好的预测光谱次型。第二部分是对模型进行内部分析,使用类别激活映射的方法分别研究了模型预测A,F,G和K四种类型光谱时所关注的主要特征,赋予了模型可解释性。在文中数据集上,该方法对91.4%的光谱预测误差在0.5个光谱次型以内,预测的平均绝对误差为0.3个光谱次型。并与非参数回归、Adaboost回归树、K-Means三种方法进行同数据集比较,结果表明文中提出的方法可以很好地预测光谱次型并且速度更快,准确率更高。     

面向嵌入式平台的轻量级目标检测网络

基于深度可分离卷积,提出了一种适用于嵌入式平台的小型目标检测网络MTYOLO(MobileNet Tiny-Yolo),它将待检测的图片平均分割成多个单元格,并采用深度可分离卷积代替传统卷积,减少了参数量和计算量。采用点卷积和特征图融合的方法来提高检测精度。实验结果表明,所提MTYOLO网络模型大小为41 MB,约为Tiny-Yolo模型的67%,其在PASCAL VOC 2007数据集上的检测准确率可达到57.25%,检测效果优于Tiny-Yolo模型,更适合应用于嵌入式系统。     

三维卷积神经网络模型联合条件随机场优化的高光谱遥感影像分类

高光谱遥感影像分类通常基于地物光谱特征,但影像中同时还存在丰富的空间信息。空间信息的有效利用能显著提高图像分类效果。因其具有的特殊结构,卷积神经网络(CNN)已成功地应用在图像分类领域,对二维图像分类具有很好的效果。如何通过深度学习并结合空间光谱信息来提高分类性能是一个关键问题。结合高光谱影像中的空间特征与光谱信息,提出一种适合于高光谱像素级分类的深度学习三维卷积神经网络模型(3D-CNN),并在初始分类的基础上利用多标签条件随机场进行优化。选取三个通用公开高光谱数据集(Indian Pines数据集、Pavia University数据集、Pavia Center数据集)进行测试,结果表明分类优化后精度得到很大提升,总体精度可达98%,Kappa系数达到97.2%。     

融合全局和局部深度特征的高分辨率遥感影像场景分类方法

提出了一种融合全局和局部深度特征(GLDFB)的视觉词袋模型。通过视觉词袋模型将深度卷积神经网络提取的多个层次的高层特征进行重组编码并融合,利用支持向量机对融合特征进行分类。充分利用包含场景局部细节信息的卷积层特征和包含场景全局信息的全连接层特征,完成对遥感影像场景的高效表达。通过对两个不同规模的遥感图像场景数据集的实验研究表明,相比现有方法,所提方法在高层特征表达能力和分类精度方面具有显著优势。     

基于密集卷积和域自适应的高光谱图像分类

针对常规的高光谱图像分类算法不能很好地解决不同图像中的频谱偏移的问题,提出了一种基于密集卷积和域自适应的高光谱图像分类算法,首先在源域中使用密集卷积进行深度特征学习,然后应用域自适应技术转移到目标域。目前的域自适应高光谱图像分类框架中常用卷积神经网络进行特征学习,但是当深度增加时会出现因梯度消失而导致分类精度下降的情况,因此本文通过引入密集卷积进行深度特征学习,提高域自适应高光谱图像分类的精度。在Indiana高光谱数据集和Pavia高光谱数据集上验证所提算法的有效性,整体分类精度分别为61.06%和89.63%,与其他域自适应高光谱图像分类方法对比,所提方法具有更好的分类精度。     

基于3D Octave卷积和Bi-RNN注意力网络的高光谱图像分类方法

传统卷积神经网络模型在高光谱图像分类生成特征图的空间维度中存在大量的空间特征信息冗余,而且把高光谱图像单个像元上的光谱带数据看作是无序高维向量进行数据处理,并不符合光谱数据的特性,极大影响了模型的运行效率和分类性能。针对该问题,提出一种三维Octave卷积和双向循环神经网络注意力网络相结合的高光谱图像分类方法。首先,利用三维Octave卷积获取高光谱图像的空间特征的同时减少空间特征冗余信息。其次,利用Bi-RNN光谱注意力网络将光谱带数据视为有序序列以获取高光谱图像的光谱信息。然后,通过全连接层将空间和光谱特征图连接起来实现特征融合。最后,经过softmax输出分类结果。实验结果表明,所提方法在Pavia University和Botswana两个数据集上的分类精度分别达到了99.97%和99.79%,与其他主流算法相比,该方法可以充分利用空间和光谱特征信息,具有更佳的分类性能。     

基于三维卷积神经网络与超像素分割的高光谱分类

高光谱遥感数据具有详细的地物光谱与空间信息.针对高光谱数据空间信息在以往分类方法中未得到充分利用而导致鲁棒性与分类精度较低的问题,提出了一种改进的超像素分割与三维卷积神经网络分类方法.该方法首先通过超像素分割与模糊聚类对高光谱遥感数据进行区域分割,再使用三维卷积神经网络对得到的区域分割结果与高光谱数据形成的空-谱联合数据进行训练与分类.通过对空间区域进行划分融合,所提方法提升空间信息在分类中的作用,减小"同物异谱"现象对分类的影响,同时引入三维卷积神经网络对空-谱联合数据进行训练与分类,提升了高光谱分类精度.所提方法在Pavia University和Salinas数据集的总体准确率为97.53％和98.48％,与各对照实验相比,具有更为良好的分类效果,验证了所提方法的有效性.     

基于生成对抗式神经网络的红外目标仿真方法

提出了一种应用于红外目标仿真的模型。利用训练后的条件深度卷积生成对抗网络,只需输入随机噪声和类别标签,便能够自动产生预期类别的红外目标仿真图像。在手写数字数据集(MNIST)和红外数据集上分别训练模型参数,再进行自动生成实验,均可以产生高真实度的样本图像;将判别网络提取的特征用于分类实验,并将所提方法合成的图像用于数据增强,以提升分类器性能。研究结果表明,所提方法能够有效模仿红外辐射特征。     

基于卷积神经网络的恒星光谱自动分类方法

恒星光谱自动分类是研究恒星光谱的基础内容,快速、准确自动识别、分类恒星光谱可提高搜寻特殊天体速度,对天文学研究有重大意义。目前我国大型巡天项目LAMOST每年发布数百万条光谱数据,对海量恒星光谱进行快速、准确自动识别与分类研究已成为天文学大数据分析与处理领域的研究热点之一。针对恒星光谱自动分类问题,提出一种基于卷积神经网络(CNN)的K和F型恒星光谱分类方法,并与支持向量机(SVM)、误差反向传播算法(BP)对比,采用交叉验证方法验证分类器性能。与传统方法相比CNN具有权值共享,减少模型学习参数;可直接对训练数据自动进行特征提取等优点。实验采用Tensorflow深度学习框架,Python3.5编程环境。K和F恒星光谱数据集采用国家天文台提供的LAMOST DR3数据。截取每条光谱波长范围为3 500~7 500 部分,对光谱均匀采样生成数据集样本,采用min-max归一化方法对数据集样本进行归一化处理。CNN结构包括：输入层,卷积层C1,池化层S1,卷积层C2,池化层S2,卷积层C3,池化层S3,全连接层,输出层。输入层为一批K和F型恒星光谱相同的3 700个波长点处流量值。C1层设有10个大小为1×3步长为1的卷积核。S1层采用最大池化方法,采样窗口大小为1×2,无重叠采样,生成10张特征图,与C1层特征图数量相同,大小为C1层特征图的二分之一。C2层设有20个大小为1×2步长为1的卷积核,输出20张特征图。S2层对C2层20张特征图下采样输出20张特征图。C3层设有30个大小为1×3步长为1的卷积核,输出30张特征图。S3层对C3层30张特征图下采样输出30张特征图。全连接层神经元个数设置为50,每个神经元都与S3层的所有神经元连接。输出层神经元个数设置为2,输出分类结果。卷积层激活函数采用ReLU函数,输出层激活函数采用softmax函数。对比算法SVM类型为C-SVC,核函数采用径向基函数,BP算法设有3个隐藏层,每个隐藏层设有20,40和20个神经元。数据集分为训练数据和测试数据,将训练数据的40%,60%,80%和100%作为5个训练集,测试数据作为测试集。分别将5个训练集放入模型中训练,共迭代8 000次,每次训练好的模型用测试集进行验证。对比实验采用100%的训练数据作为训练集,测试数据作为测试集。采用精确率、召回率、F-score、准确率四个评价指标评价模型性能,对实验结果进行详细分析。分析结果表明CNN算法可对K和F型恒星光谱快速自动分类和筛选,训练集数据量越大,模型泛化能力越强,分类准确率越高。对比实验结果表明采用CNN算法对K和F型恒星光谱自动分类较传统机器学习SVM和BP算法自动分类准确率更高。     

基于卷积神经网络与光谱特征的夏威夷果品质鉴定研究

夏威夷果含油量高,在开缝之后容易发生变质,现有关于夏威夷果品质鉴定的方法多为传统的破坏性检验,很难满足无损检测的需求。卷积神经网络(CNN)作为应用最广泛的深度学习网络模型之一,具有比浅层学习方法更强的特征提取与模型表达能力,在光谱数据方面的应用拥有很大潜力。基于夏威夷果在可见-近红外的光谱特征分析,研究用于提取夏威夷果光谱特征的卷积神经网络模型,并提出一种高效无损鉴定夏威夷果品质的方法。首先以三种不同品质的夏威夷果(好籽、哈籽及霉籽)为研究对象,分析样本在500~2 100 nm的光谱信息;在光谱数据预处理中引入白化处理方法,用以增强数据的相关性差异;然后在模型训练过程中,将样本随机分为训练集和预测集,探讨不同CNN结构、卷积层数、卷积核大小及个数、池化层类型、全连接层神经元个数以及激活函数对分类结果的影响,并采用激活函数ReLU和Dropout方法,预防样本数据过少引起的过拟合现象;最后通过分析模型分类准确率和计算效率,确定了一个6层结构的CNN模型： 输入层-卷积层-池化层-全连接层(200神经元)-全连接层(100神经元)-输出层。实验结果表明： 上述网络模型对校正集和预测集的分类准确率均达到100％。因此,改进后的卷积神经网络模型可充分学习夏威夷果的光谱特征并有效分类,将深度学习理论与光谱分析相结合的方法能够实现对夏威夷果品质的准确鉴定,同时为夏威夷果等坚果类食品的高效、无损、实时在线检测提供了新思路。     

深度卷积网络的多品种多厂商药品近红外光谱分类

近红外光谱（NIR）分析具有分析高效、样品无损、环境无污染以及可现场检测等优点,特别适合药品的快速建模分析。但NIR存在吸收强度弱以及谱带重叠等缺点,需要建立稳健可靠的化学计量学模型对其进行分析。深度卷积神经网络是深度学习方法中一个重要分支,它通过逐层抽取数据特征并进行组合、转换,形成更高层的语义特征,具有极强的建模能力,广泛应用于计算机视觉、语音识别等领域,而在药品NIR分析方面尚未见报道。基于深度卷积网络模型,对药品NIR多分类建模进行研究。针对药品NIR数据的特点,设计若干个面向多品种、多厂商药品NIR分类的一维深度卷积网络模型。模型中卷积层和池化层交叠排列用于逐层抽取NIR数据特征,输出层连接softmax分类器,对药品NIR数据进行分类概率预测。在输出层之前采用全局最大池化层,将特征图进行整体池化,形成一个特征点,用于解决全连接层存在的限制输入维度大小,参数过多的问题。同时,在网络模型中引入批处理操作和dropout机制,以防止梯度消失和减小网络过拟合的风险。在网络模型的设计过程中,通过设计不同的卷积网络层数以及不同的卷积核尺寸大小,分析其对建模效果的影响,同时分析五种经典数据预处理方法对NIR分析的影响。以我国7个厂商生产的头孢克肟片和11个厂商生产的苯妥英钠片样本NIR为实验对象, 建立药品的多品种、多厂商分类模型,该模型在二分类、多分类实验中取得了良好的分类效果。在十八分类实验中,当训练集与测试集比例为7∶3时,分类准确率为99.37±0.45,比SVM, BP, AE和ELM算法取得更优的分类性能。同时,深度卷积神经网络模型推理速度较快,优于SVM和ELM算法,但训练速度慢于二者。大量实验结果表明,深度卷积神经网络可对多品种、多厂商药品NIR数据准确、可靠地判别分类,且模型具有良好的鲁棒性和可扩展性。该方法也可推广到烟草、石化等其他领域的NIR数据分类应用中。     

基于深度体素卷积神经网络的三维模型识别分类

提出一种基于深度体素卷积神经网络的三维(3D)模型识别分类算法,该算法使用体素化技术将3D多边形网格模型转化为体素矩阵,并通过深度体素卷积神经网络提取该矩阵的深层特征,以增强特征的表达能力和差异性。在ModelNet40数据集上的实验结果表明:所提算法对3D网格模型识别分类的准确率能够达到87%左右。所构建的深度体素卷积神经网络能够有效地增强3D模型的特征提取和表达能力,提高对大规模复杂3D网格模型分类识别的准确率,所提方法优于当前的主流方法。     

基于深度学习的流场时程特征提取模型

特征识别是流体力学的重要研究方向,然而在中高雷诺数情况下物体的尾流流场复杂,难以通过传统方法实现特征的提取与识别.深度学习理论与技术的不断发展为复杂流场特征的识别提供了新方法.基于流场时程数据的深度学习模型,本文研究了4种模型对尾流场特征提取与识别的精度,得到了针对流场时程特征提取的高精度新方法.结果表明:所提出的模型能够识别尾流物理时程的不同特征,并通过流场时程实现了目标的外形识别,验证了方法的可行性;同时结果表明基于卷积运算的深度学习模型精度高,适用于流场时程数据的特征分析;深度学习网络结构更深、层间结构复杂的残差卷积网络识别精度最高,是尾流时程分析的高精度算法.本文所提方法从流场物理量时程的角度对流场特征进行了提取与识别,证明了深度学习方法具有较高的识别精度,是研究流场特征的重要途径.     

一种基于卷积神经网络的恒星光谱快速分类法

恒星光谱数据的分类是天体光谱自动识别的最基本任务之一,光谱分类的研究能够为恒星的演化提供线索。随着科技的发展,天文数据也向大数据时代迈进,需要处理的恒星光谱数量越来越多,如何对其进行自动而精准地分类成为了天文学家要解决的难题之一。当前恒星光谱自动分类问题的解决方法相对较少,为此本文使用了一种基于卷积神经网络的方法对恒星光谱MK系统进行分类。该网络由数据输入层、四个卷积层、四个池化层、全连接层、输出层构成,与传统网络相比具有局部感知、参数共享等优点实验。在Python3.5的环境下编程,利用Tensorflow构建了一个简单高效的具有四个卷积层的卷积神经网络,并将Dropout作用于全连接层之后以防止过度拟合。Dropout的基本思想：当网络模型进行训练时,把一些神经网络节点按一定的比例丢弃,使其暂时不发挥作用。Dropout可以理解成是一种十分高效的神经网络模型平均方法,由于它不依赖于某些局部特征所以能够让网络模型更加鲁棒。实验中使用的一维恒星光谱图是取自LAMOST DR3数据库,首先进行预处理截取光谱3 600~7 300 Å的部分,均匀采样后使用min-max标准化法对其进行初始化。实验包括两部分：第一部分为依据恒星光谱MK系统对光谱进行分类,每一类的训练样本包含1 000条光谱数据,测试样本为400条光谱数据,首先通过训练样本对CNN网络进行训练,进行3 000次的迭代,用训练后的网络将测试样本进行分类以验证网络的准确性;第二部分为相邻两类的恒星光谱的分类,其中O型星数据集样本为250条光谱,其余类别恒星样本数据集均为4 000条光谱,将数据5等分,每次选取当中的一份当作测试集,其余部分当作训练集,采用5折交叉验证法求得模型准确率,用BP神经网络进行对比实验。选择对网络模型进行评估的指标包括精确率P、召回率R、F-score、准确率A。实验结果显示CNN在对六类恒星光谱进行分类时其准确率都在95%以上,在对相邻类别的恒星进行分类时,由于O型星样本量较少,所以得到的分类结果不太理想,对其余类别的恒星分类准确率都高于98%,以上结果都证明了CNN算法能够很好地解决恒星光谱的分类问题。     

基于卷积神经网络和高光谱成像技术的多宝鱼新鲜度鉴别

鱼类产品新鲜度鉴别一直是重要的研究课题,相较于目前常规鱼类品质检测方法存在的成本高、检测时间长等问题,高光谱成像技术(HSI)因其无损、快速等优势得到了学者的广泛研究。卷积神经网络是深度学习中应用较为广泛的模型,表达能力强,模型效率高。因此,使用卷积神经网络(CNN)结合高光谱成像技术建立多宝鱼新鲜度鉴别模型。采集160个多宝鱼样本感兴趣区域(ROI)光谱,并根据样本不同冻融次数和冷冻时间分为5类新鲜度。以VGG11网络为基础,针对光谱数据特点对网络结构进行调整,减少全连接层数量,降低模型的复杂度,分别对比不同卷积核个数、激活函数对分类性能造成的影响,确定最佳CNN网络结构。由于高光谱数据量大同时存在的冗余信息较多,分别采用无信息变量消除算法(UVE)和随机青蛙算法(RF)对高光谱数据进行波长筛选,将波长筛选后的高光谱数据分别输入卷积神经网络(CNN)、最小二乘支持向量机(LS-SVM)、 K最近邻算法(KNN)建立模型。采用无信息变量消除(UVE)提取的165个特征波长建立的UVE-CNN模型鉴别效果最佳,分类模型在测试集上的精度达到了100%。结果表明,利用卷积神经网络与高光谱成像...     

基于多分支CNN的高光谱与全色影像融合处理

高光谱与全色影像融合旨在通过融合高空间分辨率的全色影像与低空间分辨率的高光谱影像来获得高空间分辨率的高光谱影像。基于深度卷积神经网络(CNN),提出了一种遥感影像融合方法,利用两个独立的分支网络逐级从高光谱和全色影像中提取光谱和空间特征。该融合网络由两个分支网络和一个主线网络组成,利用两个分支网络分别从高光谱与全色影像中提取空谱特征,主线网络基于分支网络提取的特征,重建得到最终融合的高空间分辨率的高光谱影像。在CAVE和Pavia Center数据集上分别进行了实验验证,通过对比可以发现,所提出的融合算法在空间细节和光谱保真度上较当前主流算法均表现出更优异的性能。     

基于图像检索的大豆食心虫虫害高光谱检测

为减轻虫害对大豆的影响,首先使用相应的高光谱仪器进行样本采集,样本分为4类：包括带有微小虫卵的,带有幼虫的,有啃食痕迹的和完全正常的大豆各20颗;然后提出了一种基于三维图像检索(3D-R-D,3D Resnet18 DCH)的大豆食心虫的高光谱检测方法。该方法从视频检索的应用中得到启发,考虑到视频不同帧之间和高光谱不同层之间存在类比关系,使用了在大规模视频检索数据集下训练而成的分类模型,将它作为预训练3D卷积模型进行训练。和已知的文献方法相同,使用公开的光谱数据集进行正式训练和微调,从而得到能进行特征提取的3D卷积网络,用图像检索来实现间接分类,通过利用样本之间的特征距离,实现在全新类别上的分类。为能适应任务,将模型最后的分类层变成了图像检索常用的hash层,从而得到了代表特征的二进制码。该方法不但完成了对不同情况下大豆种类的检测,还解决了训练时样本不足的问题。为探寻一种好的相似度匹配损失函数,对比了多种较新的方法,最后发现使用融入柯西分布的损失函数,实验效果最佳,最终模型的分类精度达86%±1.00%,和在大豆食心虫检测上最新的小样本方法对比,3D-R-D方法提高了3.5%左右的精度,表明该方法是有效的,它也为结合高光谱检测相关研究提供了一种全新思路。