基于栈式自编码的水体提取方法

为了进一步提高利用遥感图像进行水体提取的准确率和自动化程度,提出一种基于栈式自编码(SAE)深度神经网络的水体提取方法。通过堆叠稀疏自编码器构建深度网络模型,使用逐层贪婪训练法依次训练每层网络,从像素层面无监督学习特征,避免传统神经网络等方法需进行人工特征分析与选取的问题;用学习到的特征结合相应的样本标签有监督训练softmax分类器;利用反向传播(BP)算法微调优化整个模型。采用塔里木河ETM+数据进行实验,基于SAE的水体提取方法准确率达到94.73%,比支持向量机(SVM)和反向传播(BP)神经网络方法分别高出3.28%和4.04%。实验结果表明,所提方法能有效提高水体提取的精度。     

基于气象因素充分挖掘的BiLSTM光伏发电短期功率预测

传统光伏发电功率预测存在因气象因素特征提取不综合不精确而导致预测精度不高的问题. 为了充分挖掘气象因素对光伏出力的影响, 并有效利用深度学习技术在非线性拟合方面的优势, 本文提出了一种基于气象因素充分挖掘的双向长短期记忆(Bi-directional Long Short Term Memory, BiLSTM)网络光伏发电短期功率预测方法. 在对原始数据进行异常值及标准化处理的基础上, 采用K近邻算法(K-Nearest Neighbor, KNN)在外界温度、湿度、压强等诸多气象因素中充分挖掘影响光伏出力的关键因素, 重构多元数据序列, 并在探索输入层时间步长、模型层数及每层维数等超参数的合理设置方案的基础上, 构建BiLSTM网络模型, 实现光伏发电短期功率的高精度预测. 仿真结果表明, 与KNN、深度信念网络(DBN)、BiLSTM、PCA-LSTM等经典方法比较, 所提KNN-BiLSTM方法具有更高的预测精度.     

基于场景模态深度理解网络的单目图像深度理解

基于深度卷积神经网络的图像处理方法得到的单目深度图像质量远高于传统图像处理方法,但该方法对无用特征的训练易产生误差积累,且基于回归求解的连续深度距离预测精度较低,导致图像深度信息提取不精确、目标边缘模糊与图像细节缺失。提出一种应用于单目彩色图像的场景模态深度理解网络。建立以堆叠沙漏为主框架的网络模型,通过反复进行自下而上和自上而下的特征提取过程融合低层次纹理与高级语义特征,在每层网络训练中结合离散的深度标签和真实深度图像降低深度理解难度,插入误差修正子模块和极大似然译码优化子模块以准确提取深度特征。实验结果表明,该网络获取的深度信息更准确,其在NYUv2数据集上绝对相关误差较ACAN网络降低0.72%,在KITTI数据集上均方相关误差较GASDA网络降低41.28%,与DORN等深度网络相比,其预测的深度图像包含更多细节信息且目标轮廓更清晰。     

基于深度学习的鲁棒非线性模型预测控制方法

为降低鲁棒非线性模型预测控制方法中优化问题的实时求解难度,提出一种基于深度学习的近似鲁棒控制器方法。利用复杂的鲁棒非线性模型预测控制算法作为训练数据的生成器,以当前时刻的过程状态作为网络的输入,复杂控制算法计算的最优控制输入作为网络的输出,基于深度神经网络学习复杂的非线性模型预测控制策略。通过一个工业半间歇聚合反应器模型案例验证了所提方法的有效性,深层网络与浅层网络相比具有更好的效果。     

拉普拉斯阶梯网络

阶梯网络不仅是一种基于深度学习的特征提取器，而且能够应用于半监督学习中.深度学习在实现了复杂函数逼近的同时，也缓解了多层神经网络易陷入局部最小化的问题.传统的自编码、玻尔兹曼机等方法易忽略高维数据的低维流形结构信息，使用这些方法往往会获得无意义的特征表示，这些特征不能有效地嵌入到后续的预测或识别任务中.从流形学习的角度出发，提出一种基于阶梯网络的深度表示学习方法，即拉普拉斯阶梯网络LLN （Laplacian ladder network）.拉普拉斯阶梯网络在训练的过程中不仅对每一编码层嵌入噪声并进行重构，而且在各重构层引入图拉普拉斯约束，将流形结构嵌入到多层特征学习中，以提高特征提取的鲁棒性和判别性.在有限的有标签数据情况下，拉普拉斯阶梯网络将监督学习损失和非监督损失融合到了统一的框架进行半监督学习.在标准手写数据数据集MNIST和物体识别数据集CIFAR-10上进行了实验，结果表明，相对于阶梯网络和其他半监督方法，拉普拉斯阶梯网络都得到了更好的分类效果，是一种有效的半监督学习算法.     

基于时空长短时记忆神经网络的地基云图预测算法

针对传统云运动轨迹预测方法存在的预测精度差、空间结构细节信息丢失等问题,提出一种基于时空长短时记忆（ST-LSTM）神经网络的地基云图预测模型。首先使用卷积编码网络提取输入视频流的高维图像特征;然后在特征提取模型中对图像潜在信息进行多分支获取,一部分使用ST-LSTM神经网络提取不同帧之间的时空特征,另一部分将图像序列进行分解,并通过基于门控机制的记忆融合网络来获取分解后图像中的结构细节信息;最后将得到的分支特征进行组合后经过解码网络输出最终的预测视频流。在地基云图、Moving MNIST和Human 3.6M数据集上的实验结果表明,在图像预测准确率、结构细节信息保留效果以及人眼主观感受上,该预测模型均优于对比模型。与基准模型TaylorNet相比,所提模型在Moving MNIST数据集上均方误差指标和平均绝对误差指标分别降低15.7%和11.8%,在地基云图数据集上,其结构相似性指标与峰值信噪比指标分别提升1%和3.2%,且生成的视频流数据更为清晰,能够更准确地描述云层未来的运动状况,从而更可靠地预测光伏电站未来的输出功率。     

基于GA-GRU环境空气污染物预测研究

针对现有的环境空气污染物预测方法存在缺少输入特征相关性分析和时序信息丢失问题,提出一种将遗传算法和门控循环单元神经网络相结合的环境空气污染物PM2.5小时浓度预测模型,充分挖掘了污染物时间序列内在依赖关系,并解决了不相关因子的干扰和输入特征维度灾难的问题。最后基于绵阳市4个空气污染物监测站点的数据集进行仿真实验,与门控循环单元神经网络、深度信念网络预测比较。结果表明,基于GA-GRU的PM2.5小时浓度预测模型在训练时间、预测精度和鲁棒性上优势显著,是一种可行且有效的预测方法。     

基于深度信念网络的医院门诊量预测

有效的医院门诊量预测是现代医院对医疗资源实现智能化管理的重要前提之一。现有的医院门诊量预测方法大多针对的是单一的数据集,缺少对数据的充分挖掘和深入分析。为此,提出一种基于深度信念网络的医院门诊量预测方法,用深度信念网络对医院各科室的门诊量数据进行无监督学习,完成对门诊量数据的特征提取,挖掘各科室门诊量数据间的相互关系,在网络的顶层叠加一个逻辑回归层并将提取出的数据特征作为输入来预测各科室未来的门诊量。仿真实验结果表明,基于深度学习的预测模型可以得到较高的门诊量预测精度,是一种可行且有效的预测方法。     

基于LLE-FOA-BP模型的煤与瓦斯突出强度预测

针对目前煤与瓦斯突出强度预测精度低、稳定性差及训练速度慢等问题,提出了一种基于局部线性嵌入法-果蝇优化算法-BP神经网络(LLE-FOA-BP)模型的煤与瓦斯突出强度预测方法。借助LLE算法的非线性数据特征提取优势,提取煤与瓦斯突出影响因素原始数据的本质特征,形成重构有效因子,降低数据间的冗余信息及噪声;利用FOA算法较强的全局寻优能力优化BP神经网络的权值和阈值,避免陷入局部极小,提高参数寻优效率;将重构有效因子输入优化后的BP神经网络进行训练,实现煤与瓦斯突出强度快速、准确预测。测试结果表明,LLE-FOA-BP模型的平均相对误差为8.06%,相对误差的方差为3.69,经过24次迭代训练就达到10~(-8)的训练精度,能够在保证预测精度的基础上,提高鲁棒性和学习效率。     

基于深度信念网络的语音情感识别的研究

针对语音情感识别中的特征提取的问题,提出了一种新的特征提取方式,利用深度神经网络(DNN)中的深度信念网络(DBNs)自动提取语音信号中情感特征.通过训练一个5层的深度信念网络提取语音情感特征,把连续多帧的语音并在一起,构成一个高维的特征,把深度信念网络训练完的特征作为非线性支持向量机(SVM)分类器的输入端,最终建立一个语音情感识别多分类器系统.其识别率为86.5%比传统的基于提取句子的时间构造、振幅构造、基频构造等特征的方法提高7%.     

基于全局注意力及金字塔卷积网络的表情识别

近年来基于深度学习的人脸表情识别技术已取得很大进展,但对于表情特征的多尺度提取,以及在不受约束的现实场景中进行面部表情识别仍然是具有挑战性的工作。为解决此问题,提出一种金字塔卷积神经网络与注意力机制结合的表情识别方法。对于初始的一张人脸表情图像,将其按照区域采样裁剪成多张子图像,将原图像和子图像输入到金字塔卷积神经网络进行多尺度特征提取,将提取到的特征图输入到全局注意力模块,给每一张图像分配一个权重,从而得到有重要特征信息的图像,将子图像和原始图像的特征进行加权求和,得到新的含有注意力信息的全局特征,最终进行表情识别分类。在CK+、RAF-DB、AffectNet三个公开表情数据集上分别取得了98.46%、87.34%、60.45%的准确率,提高了表情的识别精度。     

基于深度学习算法的无线传感器异常数据检测

提出了基于深度学习的异常数据检测的方法,精准检测到无线传感器异常数据并直观展现检测结果。基于无线传感器网络模型分簇原理,通过异常数据驱动的簇内数据融合机制,去除无线传感器网络中的无效数据,获取无线传感器网络有效数据融合结果。构建了具有4层隐含层的深度卷积神经网络,将预处理后的无线传感器网络数据作为模型输入,通过隐含层完成数据特征提取和映射后,由输出层输出异常数据检测结果。实验证明：该方法可有效融合不同类型数据,且网络节点平均能耗较低;包含4层隐含层的深度卷积神经网络平均分类精度高达98.44%,1000次迭代后隐含层的训练损失均趋于0,可实现无线传感器异常数据实时、直观、准确检测。     

基于深度半监督的柬语句子级情感分类

针对柬语标注数据较少、语料稀缺,柬语句子级情感分析任务进步缓慢的问题,提出了一种基于深度半监督CNN(convolutional neural networks)的柬语句子级情感极性分类方法.该方法通过融合词典嵌入的分开卷积CNN模型,利用少量已有的柬语情感词典资源提升句子级情感分类任务性能.首先构建柬语句子词嵌入和词典嵌入,通过使用不同的卷积核对两部分嵌入分别进行卷积,将已有情感词典信息融入到CNN模型中去,经过最大延时池化得到最大输出特征,把两部分最大输出特征拼接后作为全连接层输入;然后通过结合半监督学习方法——时序组合模型,训练提出的深度神经网络模型,利用标注与未标注语料训练,降低对标注语料的需求,进一步提升模型情感分类的准确性.结果 证明,通过半监督方法时序组合模型训练,在人工标记数据相同的情况下,该方法相较于监督方法在柬语句子级情感分类任务上准确率提升了3.89％.     

基于注意力卷积模块的深度神经网络图像识别

对于在深度神经网络的中间层分支进行深度融合，产生潜在可以共享有用信息的基础网络，从而优化信息流动，提升深度神经网络的性能，是近期的深度神经网络研究的挑战。对此提出一种基于注意力卷积模块的深度神经网络的图像识别方法。改进的模块主要分为树干分支与软分支两部分，在树干分支上，由两组残差模块组成，使该模块适用于其他深度神经网络；在软分支上，将给定的中间特征图沿着两个维度（空间与通道）获取注意力特征图，对输入中间特征图进行调整，强化有用信息抑制无用信息。改进的卷积残差模块既能解决输入与输出的尺寸不一致的问题，也能强化图像的关键信息与有效促进网络的信息流动。通过对cifar-10、cifar-100、ck+、AVEC2017数据集进行实验，实验结果表明了提出的方法应用于ResNet-50网络上对比Hu提出的方法在训练耗时相差不到0.3%的情况下，识别图像准确率有0.9%~1.2%的提高。     

基于LSTM神经网络的管道缺陷模式识别方法研究

针对复杂环境下,管道振动信号特征微弱难以提取的问题,提出一种基于长短时记忆网络(LSTM)深度学习神经网络的管道缺陷模式识别方法;首先利用改进型自适应噪声的完全集合经验模态分解(ICEEMDAN)对采集的原始信号进行分解得到若干个固有模态函数(IMF)分量,随后根据信息熵理论计算IMF分量的近似熵作为管道典型状态的特征值构造特征向量集合,然后构造LSTM深度学习神经网络训练模型并调节深度神经网络在训练过程中的相关参数进行网络的结构优化,最后将特征向量输入到LSTM神经网络模型进行训练和识别;结果表明:针对管道振动信号特征微弱难以提取的问题,该方法对管道缺陷模式识别的准确率达到了95％,在消除管道振动信号的背景噪声、挖掘特征信息和保证识别准确性方面优势明显.     

基于移动端的场景分类模型

对移动神经网络进行研究,在此基础上提出一种端到端的高效运行于移动端的场景分类模型。在同一个网络中使用多分辨率输入的方法进行训练,在预测时只将原图处理到指定分辨率,不进行multi-crop预测;将网络在中层提取的局部信息和在高层提取的全局信息进行融合;根据提出的相似类知识迁移的模型压缩方法对网络进行训练。实验结果表明,与现有的移动神经网络相比,该模型的识别准确率更高。与端到端的场景分类模型相比,该模型能在模型大小只有其1%的情况下取得同等或更高的识别准确率。     

基于不定长卷积神经网络的恶意流量分类算法

在当今信息爆炸、网络快速发展的时代,网络攻击与网络威胁日益增多,恶意流量识别在网络安全中发挥着非常重要的作用。深度学习在图像处理、自然语言处理上已经展现出优越的性能,因此有诸多研究将深度学习应用于流量分类中。将深度学习应用于流量识别时,部分研究对原始流量数据进行截断或者补零操作,截断操作容易造成流量信息的部分丢失,补零操作容易引入对模型训练无用的信息。针对这一问题,本文提出了一种用于恶意流量分类的不定长输入卷积神经网络(IndefiniteLength Convolutional Neural Network,ILCNN),该网络模型基于不定长输入,在输入时使用未截断未补零的原始流量数据,利用池化操作将不定长特征向量转化为定长的特征向量,最终达到对恶意流量分类的目的。基于CICIDS-2017数据集的实验结果表明,ILCNN模型在F1-Score上的分类准确率能够达到0.999208。相较于现有的恶意流量分类工作,本文所提出的不定长输入卷积神经网络ILCNN在F1-Score和准确率上均有所提升。     

面向原油总氢物性预测的数据扩增预处理方法

针对原油总氢物性回归预测中核磁共振光谱数据不足的问题,结合深度学习相关理论,提出一种光谱数据扩增预处理方法.根据样本输入和标签的相关系数,在原始样本中加入随机噪声以生成虚拟样本;处理样本数据结构以利于卷积神经网络特征提取,并加入数据冗余改进该结构以进一步提高数据特征提取的完整性;搭建实现原油总氢物性回归预测的卷积神经网络(Regression forecasting convolutional neural network,RF-CNN).实验结果表明,对于总氢物性的回归预测,该数据扩增预处理方法不但可以解决原始数据训练中的过拟合现象,而且相比于传统的偏最小二乘(PLS)回归方法,更具稳定性和精确性.