基于时空长短时记忆神经网络的地基云图预测算法

针对传统云运动轨迹预测方法存在的预测精度差、空间结构细节信息丢失等问题,提出一种基于时空长短时记忆（ST-LSTM）神经网络的地基云图预测模型。首先使用卷积编码网络提取输入视频流的高维图像特征;然后在特征提取模型中对图像潜在信息进行多分支获取,一部分使用ST-LSTM神经网络提取不同帧之间的时空特征,另一部分将图像序列进行分解,并通过基于门控机制的记忆融合网络来获取分解后图像中的结构细节信息;最后将得到的分支特征进行组合后经过解码网络输出最终的预测视频流。在地基云图、Moving MNIST和Human 3.6M数据集上的实验结果表明,在图像预测准确率、结构细节信息保留效果以及人眼主观感受上,该预测模型均优于对比模型。与基准模型TaylorNet相比,所提模型在Moving MNIST数据集上均方误差指标和平均绝对误差指标分别降低15.7%和11.8%,在地基云图数据集上,其结构相似性指标与峰值信噪比指标分别提升1%和3.2%,且生成的视频流数据更为清晰,能够更准确地描述云层未来的运动状况,从而更可靠地预测光伏电站未来的输出功率。     

单目视觉的深度与位姿联合预测网络

深度图与相机位姿参数是图像三维场景重建的重要数据,使用两个卷积网络分别预测,不仅效率低并且切断了二者之间的联系.对此提出一种联合预测深度图与相机位姿的卷积神经网络,输入单幅RGB图像,经过共享编码器编码,经两路子网络分别解码输出深度图与相机位姿参数,其中位姿预测子网络也为双路结构,将位置与姿态参数分离,避免两类参数的串扰.该网络的多任务结构通过信息共享可提升预测精度和效率.实验验证了该方法的可行性与优异性.     

基于融合多层卷积特征的显著性区域提取

针对目前卷积神经网络提取图像特征不充分导致的显著性提取效果不明显的问题,提出了一种多层卷积特征融合的自编码显著性区域提取算法.在使用卷积网络提取图像特征时,其浅层卷积特征一般提取的是图像的细节特征如颜色、纹理和位置特征,深层次卷积特征一般是图像的语义特征,在编码层将浅层卷积特征经过下采样融合到深层次的卷积特征中,并将深层次卷积特征进行上采样融合到浅层卷积特征中,实验表明这样可以大大提高编码质量;在解码中将编码时的卷积特征也进行融合,可以获取到解码丢失的信息进而得到更优的解码图像.此外还设计了逐层监督的方式来指导解码层的训练,即用标准的区域提取图进行下采样作为每一层解码层的标准图进行监督训练.实验结果表明,该方法可以在PAGRN的基础上将F度量平均提升0.071,平均绝对误差MEA平均降低0.031.     

基于CNN-LSTM的短期风电功率预测

短期风电功率预测对电力系统的安全稳定运行和能源的优化配置具有重要意义。鉴于卷积神经网络(CNN)高效的数据特征提取能力,以及长短期记忆网络(LSTM)描述时间序列长期依赖关系的能力。为了提高短期风电功率预测的精度,设计了一种基于CNN和LSTM的风电功率预测模型。该模型利用卷积神经网络对风电功率、风速、风向数据进行多层卷积和池化堆叠计算,提取风电功率相关数据的特征图谱。为了描述风电功率序列的时序依从关系,将图谱特征信息作为长短期记忆网络的输入信息,计算得到风电功率的预测结果。采用西班牙某风电场的实测数据进行模型预测精度验证。结果表明,该模型较LSTM、Elman模型具有更好的预测性能。     

基于多流CNN-LSTM网络的群体情绪识别

群体情绪识别是人机交互领域的前言课题,针对群体情绪识别准确率的问题,结合卷积神经网络（CNN）与长短期记忆网络（LSTM）,提出一种多流CNN-LSTM网络模型学习群体情绪的静态和动态特征。以视频序列的原始图像、视觉显著图形和叠加的光流图像分别作为三个通道的输入,利用CNN网络对空间特征和局部运动特征进行分析,得到的特征图直接输入LSTM网络,进行全局运动特征的学习。最后连接Softmax分类器,对三个通道的Softmax输出进行加权融合,得到分类结果。实验结果表明,本文模型可有效地识别4种典型的群体情绪,且识别率高于已有算法,准确度（ACC）和宏平均精度（MAP）分别最高可达82.6%、84.1%。     

基于FPGA的深度卷积神经网络优化压缩算法研究

针对现有海量数字图像信息落后,提出了新型的压缩算法,设计出基于FPGA的视频图像采集系统.应用深度卷积神经网络优化视频图像编码算法和聚类算法实现数据特征提取,将图像与距离信息作为深度卷积神经网络的输入与输出,并利用其特征提取能力学习图像特征的距离信息,提取深度卷积神经网络中的全连接层作为编码,通过迭代调整确定图像编码,完成图像压缩.应用测试结果显示,该算法具有较高效率优势,且图像压缩解码后质量较好.     

基于上下文特征融合的行为识别算法

针对LSTM网络无法充分提取短时信息导致人体行为识别率不高的问题,提出一种基于上下文特征融合的卷积长短时记忆网络联合优化架构,用于仅具有RGB数据的行为识别网络。使用3D卷积核对输入的动作序列提取其空间特征和短时时间特征,并将多通道信息进行融合,将融合后的特征送入下一级卷积神经网络和LSTM层中进行长期时间的特征学习,获取上下文的长期时空信息,最后用Softmax分类器进行人体行为的分类。实验结果表明,在人体行为识别公开数据集UCF-101上,提出的基于上下文特征融合的卷积长短时记忆网络的平均识别准确率达93.62%,相比于未进行特征融合的卷积长短时记忆网络提高了1.28%,且平均检测时间降低了37.1%。     

基于融合式神经网络的微生物生长环境关系抽取

为了构建完整的微生物生长环境关系数据库,提出基于卷积神经网络-长短时记忆(CNN-LSTM)的关系抽取系统.结合卷积神经网络(CNN)和长短时记忆(LSTM),实现对隐含特征的深度学习,提取分布式词向量特征和实体位置特征作为模型的特征输入.对比实验验证加入特征后CNN-LSTM模型的优势,并将CNN模型的特征输出作为LSTM模型的特征输入.在Bio-NLP 2016共享任务发布的BB-event语料集上得到目前最好的结果.     

极端低光情况下的图像增强方法

针对极端低光情况下的图像增强问题,提出一种基于编码解码网络和残差网络的 端到端的全卷积网络模型。设计一个包括编码解码网络和精细网络2 部分的端到端的全卷积网 络模型作为转换网络,直接处理短曝光图像的光传感器数据得到RGB 格式的输出图像。该网 络包含对抗思想、残差结构和感知损失,先通过对极低光图像编码解码重构图像的低频信息, 之后将重构的低频信息输入残差网络中进而重构出图像的高频信息。在SID 数据集上进行实验 验证,结果表明,该方法有效地提高了极端低光情况下拍摄得到的图像进行低光增强之后的视 觉效果,增加了细节表达,使得图像中物体的纹理更加清楚和边缘更加分明。     

MDT-CNN-LSTM模型的股价预测研究

股价预测一直是投资者在股票市场中关注的焦点。近年来,深度学习技术在这一领域得到广泛应用。在融合卷积神经网络（CNN）和长短时记忆网络（LSTM）,构建CNN-LSTM模型的基础上,引入多向延迟嵌入的张量处理技术MDT（mutiway-delay-embedding）,对每日股票因子向量进行因子重构,生成汉克尔矩阵,按时间并排生成汉克尔张量,作为CNN-LSTM模型的输入。利用CNN的卷积与池化对包含因子相关性信息的输入数据提取特征,再将输出的特征矩阵输入到LSTM模型进行关联预测,从而构建了MDT-CNN-LSTM混合模型。选取涉及22个行业的48家公司及12个股票因子进行股价预测,通过从预测精度和时效性两个方面对比实验,显示提出的方法表现优于其他模型,最后选取四类股票指数进行预测,模型效果依旧处于较优水准,验证了引入MDT技术的有效性和可行性。     

一种面向表情识别的ROI区域二级投票机制

针对如何更有效地使用卷积神经网络从训练图像中学习到的分布式特征进行研究,提出了一种面向人脸表情识别的ROI区域二级投票机制。将图像划分成一系列感兴趣区域（ROI）图像输入到卷积神经网络中进行训练;然后将测试图像的ROI图像输入到卷积神经网络中,统计所有ROI图像的判别结果;最后采用二级投票机制确定测试图像的最终类别,得到最终判别结果。针对卷积神经网络不能从人脸图像中学习到旋转等空间位置信息,引入了STN（spatial transformer network）,提高算法在解决复杂情况下的表情识别问题的能力。实验表明,ROI区域二级投票机制能够更有效地使用卷积神经网络从训练图像中学习到的分布式特征,比直接使用ROI图像进行投票的方法准确率提升了1.1%,引入STN能够有效提升卷积神经网络的鲁棒性,比未引入STN的方法准确率提升了1.5%。     

基于时空图神经网络的商品销量预测

精准预测商品的销量是提高商品营销效率的前提和基础.为了更好地预测商品销量,现有研究人员提出了基于深度神经网络(DNNs)、卷积神经网络(CNNs)、时间序列分析等方法,但这些方法大多只单方面考虑到商品销售过程中的时间或者空间特征.同时基于商品销售数据的建模分析发现,商品的销量和对应的零售商户的空间位置和销售时间有较大的相关性.为了更加准确地预测某种商品,在特定商店,以及在特定时间的销量,本研究首先构建了以商家为基础的大规模知识图谱系统,通过一张图的数据模型,描述商品销售和对应的商圈、商户、用户的相关交互场景.同时在图模型上增加了商家数据的空间和数据特征,用于描述商户的时空特性.最后基于构建的商家知识图谱,本研究提出了基于图卷积神经网络(GCN)聚合信息获取空间特征,然后使用长短期记忆(LSTM)提取时间特征,并将两种特征进行加权结合,进行商品销量预测.初步研究结果表明:基于图和LSTM模型的混合模型的算法预测投放量最为贴近实际销量,相比于传统的神经网络算法,该模型预测的平均准确率为89%.最后通过构建流水线工作流,将整个商品销量智能预测系统部署到生产环境中,为实现商品精准化营销提供了智...     

采用Transformer网络的视频序列表情识别

目的 相比于静态人脸表情图像识别,视频序列中的各帧人脸表情强度差异较大,并且含有中性表情的帧数较多,然而现有模型无法为视频序列中每帧图像分配合适的权重。为了充分利用视频序列中的时空维度信息和不同帧图像对视频表情识别的作用力差异特点,本文提出一种基于Transformer的视频序列表情识别方法。方法 首先,将一个视频序列分成含有固定帧数的短视频片段,并采用深度残差网络对视频片段中的每帧图像学习出高层次的人脸表情特征,从而生成一个固定维度的视频片段空间特征。然后,通过设计合适的长短时记忆网络（long short-term memory network,LSTM）和Transformer模型分别从该视频片段空间特征序列中进一步学习出高层次的时间维度特征和注意力特征,并进行级联输入到全连接层,从而输出该视频片段的表情分类分数值。最后,将一个视频所有片段的表情分类分数值进行最大池化,实现该视频的最终表情分类任务。结果 在公开的BAUM-1s （Bahcesehir University multimodal）和RML （Ryerson Multimedia Lab）视频情感数据集上的试验结果表明,该方法分别取得了60.72%和75.44%的正确识别率,优于其他对比方法的性能。结论 该方法采用端到端的学习方式,能够有效提升视频序列表情识别性能。     

高光谱图像小样本分类的卷积神经网络方法

目的 与传统分类方法相比,基于深度学习的高光谱图像分类方法能够提取出高光谱图像更深层次的特征。针对现有深度学习的分类方法网络结构简单、特征提取不够充分的问题,提出一种堆叠像元空间变换信息的数据扩充方法,用于解决训练样本不足的问题,并提出一种基于不同尺度的双通道3维卷积神经网络的高光谱图像分类模型,来提取高光谱图像的本质空谱特征。方法 通过对高光谱图像的每一像元及其邻域像元进行旋转、行列变换等操作,丰富中心像元的潜在空间信息,达到数据集扩充的作用。将扩充之后的像素块输入到不同尺度的双通道3维卷积神经网络学习训练集的深层特征,实现更高精度的分类。结果 5次重复实验后取平均的结果表明,在随机选取了10%训练样本并通过8倍数据扩充的情况下,Indian Pines数据集实现了98.34%的总体分类精度,Pavia University数据集总体分类精度达到99.63%,同时对比了不同算法的运行时间,在保证分类精度的前提下,本文算法的运行时间短于对比算法,保证了分类模型的稳定性、高效性。结论 本文提出的基于双通道卷积神经网络的高光谱图像分类模型,既解决了训练样本不足的问题,又综合了高光谱图像的光谱特征和空间特征,提高了高光谱图像的分类精度。     

VMD和混合深度学习框架融合的短期风速预测

风速预测是影响风电场效率和稳定性的重要因素.文中基于风速的时空特征,融合变分模态分解(VMD)和混合深度学习框架进行短期风速预测,即VHSTN (VMD-based hybrid spatio-temporal network).其中,混合深度学习框架由卷积神经网络(CNN)、长短时记忆网络(LSTM)以及自注意力机制(SAM)组成.该算法对原始数据清洗后,采用VMD将多站点风速的时空数据分解为固有模态函数(intrinsic mode functions, IMF)分量,去除风速数据的不稳定性;然后针对各IMF分量,应用底部的CNN抽取空域特征;再用顶层LSTM提取时域特征,之后用SAM通过自适应加权加强对隐藏特征的提取并得到各分量的预测结果;最后合并获得最终预测风速.在数据集WIND上进行实验,并和相关典型算法对比,实验结果表明了该算法的有效性和优越性.     

基于一维卷积神经网络与长短期记忆网络结合的电池荷电状态预测方法

针对电池荷电状态（SOC）预测的精确度与稳定性问题以及深层神经网络的梯度消失问题,提出一种基于一维卷积神经网络（1D CNN）与长短期记忆（LSTM）循环神经网络（RNN）结合的电池SOC预测方法——1D CNN-LSTM模型。1D CNN-LSTM模型将电池的电流、电压和电阻映射到目标值SOC。首先,通过一层一维卷积层从样本数据中提取出高级数据特征,并充分地利用输入数据的特征信息;其次,使用一层LSTM层保存历史输入信息,从而有效地预防重要信息的丢失;最后,通过一层全连接层输出电池SOC预测结果。使用电池的多次循环充放电实验数据训练提出的模型,分析对比不同超参数设置下1D CNN-LSTM模型的预测效果,并通过训练模型来调节模型的权重系数和偏置参数,从而确定最优的模型设置。实验结果表明,1D CNN-LSTM模型具有准确且稳定的电池SOC预测效果。该模型的平均绝对误差（MAE）、均方误差（MSE）和最大预测误差分别为0.402 7%、0.002 9%和0.99%。     

基于深度级联神经网络的自动驾驶运动规划模型

针对基于规则的运动规划算法需要预先定义规则和基于深度学习的方法没有利用时间特征的问题，提出一种基于深度级联神经网络的运动规划模型。该模型将卷积神经网络（CNN）和长短期记忆网络（LSTM）这两种经典的深度学习模型进行融合并构成一种新的级联神经网络，分别提取输入图像的空间和时间特征，并用以拟合输入序列图像与输出运动参数之间的非线性关系，从而完成从输入序列图像到运动参数的端到端的规划。实验利用模拟驾驶环境的数据进行训练和测试，结果显示所提模型在乡村路、高速路、隧道和山路四种道路中均方根误差（RMSE）不超过0.017，且预测结果的稳定度优于未使用级联网络的算法一个数量级。结果表明，所提模型能有效地学习人类的驾驶行为，并且能够克服累积误差的影响，适应多种不同场景下的路况，具有较好的鲁棒性。