基于差分自回归移动平均模型、长短期记忆网络模型及相关模型的无人机俯仰角预测

为了提高无人机俯仰角故障数据处理和预测的精确性和可靠性,避免增加无人机试飞成本,利用长短期记忆网络（Long Short Term Memory,LSTM）、注意力机制+LSTM模型和差分自回归移动平均模型（Autoregressive Integrated Moving Average Model,ARIMA）模型预测无人机试飞俯仰角故障数据。结果表明,ARIMA预测结果：MAE（Mean Absolute Error）=0.35,RMSE（Root Mean Square Error）=0.73,MAPE(Mean Absolute Percentage Error)=23.80%;LSTM模型预测结果：MAE=0.49,RMSE=0.74,MAPE=45.20%;注意力机制+LSTM模型预测结果：MAE=0.17,RMSE=0.53,MAPE=18.93%。可见注意力机制+LSTM模型比其余两种模型更适合于试飞俯仰角的数据预测,以上三种方法对无人机故障数据预测都具有实际意义,有效的预测可以推进自动飞行器和移动机器人的异常检测或外国直接投资研究的最新进展,以进一步提高自动和远程飞行操作的安全性。     

短期风力发电负荷预测的新方法

以陆上风力发电负荷数据作为研究对象,将注意力机制引入双向长短期记忆与卷积神经网络（CNN）的混合模型来预测短期电力负荷．结果显示:1）注意力机制通过对不同时步的输入进行加权,能够显著提升双向长短期记忆网络的预测性能;2）双向长短期记忆网络-CNN结构比CNN-双向长短期记忆网络结构更适用于短期负荷预测,前者相较后者能够充分利用时序信息,不会在输入初期就丢失关键信息;3）基于注意力机制的双向长短期记忆网络-CNN混合模型的均方根误差（RMSE）、平均绝对百分比误差（MAPE）分别达到了575.35和7.02%,比次佳模型（基于注意力机制的双向长短期记忆网络-CNN混合模型）分别降低了2.75%和9.65%,其在风电短期负荷预测方面有很好的应用前景．      

毫米波雷达数据驱动的桥梁挠度预测

为监测公路桥梁健康状况从而保证车辆行驶桥面的安全性,基于毫米波雷达监测的桥梁挠度数据,结合深度学习理论,提出了一种基于卷积神经网络（convolutional neural network, CNN）与门控制循环单元（gate recurrent unit, GRU）组合的桥梁挠度预测模型。首先,获取高速公路大桥高精度挠度数据,通过数据预处理,在保留原始数据特征的基础上,修复部分噪声数据;其次,将处理后的样本数据、时间步长和特征数的三维数据,以桥梁挠度数据序列构造的输入矩阵作为输入层,经过CNN-GRU组合模型的密集连接层后,输出预测桥梁挠度值。最后,选取具有代表性的监测点数据,利用均方根误差 (root mean square error, RMSE)、平均绝对误差 (mean absolute error, MAE)、平均百分比误差 (mean absolute percentage error, MAPE)进行预测效果验证。结果表明,CNN-GRU模型的精度更高：较于传统LSTM（long short-term memory）模型在RMSE上提升了59.65%,MAE提升了61.30%;较于CNN-LSTM模型在RMSE上提升了2.48%,MAE提升了4.87%。其对于桥梁挠度极值及趋势的判断基本准确,可以作为桥梁健康状况预测的科学依据。     

超短期风电功率预测的混合深度学习模型

针对风电功率预测(WPF)问题,提出一种基于离散小波变换(DWT)、时间卷积网络(TCN)和长短期记忆(LSTM)神经网络的混合深度学习模型(DWT-TCN-LSTM),对超短期风电功率进行预测.将DWT-TCN-LSTM模型分别与差分整合移动平均自回归(ARIMA)模型,支持向量回归(SVR)模型,长短期记忆神经网络模型和卷积长短期记忆(TCN-LSTM)混合模型进行对比实验,通过对称平均绝对百分比误差(SMAPE),均方根误差(RMSE)和平均绝对误差(MAE)3种评价指标值对各个模型进行评价.实验结果表明:DWT-TCN-LSTM模型具有较好的预测性能.     

基于深度学习的盾构隧道施工地表沉降预测方法

针对现有盾构隧道施工引发地表沉降预测方法中存在的难以同时挖掘数据之间的非线性特征关系和双向时序信息的问题,通过融合卷积神经网络(CNN)、双向长短期记忆(BiLSTM)与自注意力机制(SA)提出一种基于深度学习的地表最大沉降预测方法(CNN-BiLSTM-SA)。该方法首先利用CNN提取网络输入数据之间的非线性特征关系,利用BiLSTM网络提取输入数据的双向时序信息,然后引入SA机制为CNN提取的特征分配相应的权重,有效捕获时间序列中的关键信息,最后通过全连接层输出最终地表沉降预测结果。以湖南万家丽路电力盾构隧道工程为依托构建地表沉降数据集,并选用ANN、RNN、LSTM、BiLSTM模型开展对比分析。研究结果表明：评估指标CNN-BiLSTM-SA的平均绝对误差(MAE)、均方根(RMSE)、决定系数(R2)、平均绝对百分误差(MAPE)均为最优,具有更好的地表沉降预测性能。     

基于EMD-LSTM人工神经网络的云冈石窟环境参数预测

环境参数会直接影响石窟的风化过程,因此,预测环境参数是进行云冈石窟有效保护的重要内容.以云冈石窟第十窟为例,将壁温、环境湿度、环境温度的实测时序数据作为环境参数,使用经验模态分解(empirical model decomposition, EMD)对实测时序数据进行分解,研究了固有模态函数(intrinsic mode function, IMF)分量与实测时序数据的相关性,建立了基于EMD-长短期记忆(long short-term memory, LSTM)的人工神经网络(artificial neural network, ANN)组合模型.使用平均绝对误差(mean absolute error, MAE)、均方根误差(root mean square error, RMSE)、平均绝对百分比误差(mean absolute percentage error,MAPE)、决定系数(R²)作为评价指标,对比分析了使用组合模型与使用单一LSTM的ANN模型进行环境参数预测的效果.结果表明:IMF分量的变化速率越大,与实测时序数据的相关性就越强;对于组合模型中...     

基于长短时记忆网络的Encoder-Decoder多步交通流预测模型

交通流序列多为单步预测.为实现交通流序列的多步预测,提出一种基于编码器解码器(encoder-decoder,ED)框架的长短期记忆网络(long short-term memory,LSTM)模型,即ED LSTM模型.将自回归滑动平均、支持向量回归机、XGBOOST、循环神经网络、卷积神经网络、LSTM作为对照组进行实验验证.实验结果表明,当预测时间步长增加时,ED框架能够减缓模型性能的下降趋势,LSTM能够充分挖掘时间序列中的非线性关系.除此之外,在单变量输入的情况下,在PEMS-04数据集上,当预测时间步长为t+1到t+12的12个时间步时,ED LSTM模型的均方根误差(root mean squard error,RMSE)及平均绝对误差(mean absolute error,MAE)分别下降0.210～5.422、0.061～0.191.相较于单因素输入,多因素输入的ED LSTM模型在12个预测时间步长下,RMSE、MAE分别下降0.840、0.136.实验证明了ED LSTM模型能够有效地用于交通流序列的多步及单因素、多因素预测任务.     

融合VMD和GRU模型的城市道路行程时间预测方法

城市道路交通环境复杂多变,城市道路行程时间具有较强的非线性与非稳定性,为提高城市道路行程时间的预测精度,提出了基于变分模态分解(variational mode decomposition,VMD)与门控循环单元(gated recurrent unit,GRU)相结合的组合预测模型。与传统分解算法相比,VMD拥有非递归求解和自主选择模态个数的优点。首先利用变分模态分解算法将原始行程时间序列分解为若干时间子序列,降低原始序列的非平稳性;然后对每个时间子序列建立GRU预测模型;最后将各个预测结果进行融合,得到行程时间序列预测的最终结果。实验结果表明,变分模态分解与门控循环单元结合的组合模型预测结果要比对照组的单一模型预测结果精准度高,均方根误差(root mean squared Error,RMSE)及下降约3.99～4.37,平均绝对误差(mean absolute error,MAE)下降约3.02～3.35;在组合预测模型中,门控循环单元(GRU)预测效果要比长短期记忆(long short-term memory,LSTM)预测效果表现更佳,均方根误差(root mean squared error,RMSE)下降0.34,平均绝对误差(mean absolute error,MAE)下降0.22。     

基于Attention机制和ResNet的CNN-BiLSTM短期电力负荷预测模型研究

短期电力负荷预测有利于电力系统的高效运行,对电力市场实现有效调度有重要意义。短期电力负荷受多种因素影响,波动性大、随机性强,使得其预测准确率低。双向长短期记忆网络和卷积神经网络难以在短期负荷序列中提取足够多的信息,本文提出了一种结合注意力机制和残差网络的卷积神经网络-双向长短期记忆网络短期负荷预测方法。首先利用基准模型卷积神经网络-双向长短期记忆网络对输入特征进行信息提取,然后利用注意力机制突出提取到的关键信息,最后通过残差网络创建残差层以充分学习时序特征。通过某公开数据集进行实验,结果表明该方法的平均绝对百分比误差达到2.80%,均方根误差达到2.15,并与常用的五种模型预测结果对比,验证了所提模型的准确性及有效性。     

基于数值与文本特征的LSTM股票价格预测研究

行为金融学理论指出，由社交媒体文本数据所折射出的投资者情绪在一定程度上影响着股票市场的波动。为了利用投资者情绪对股票市场作出更准确的预测，本文爬取2020年8月31日至2021年9月1日的沪深300指数股吧评论文本数据，使用基于融合基础情感词典和金融词典的分析方法将评论文本数据量化为投资者情绪指标，并利用长短期记忆（Long short-term memory,LSTM）神经网络构建了融合股票历史交易数据和基于股吧评论的投资者情绪指标的多特征预测模型。实验结果表明，基于数值和文本特征的LSTM股票价格预测模型的平均绝对误差（Mean absolute error,MAE）、均方根误差（Root mean squared error,RMSE）和均方误差（Mean square error,MSE）值较LSTM数值特征预测模型降低了18.84、15.79、1486.54。较GRU(Gated recurrent unit)数值文本特征模型，其MAE、RMSE、MSE值则降低了11.42、10.49、931.75。实验结果表明本文提出的方法可以有效预测股票价格指数。     

基于长短时记忆与多影响因子的滑坡位移动态预测

针对传统滑坡位移预测模型存在对历史数据遗忘的问题,提出了一种基于长短时记忆（LSTM）网络的滑坡位移动态预测模型。首先,将滑坡累计位移分解为趋势项位移与波动项位移,利用多项式拟合预测趋势项位移;然后,通过灰色关联度筛选外界诱发因子并运用LSTM模型预测波动项位移;最后,叠加周期项位移与波动项位移,得到累计位移。以新滩滑坡为例,并与RNN模型以及传统静态神经网络模型BP、ELM进行对比分析,采用平均百分比误差（MAPE）,均方根误差（RMSE）,拟合优度（R2）分别对其进行评价。应用结果表明：相比于传统静态模型,LSTM与RNN均适用于滑坡位移动态预测;对比结果显示,LSTM模型具有较好的预测精度,MAPE与RMSE值分别为1.026%、0.327 mm,拟合优度R2为0.978。     

地质突变条件下基于组合模型的围岩等级和TBM掘进参数预测

为了提高硬岩隧道掘进机(TBM)施工的安全性和智能化,基于TBM掘进数据,提出了一种将双向长短期记忆(BiLSTM)网络与支持向量机回归(SVR)算法相结合的可以同时进行围岩等级和TBM掘进参数预测的组合模型(BiLSTM-SVR模型)。实例验证结果表明:BiLSTM-SVR模型对围岩等级的预测准确度较高,均方根误差均小于0.026 5、平均绝对百分比误差均小于0.95%;BiLSTM-SVR掘进参数预测中,推力和扭矩的预测准确度最高,净掘进速度和开挖比能的预测准确度最低;BiLSTM-SVR模型比BiLSTM模型和SVR模型的掘进参数预测准确度有较大的提高,因此进行单一模型的组合可以有效提高模型预测的准确度和鲁棒性。     

基于LightGBM-SVR-LSTM的停车区车位预测

停车难和交通拥堵现象愈演愈烈,提前告知驾驶员未来一段时间空车位数量,可以减少其寻找有效车位的时间,进而够缓解拥堵情况。基于此,本文提出了一种基于LightGBM-SVR-LSTM的停车区剩余车位预测模型。首先,通过数据预处理,尽可能保留原始数据特征的基础上,修复部分噪声数据;其次,将修复的数据放入轻量级梯度提升机（LightGBM）,提取叶子节点的值作为新的特征,并将其放入支持向量回归模型（SVR）进行预测;然后,利用长短时记忆神经网络（LSTM）进行误差修复。最后,选取某停车区数据,利用均方根误差（RMSE）、平均绝对误差（MAE）、平均百分比误差（MAPE）进行预测效果验证。结果表明,在正常条件和节假日期间,所提出的组合模型精度均有提升,具有一定的鲁棒性。     

基于自适应神经网络的云资源预测模型

为了避免容器云资源因资源供求不均衡而导致的资源利用率差等问题,需要对未来时刻的资源需求情况进行预测来进行更精准的调度和分配资源,因此,结合神经网络的高效学习能力与自适应调整的学习率,提出一种基于自适应神经网络的云资源预测模型。首先,融合卷积神经网络(convolutional neural network, CNN)和长短期记忆(long short-term memory, LSTM)网络的特点去挖掘历史数据的特征,预测未来的资源需求;然后,根据模型预测情况自适应调整学习率,提高模型预测的精度。使用Microsoft Azure公开数据集进行测试,相较于单一模型CNN、LSTM和未加入自适应学习率的神经网络模型,均方根误差分别下降了17.74%、18.27%和6%,证明了模型的有效性。     

用深度学习挖掘油田开发指标预测模型的知识

油田开发指标变化特征被当作油田开发规划、油田开采状况评价、油田开发方案设计与调整及油田开发风险预测预警等决策管理问题的重要依据。针对至今没有很好解决的建立智慧油田的瓶颈问题之一——油田开发指标智能预测系统的选择预测方法和模型的知识挖掘问题，基于油田开发的海量数据，利用深度学习的卷积神经网络和循环神经网络，提取反映油田开发动态特征和知识。在此基础上，结合已建立的油田开发指标预测的模型库及知识库，利用深度学习的实体和关系的联合提取方法，提出通过油田开发输入信息、油田开发动态特征指标、油田开发指标预测的模型库和知识库挖掘选择油田开发指标最佳预测模型的知识方法。概念设计的模拟实例表明，提出的知识挖掘流程可实现只要输入油田开发的相关信息，就能自主获得恰当的油田开发指标预测模型。     

自编码器与PSOA-CNN结合的短期负荷预测模型

提出了一种自编码器与PSO算法优化卷积神经网络结合的电力系统短期负荷预测模型。首先利用自编码器对相关变量数据进行处理,降低所需数据的噪声变量,提高预测效率;然后利用粒子群算法对卷积神经网络的权值和阈值进行优化,可有效提高预测模型的预测精度和预测速度。通过对实际电网的负荷数据进行仿真,验证了模型具有较高的预测精度。