基于Attention机制和ResNet的CNN-BiLSTM短期电力负荷预测模型研究

短期电力负荷预测有利于电力系统的高效运行,对电力市场实现有效调度有重要意义。短期电力负荷受多种因素影响,波动性大、随机性强,使得其预测准确率低。双向长短期记忆网络和卷积神经网络难以在短期负荷序列中提取足够多的信息,本文提出了一种结合注意力机制和残差网络的卷积神经网络-双向长短期记忆网络短期负荷预测方法。首先利用基准模型卷积神经网络-双向长短期记忆网络对输入特征进行信息提取,然后利用注意力机制突出提取到的关键信息,最后通过残差网络创建残差层以充分学习时序特征。通过某公开数据集进行实验,结果表明该方法的平均绝对百分比误差达到2.80%,均方根误差达到2.15,并与常用的五种模型预测结果对比,验证了所提模型的准确性及有效性。     

基于注意力与LSTM的航空发动机剩余寿命预测

预测性维护的核心技术之一是设备剩余寿命（remaining useful life, RUL）预测。为了提高航空发动机的剩余寿命预测精度,提出了一种基于注意力与长短期记忆（directional long short-term memory ,LSTM）网络的航空发动机剩余寿命预测模型Attention-LSTM,通过引入注意力机制增强各时间点数据的特征权重,有效提升了模型预测精度。使用NASA C-MAPSS涡扇发动机仿真数据集进行实验,与未加注意力机制的长短期记忆网络等多种模型进行对比实验。实验结果表明,提到的Attention-LSTM模型的均方根误差相比较于未引入注意力机制的长短期记忆网络降低了17.8%,拟合度提升了3.2%,各项评估指标均也优于其他对比模型。     

基于注意力机制与神经网络的热电联产锅炉负荷预测

热电联产机组的锅炉负荷准确预测对电厂生产管理及调度有直接作用.基于注意力机制和深度卷积-长短期记忆网络原理，提出一种新的热电联产长期负荷预测模型，该模型以锅炉出口蒸汽流量(负荷)历史数据和多维负荷影响因素为输入，对负荷进行长期预测.利用Pearson相关系数判定对原始数据进行筛选；将处理后的数据经卷积层进行特征提取和进一步降维，通过长短期记忆层进行拟合，并采取注意力机制对权值进行优化，实现对负荷的精准预测.以浙江桐乡电厂实测数据为例进行验证，结果表明所提方法的平均绝对百分比误差小于1%,能够实现锅炉负荷的精准预测，智能算法在热电联产领域的应用具有一定的借鉴意义.     

结合时间注意力机制的Bi-GRU-Atten的短时交通流预测

为使用深度学习模型预测未来高速公路交通流的情况,利用双向门控循环单元算法（Bi-GRU）从双向传播中提取信息,充分学习到历史交通流的时间相关特征,同时采用注意力机制通过正确分配权重来区分交通时间序列的重要性,进一步提高预测的计算效率。采用开源高速公路数据集对模型进行验证,结果表明：与递归神经网络算法、长短期记忆网络算法、双向长短期记忆网络算法,以及没有结合注意力机制的双向门控循环单元算法相比,本文所提算法在计算效率和预测精度方面更优,可以用于短时交通流的预测。     

基于VMDLSTNet的水质预测模型

针对水质时序预测中存在长期信息和短期信息混合导致预测精度低的问题,采用变分模态分解（Variational Mode Decomposition,VMD）和长短期时间序列网络（Long- and Short-term Time-series network,LSTNet）组合使用以期望解决该问题得出更准确的水质预测。LSTNet网络中使用卷积神经网络（Convolutional Neural Networks,CNN）提取短期局部水质信息,使用循环神经网络（Recurrent Neural Network,RNN）提取长期水质信息,并且通过Skip-RNN利用序列周期特性,提取更长期信息,同时模拟自回归（Autoregressive model,AR）,为水质预测增添线性成分来达到输出能够响应输入尺度变化的目的。采用珠江流域老口站隔日采样的溶解氧数据验证模型效果,结果表明,VMDLSTNet网络处理水质预测问题的能力,不仅优于传统的BP神经网络（Back Propagation Neural Network,BPNN）、支持回归机（Support Vector Regression,SVR）模型,而且优于深度学习中时域卷积网络（Temporal Convolutional Network,TCN）模型、门循环网络（Gate Recurrent Unit,GRU）、增加注意力机制的长短时记忆网络（Long Short-Term Memory Add Attention,LSTM-AT）模型,溶解氧的预测平均绝对误差（Mean Absolute Error,MAE）为0.0931,预测均方误差（Mean Square Error,MSE）为0.0146,预测均方根误差（Root Mean Square Error,RMSE）为0.1208,水质类别的预测准确率为95%。     

基于注意力机制优化长短期记忆网络的短期电力负荷预测

在电力系统的经济调度中,如何合理利用电力负荷的过去和现在来推测其未来价值,具有非常长远的社会经济价值.短期电力负荷数据具有明显的时间特征,传统的深度模型越来越多地应用于该领域.然而,深度模型可能存在梯度爆炸或梯度消失,为此,提出了一种注意力机制优化长短期记忆网络的短期负荷预测模型.该模型将长短期记忆网络单元中的激活函数改进为加权激活函数组,并加入注意力机制以提高预测精度.     

基于双向长短期记忆神经网络的风电预测方法

风电受天气条件的影响具有间歇性和波动性的特点,随着风电在电网中渗透率的提高,电网面临着新的挑战.对风电进行预测并根据预测值进行合理调度,可在一定程度上缓解风电的不确定性对电网的影响.本文提出了基于双向长短期记忆神经网络的风电预测方法,该模型可以同时利用过去和未来的数值天气预报信息,提高了风力发电的预测精度.首先,文章阐述了单向长短期记忆神经网络的原理和结构,在此基础上,添加反向隐含层成为双向长短期记忆神经网络;其次,基于双向长短期记忆神经网络,构建了风电预测架构,并分析了风电预测的评价指标;最后,利用实际数据进行了仿真验证,结果表明,相对于长短期记忆模型,以均方根误差、希尔不等系数和对称均值绝对值百分比误差三个指标衡量,双向长短期记忆神经网络的预测精度分别提高了10.25%、6.71%和12.18%.     

基于多段落排序的机器阅读理解研究

针对多段落的机器阅读理解问题,在双向注意力流（BiDAF）模型的基础上,结合双向长短期记忆网络（BiLSTM）和self-attention机制构建了多段落排序BiDAF（PR-BiDAF）模型,利用该模型定位答案所在的段落,然后在预测段落中寻找最终答案的始末位置。实验结果表明,相较于BiDAF模型,本文提出的PR-BiDAF模型的段落选择正确率、BLEU4指标及ROUGE-L指标分别提高了约13%、6%和4%。     

注意力机制下的EMD-GRU短期电力负荷预测

为进一步提高短期电力负荷预测精度,构建一种基于注意力机制的经验模态分解(EMD)和门控循环单元(GRU)混合模型,对时间序列的短期负荷进行预测.首先,对负荷序列进行EMD,将数据重构成多个分量;再通过GRU提取各分量中时序数据的潜藏特征;经注意力机制突出关键特征后,分别对各分量进行预测;最后,将各分量的预测结果叠加,得到最终预测值.仿真结果表明:相对于BP网络模型、支持向量机(SVR)模型、GRU网络模型和EMD-GRU模型,基于EMD-GRU-Attention的混合预测模型能取得更高的预测精度,有效地提高短期电力负荷预测精度.     

基于贝叶斯优化注意力机制LSTNet模型的短期电力负荷预测

为更充分挖掘多元负荷序列间的有效信息,从而提高预测精度,提出了一种集成贝叶斯超参数优化算法、注意力机制的长期和短期时间序列网络（long and short-term time-series network with attention,LSTNet-attention）以及误差修正的短期负荷预测模型。首先,构建基于贝叶斯优化的LSTNet-attention模型进行初步预测,利用贝叶斯算法优化模型多个结构参数,降低人工设置参数的随机性,并通过注意力机制合理分配特征权重;然后,通过基于贝叶斯参数优化的极端梯度提升算法(extreme gradient boosting,XGBoost)误差修正模型来挖掘初步预测误差序列中潜在、未被利用的有效信息,进行误差预测和修正,进而得到最终的预测结果。通过使用澳大利亚某地真实负荷数据进行实证分析,实验结果表明,所提预测模型相较于其它模型具有更好的预测效果,可为负荷预测等工作提供一定参考。     

超短期风电功率预测的混合深度学习模型

针对风电功率预测(WPF)问题,提出一种基于离散小波变换(DWT)、时间卷积网络(TCN)和长短期记忆(LSTM)神经网络的混合深度学习模型(DWT-TCN-LSTM),对超短期风电功率进行预测.将DWT-TCN-LSTM模型分别与差分整合移动平均自回归(ARIMA)模型,支持向量回归(SVR)模型,长短期记忆神经网络模型和卷积长短期记忆(TCN-LSTM)混合模型进行对比实验,通过对称平均绝对百分比误差(SMAPE),均方根误差(RMSE)和平均绝对误差(MAE)3种评价指标值对各个模型进行评价.实验结果表明:DWT-TCN-LSTM模型具有较好的预测性能.     

面向功能分区的大型商场建筑冷负荷预测方法

针对大型商场面向建筑整体冷负荷预测不能为商场各区域按需供冷提供合理控制策略的问题,通过研究商场不同区域冷负荷特点,采用灰色关联度分析法筛选影响商场不同区域冷负荷的关键影响因素,针对实际情况中各输入特征对冷负荷影响程度的不稳定性,提出了基于双重注意力机制和LSTM的短期分区冷负荷预测模型。LSTM网络充分考虑空调冷负荷与相关特征变量之间的非线性关系,特征注意力自主分析历史信息和输入变量之间的关系,提取重要特征,时序注意力选取LSTM网络关键时刻的历史信息,提升较长时间段预测效果的稳定性。以西安某大型商场建筑的冷负荷数据集为实验数据,实验结果表明所提模型相比于LSTM模型、CNN-LSTM模型和Attention-LSTM模型,误差指标MAPE和RMSE均有显著降低,R2明显增加且稳定0.99以上,具有较好的泛化能力和较强的稳定性。     

基于改进Bi-LSTM和XGBoost的电力负荷组合预测方法

电力负荷预测在平衡能源分配、经济性和电力系统安全可靠运行方面发挥着重要作用,精准的负荷预测可以降低电力运行的成本和风险,提高电网环境效益和经济效益.首先根据加权灰色关联投影算法对数据进行预处理,然后应用注意力(Attention)机制来改进双向长短期记忆(Bi-LSTM)模型,并结合极端梯度提升(XGBoost)模型构...     

基于VMD-EWT-IASSP-EBILSTM的短期电力负荷预测

电力系统在国家工业基础设施中起着举足轻重的作用，维持系统负荷高精度预测是保障电力系统高效供应的关键。针对负荷数据的非平稳性、随机性与非线性，负荷预测误差较大的问题，结合变分模态分解(Variational Mode Decomposition, VMD)、经验小波变换(Empirical Wavelet Transform, EWT)、改进的空洞卷积金字塔模块(Improved Atros Spatial Pyramid Pooling, IASSP)、集成双向长短时记忆模块(Ensemble BiLSTM，EBiLSTM)，提出了一种短期电力负荷预测模型。为解决负荷数据的非平稳性引起的模型预测波动问题，通过变分模态分解方法与经验小波变换的结合分解为若干子序列，显著降低了原始负荷序列的复杂性；为提高模型预测精度，将分解的负荷子序列利用过零率指标划分高低频序列，在低频序列中构建一种时序依赖捕获模块EBiLSTM提取长期负荷特征，高频序列中构建特征提取模块IASSP提取局部负荷特征，最后累加各子序列的预测结果，实现电力系统负荷的短期预测。选取行业通用客观评价指标：平均绝对误差、均方根误差，在宁夏某地电站的实测数据上对比前沿算法进行仿真实验验证。结果表明，该算法MAE误差降低了37%~75%左右，具有较高的准确性与可靠性。     

基于SSA-VMD-LSTM-NKDE的短期风电功率概率预测

为进一步提高风电功率预测精度,提出一种基于麻雀搜索算法(SSA)优化VMD参数的组合预测方法。首先,使用麻雀搜索算法对VMD参数进行优化,并利用优化后的VMD对数据进行分解;其次,结合灰色关联分析法和熵权法对环境变量进行相关性分析,选择相关性最高的影响因素与分解得到的各模态分量组合作为LSTM预测模型的输入,获得更为精确的预测结果;最后,建立基于非参数核密度估计(NKDE)的风电功率概率预测模型,实现对风电功率预测结果不确定性的有效量化。结果表明,所提组合模型的MAE,RMSE和MAPE比VMD-LSTM模型的分别下降了39.51%,33.22%和40.39%。SSA-VMD-LSTM-NKDE组合模型不仅能够有效提高确定性预测的精度,而且还能够实现对风电功率预测结果不确定性的有效量化,为风电功率预测提供了科学决策依据。     

基于Stacking 多GＲU 模型的风电场短期功率预测

为提高风电场短期功率预测的准确度,在深度学习的基础上提出利用Stacking 算法集成融合多个GＲU ( Gated Ｒecurrent Unit) 模型的风电场短期功率预测的方法。该方法首先搭建3 个多层GＲU 神经网络模型建立 第1 级模型,深度提取高维的时序特征关系,通过第1 级模型的预测结果构建训练集,然后利用新生成的训练 集训练第2 级GＲU 模型,第2 级的GＲU 模型采用单层结构,能发现并且纠正第1 级模型中的预测误差,提升 整体的预测结果。最终得到两级模型嵌入的Stacking 融合模型。以宁夏太阳山风电场历史数据为例对该模型 的准确性进行验证。实验结果表明,通过Stacking 算法融合的GＲU 模型相比其他算法预测平均绝对百分比误 差提高了0． 63,总体预测效果较为理想,预测准确度提升明显。     

毫米波雷达数据驱动的桥梁挠度预测

为监测公路桥梁健康状况从而保证车辆行驶桥面的安全性,基于毫米波雷达监测的桥梁挠度数据,结合深度学习理论,提出了一种基于卷积神经网络（convolutional neural network, CNN）与门控制循环单元（gate recurrent unit, GRU）组合的桥梁挠度预测模型。首先,获取高速公路大桥高精度挠度数据,通过数据预处理,在保留原始数据特征的基础上,修复部分噪声数据;其次,将处理后的样本数据、时间步长和特征数的三维数据,以桥梁挠度数据序列构造的输入矩阵作为输入层,经过CNN-GRU组合模型的密集连接层后,输出预测桥梁挠度值。最后,选取具有代表性的监测点数据,利用均方根误差 (root mean square error, RMSE)、平均绝对误差 (mean absolute error, MAE)、平均百分比误差 (mean absolute percentage error, MAPE)进行预测效果验证。结果表明,CNN-GRU模型的精度更高：较于传统LSTM（long short-term memory）模型在RMSE上提升了59.65%,MAE提升了61.30%;较于CNN-LSTM模型在RMSE上提升了2.48%,MAE提升了4.87%。其对于桥梁挠度极值及趋势的判断基本准确,可以作为桥梁健康状况预测的科学依据。     

地质突变条件下基于组合模型的围岩等级和TBM掘进参数预测

为了提高硬岩隧道掘进机(TBM)施工的安全性和智能化,基于TBM掘进数据,提出了一种将双向长短期记忆(BiLSTM)网络与支持向量机回归(SVR)算法相结合的可以同时进行围岩等级和TBM掘进参数预测的组合模型(BiLSTM-SVR模型)。实例验证结果表明:BiLSTM-SVR模型对围岩等级的预测准确度较高,均方根误差均小于0.026 5、平均绝对百分比误差均小于0.95%;BiLSTM-SVR掘进参数预测中,推力和扭矩的预测准确度最高,净掘进速度和开挖比能的预测准确度最低;BiLSTM-SVR模型比BiLSTM模型和SVR模型的掘进参数预测准确度有较大的提高,因此进行单一模型的组合可以有效提高模型预测的准确度和鲁棒性。     

基于数据增强技术与CNN-BiLSTM-Attention的油田注水流量预测及效果

准确识别地层注水情况是油田开发的重要前提，对制定合理的注水发展规划也具有重要的指导意义。为准确预测注水，提出一种结合卷积神经网络、双向长短期记忆网络与注意力机制的油田注水流量预测方法，该方法首先将卷积神经网络(convolutional neural network，CNN)和双向长短期记忆网络(bidirection long short-term memory，BiLSTM)进行联合，用于捕获注水流量的复杂非线性时空关系，然后采用注意力机制来关注输入的重要特征。并针对油田历史数据匮乏问题，提出使用数据增强技术来增加一维时间序列的数据量。采用国内某油田注水井真实历史注水数据进行实验，研究结果表明，本研究中提出的CNN-BiLSTM-Attention预测模型的平均绝对误差(Mmean absolute error，MAE)、均方根误差(root mean square errorRoot Mean Square Error, RMSE)、平均绝对百分比误差(mean absolute percentage errorMean Absolute Percentage Error，MAPE)和决定系数(Ccoefficient of Ddetermination，R2)MAE、RMSE、MAPE 和R2 分别为0.027、0.043、9.936和0.968，通过多种模型对比，表明该方法具有较高的预测精度，可以更准确地预测注水流量。此外，研究还证实，采用数据增强技术可以有效提高模型的预测精度。研究成果可为油田精细化注水提供调整方案与高质量数据，从而为油田智能化开发提供理论依据。