短期风力发电负荷预测的新方法

以陆上风力发电负荷数据作为研究对象,将注意力机制引入双向长短期记忆与卷积神经网络（CNN）的混合模型来预测短期电力负荷．结果显示:1）注意力机制通过对不同时步的输入进行加权,能够显著提升双向长短期记忆网络的预测性能;2）双向长短期记忆网络-CNN结构比CNN-双向长短期记忆网络结构更适用于短期负荷预测,前者相较后者能够充分利用时序信息,不会在输入初期就丢失关键信息;3）基于注意力机制的双向长短期记忆网络-CNN混合模型的均方根误差（RMSE）、平均绝对百分比误差（MAPE）分别达到了575.35和7.02%,比次佳模型（基于注意力机制的双向长短期记忆网络-CNN混合模型）分别降低了2.75%和9.65%,其在风电短期负荷预测方面有很好的应用前景．      

基于CNN-BiLSTM-Attention的超短期电力负荷预测

在长短期记忆神经网络(LSTM)的基础上,运用双向的长短期记忆神经网络(BiLSTM),结合卷积神经网络(CNN)提出了一个预测模型,对超短期电力负荷预测.运用合肥市2019年全年数据对该模型进行训练及预测,结果显示,CNN-BiLSTM预测精度高于CNN-LSTM预测模型,为进一步提升预测精确度,在BiLSTM神经网...     

基于注意力机制优化长短期记忆网络的短期电力负荷预测

在电力系统的经济调度中,如何合理利用电力负荷的过去和现在来推测其未来价值,具有非常长远的社会经济价值.短期电力负荷数据具有明显的时间特征,传统的深度模型越来越多地应用于该领域.然而,深度模型可能存在梯度爆炸或梯度消失,为此,提出了一种注意力机制优化长短期记忆网络的短期负荷预测模型.该模型将长短期记忆网络单元中的激活函数改进为加权激活函数组,并加入注意力机制以提高预测精度.     

基于双通道模型的航空发动机剩余寿命预测

针对现阶段航空发动机单一剩余使用寿命预测模型数据挖掘深度不足导致预测精度低的问题,提出一种双通道模型的预测方法。首先,构建双通道网络结构：通道一使用时间卷积网络,通过残差结构和空洞卷积使得网络具有更大的感受野和计算速度;通道二使用卷积长短时间记忆网络,提取多维时空特征,捕捉数据长期依赖关系。其次,利用多头注意力机制为双通道网络特征重新赋予权重。最后,将双通道网络进行特征融合输出,实现对航空发动机剩余寿命预测。使用涡扇发动机退化数据集进行实验验证,并与其它文献中提到的卷积双向长短时间记忆网络模型、多特征注意力模型、多头注意力模型、卷积门控单元循环神经网络模型进行对比。结果表明,所提模型在3种评价指标上均取得更好的表现,为航空发动机剩余寿命预测提供了一种新思路。     

结合时间注意力机制的Bi-GRU-Atten的短时交通流预测

为使用深度学习模型预测未来高速公路交通流的情况,利用双向门控循环单元算法（Bi-GRU）从双向传播中提取信息,充分学习到历史交通流的时间相关特征,同时采用注意力机制通过正确分配权重来区分交通时间序列的重要性,进一步提高预测的计算效率。采用开源高速公路数据集对模型进行验证,结果表明：与递归神经网络算法、长短期记忆网络算法、双向长短期记忆网络算法,以及没有结合注意力机制的双向门控循环单元算法相比,本文所提算法在计算效率和预测精度方面更优,可以用于短时交通流的预测。     

基于深度学习的盾构隧道施工地表沉降预测方法

针对现有盾构隧道施工引发地表沉降预测方法中存在的难以同时挖掘数据之间的非线性特征关系和双向时序信息的问题,通过融合卷积神经网络(CNN)、双向长短期记忆(BiLSTM)与自注意力机制(SA)提出一种基于深度学习的地表最大沉降预测方法(CNN-BiLSTM-SA)。该方法首先利用CNN提取网络输入数据之间的非线性特征关系,利用BiLSTM网络提取输入数据的双向时序信息,然后引入SA机制为CNN提取的特征分配相应的权重,有效捕获时间序列中的关键信息,最后通过全连接层输出最终地表沉降预测结果。以湖南万家丽路电力盾构隧道工程为依托构建地表沉降数据集,并选用ANN、RNN、LSTM、BiLSTM模型开展对比分析。研究结果表明：评估指标CNN-BiLSTM-SA的平均绝对误差(MAE)、均方根(RMSE)、决定系数(R2)、平均绝对百分误差(MAPE)均为最优,具有更好的地表沉降预测性能。     

基于AMCNN-LSTM的电力无线接入专网异常流量检测

为了减轻电力无线专网系统因网络业务增多而带来的网络攻击以及异常流量入侵的安全事故隐患,提出了一种基于注意力机制的卷积-长短期记忆网络(convolution-long short-term memory network based on attention mecha-nism,AMCNN-LSTM)模型.该模型为避免序列特征稀疏分布的问题,采用卷积神经网络(convolutional neural net-work,CNN)提取时间序列数据特征并转化为维度固定的稠密向量;为防止记忆丢失和梯度分散问题,使用融合注意力机制的CNN单元来捕捉重要的时间序列细粒度特征;将CNN提取局部特征与长短期记忆网络(long short-term memory network,LSTM)提取序列特征的优势相结合,对电力接入专网流量数据进行异常检测.通过在电力网真实数据集上实验表明,基于注意力机制的算法能够在150轮次迭代下达到89.14％的召回率及89.67％的综合F-meas-ure得分.所提出的模型能够及时、准确地检测电力网络异常流量,有效提高检测效率及准确度.     

融合多模态的虚假新闻检测

在社交媒体高速发展方便信息交流的同时,虚假新闻也在网络上大量传播,对社会稳定造成了很大的影响.针对当前虚假新闻检测工作大多充分考虑虚假新闻中新闻文本内容而忽略图像内容的问题,提出了一种基于注意力的BiLSTM-CNN多模态虚假新闻检测模型.该模型首先使用双向长短期记忆神经记忆网络(BiLSTM)提取文本内容特征,使用卷积神经网络(CNN)提取图像语义特征,利用注意力机制(Attention)层对提取的内容特征信息分配相应的权重,再将两种特征融合以形成重新参数化的多模态特征作为输入进行虚假新闻检测.实验表明,该方法达到了98.3%的正确率.     

基于融合多注意力机制的深度学习的盾构荷载预测方法

盾构荷载作为盾构的主要性能指标,准确的荷载预测对于保证盾构安全高效工作和周边环境稳定具有重要意义.鉴于传统预测方法精度差的局限性,本研究以数据的高维度特征和时序特征为切入点,提出一种结合卷积神经网络、双向长短期记忆神经网络和注意力机制的混合模型(CNN-BiLSTM-Multiattention, CBM),对盾构荷载进行精准预测.该模型不仅可以提取数据的高维度特征和时序特征,还能突出高维度特征的重要性和关键时间节点信息.通过实验证明了相较于4种现有的模型,本文所提出的模型在3种评价指标上均优于其他模型,对推力和扭矩预测的准确率达到94.2%和96.2%.     

基于VMDLSTNet的水质预测模型

针对水质时序预测中存在长期信息和短期信息混合导致预测精度低的问题,采用变分模态分解（Variational Mode Decomposition,VMD）和长短期时间序列网络（Long- and Short-term Time-series network,LSTNet）组合使用以期望解决该问题得出更准确的水质预测。LSTNet网络中使用卷积神经网络（Convolutional Neural Networks,CNN）提取短期局部水质信息,使用循环神经网络（Recurrent Neural Network,RNN）提取长期水质信息,并且通过Skip-RNN利用序列周期特性,提取更长期信息,同时模拟自回归（Autoregressive model,AR）,为水质预测增添线性成分来达到输出能够响应输入尺度变化的目的。采用珠江流域老口站隔日采样的溶解氧数据验证模型效果,结果表明,VMDLSTNet网络处理水质预测问题的能力,不仅优于传统的BP神经网络（Back Propagation Neural Network,BPNN）、支持回归机（Support Vector Regression,SVR）模型,而且优于深度学习中时域卷积网络（Temporal Convolutional Network,TCN）模型、门循环网络（Gate Recurrent Unit,GRU）、增加注意力机制的长短时记忆网络（Long Short-Term Memory Add Attention,LSTM-AT）模型,溶解氧的预测平均绝对误差（Mean Absolute Error,MAE）为0.0931,预测均方误差（Mean Square Error,MSE）为0.0146,预测均方根误差（Root Mean Square Error,RMSE）为0.1208,水质类别的预测准确率为95%。     

基于注意力模型的卷积循环神经网络城市声音识别

环境声音识别（Eenvironment Ssound Rrecognition ,ESR）在基于情景感知和辅助技术等领域发挥着重要作用。卷积神经网络（CNN）和循环神经网络（RNN）作为两种最具代表性的特征提取方法,在语音和音乐信号处理方面都取得显著效果,然而二者都存在一定缺点,CNN无法有效提取时间特征,RNN在提取空间特征上也存在明显劣势。为了有效的提取并利用时间特征和空间特征,提出一种新模型,利用时间分布卷积神经网络（CNN）从梅尔频谱图中提取城市环境声音特征,然后应用双向长短时记忆网络（BiLSTM）从CNN输出中获取时间信息,最后在BRNN的输出序列上实施注意力机制,从而关注到与城市环境声音最相关的特征进而做出分类判断,注意力机制既提高了分类准确性,又增强了模型的可解释性。实验结果表明,在Urbansound8K数据集中,该模型可获得80.2%的分类准确率,这优于以前在同一数据集的报告结果     

基于CEEMDAN-CNN-GRU组合模型的短期负荷预测方法

负荷数据的高度随机性和不确定性,导致短期负荷预测的精度很难提升.为了提高短期负荷预测的准确度,提出了一种基于完全自适应噪声集合经验模态分解(CEEMDAN)与卷积神经网络(CNN)和门控循环单元(GRU)组合模型的短期负荷预测方法.首先,利用CEEMDAN模型将复杂的原始负荷序列分解为几个相对简单的子序列;其次,利用卷...     

基于恐惧指数的疫情影响下短期电力负荷预测方法

突如其来的新型冠状病毒肺炎（COVID-19）疫情给电力负荷造成了严重的影响,为了有效应对疫情带来的影响,提高疫情影响下的短期负荷预测精度,提出了一种基于恐惧指数（FI）的疫情影响下短期电力负荷预测方法.利用疫情数据构建FI,与时间信息、历史负荷、气象条件一起作为广义回归神经网络（GRNN）模型的输入变量,用果蝇优化算法（FOA）对GRNN平滑因子进行优化,提高预测结果的准确度和稳定性,使用构建的预测模型进行预测.算例结果表明,该方法能有效提高疫情影响下短期负荷预测的精度,为重大灾难影响下的短期负荷预测提供参考与借鉴.      

基于CNN-LSTM的综合能源系统负荷预测模型

负荷的准确预测是综合能源系统设计、运行、调度和管理的前提。现有的负荷预测模型中大都考虑了气象、日期因素,却没有考虑系统中电、冷、热负荷间的相关性,这会对模型的预测精度造成影响。使用了科普拉理论对系统中3种负荷之间的相关性进行分析。从分析结果看,它们之间具有强相关的关系。基于上述分析结果,提出了一种基于深度学习的智慧综合能源系统负荷预测模型,该模型使用卷积神经网络(convolutional neural network,CNN)来提取系统中电、冷、热负荷间的耦合特性相关的特征量。将得到的特征量转换为时间序列后,输入到长短期记忆(long short-term memory,LSTM)网络中进行负荷预测。实验显示,所提出的CNN-LSTM组合模型的预测精度更为精准,可为综合能源系统的负荷预测提供参考。     

注意力机制下的EMD-GRU短期电力负荷预测

为进一步提高短期电力负荷预测精度,构建一种基于注意力机制的经验模态分解(EMD)和门控循环单元(GRU)混合模型,对时间序列的短期负荷进行预测.首先,对负荷序列进行EMD,将数据重构成多个分量;再通过GRU提取各分量中时序数据的潜藏特征;经注意力机制突出关键特征后,分别对各分量进行预测;最后,将各分量的预测结果叠加,得到最终预测值.仿真结果表明:相对于BP网络模型、支持向量机(SVR)模型、GRU网络模型和EMD-GRU模型,基于EMD-GRU-Attention的混合预测模型能取得更高的预测精度,有效地提高短期电力负荷预测精度.     

融合情感词典的改进BiLSTM-CNN+Attention情感分类算法

传统机器学习和深度学习模型在处理情感分类任务时会忽略情感特征词的强度,情感语义关系单薄,造成情感分类的精准度不高。本文提出一种融合情感词典的改进型BiLSTM-CNN+Attention情感分类算法。首先,该算法通过融合情感词典优化特征词的权重;其次,利用卷积神经网络(CNN)提取局部特征,利用双向长短时记忆网络(BiLSTM)高效提取上下文语义特征和长距离依赖关系;再结合注意力机制对情感特征加成;最后由Softmax分类器实现文本情感预测。实验结果表明,本文提出的情感分类算法在精确率、召回率和F值上均有较大提升。相较于TextCNN、BiLSTM、LSTM、CNN和随机森林模型,本文方法的F值分别提高2.35%、3.63%、4.36%、2.72%和6.35%。这表明该方法能够充分融合情感特征词的权重,利用上下文语义特征,提高情感分类性能。该方法具有一定的学术价值和应用前景。     

特征空间闭操作驱动的短期电力负荷预测

为了获得更高的短期负荷预测精度,有必要充分考虑负荷变化趋势与区域整体用电行为模式之间的关联,提出一种特征空间闭操作驱动的短期电力负荷预测方法。在综合模型的基础上,首先利用特征提取模型将历史用电负荷分解成多个分量作为刻画区域用电行为的特征;然后使用特征选择模型对用电行为特征进行选择,减少冗余或无效特征的干扰,优化预测模型;最后将选择的特征子集作为预测模型的输入特征从而进一步估计出各时段负荷的分布。结果表明采用本方法预测精度更高。     

基于注意力机制结合CNN-BiLSTM模型的电子病历文本分类

为了解决中文电子病历文本分类的高维稀疏性、算法模型收敛速度较慢、分类效果不佳等问题,提出了一种基于注意力机制结合CNN-BiLSTM模型的病历文本分类模型.该模型首先使用word2vec工具进行词向量表示,利用多层卷积神经网络(convolutional neural networks,CNN)结构提取病历文本的局部特...     

基于GA的改进SVM算法对RBF优化算法在短期负荷预测中的应用

高预测精度的短期负荷预测对于坚强电网非常重要,根据电力负荷特性的变化规律,提出了一种改进的基于径向基函数神经网络的短期负荷预测方法,应用经GA优化的SVM多核径向基函数去提取有用数据,提高了基于RBF神经网络的短期负荷预测精度.以美国加州春季负荷为输入数据,应用MATLAB仿真说明改进算法的优越性和其鲁棒性.     

基于SA-LSSVM的电力短期负荷预测

提出融合模拟退火（Simulated annealing,SA）和最小二乘支持向量机（Least Square Support Vector Machine,LSSVM）的电力短期负荷预测方法.由于LSSVM的预测精度依赖于其参数的选择,并且难以选取合适的参数值,因此,参数选择是LSSVM的一个关键问题.为了提高参数选择的质量和效率,采用SA算法进行LSSVM的参数寻优.以某市2010年1月1日至2011年1月7日的电力负荷数据和气象数据进行仿真实验, 实验结果表明该方法具有较高的预测精度.