结合LSTM和自注意力机制的图卷积网络短期电力负荷预测

针对现有电力负荷预测模型建模工作量大、时空联合表征不足、预测精度低等问题,提出了一种结合长短期记忆（LSTM）网络和自注意力机制的图卷积网络（GCN）的短期电力负荷预测模型GCNLS-STLF。首先,利用LSTM和自注意力机制将原始多维时间序列数据转化为包含序列间关联关系的电力负荷图;然后,通过GCN、LSTM和图傅里叶变换（GFT）对电力负荷图进行特征提取;最后,使用全连接层对特征进行重构,并利用残差进行多次预测,以增强原始电力负荷数据的表达能力。在摩洛哥与巴拿马某电站的真实历史电力负荷数据上进行的短期电力负荷预测实验结果显示,与支持向量机（SVM）、LSTM、混合模型CNN-LSTM和基于注意力的CNN-LSTM(CNN-LSTM-attention)等预测模型相比,GCNLS-STLF在摩洛哥全部电力负荷测试集上的平均绝对百分比误差（MAPE）分别降低1.94、0.90、0.49和0.37个百分点;在巴拿马电力负荷测试集上的3月份MAPE分别降低1.39、0.94、0.38和0.29个百分点,6月份MAPE分别降低1.40、0.99、0.35和0.28个百分点。实验结果表明,GC...     

一种基于深度学习的时间序列预测方法

时间序列是一种广泛存在于现实各领域之中的海量高维数据,时间序列预测是该领域的一个研究重点.传统的时间序列预测方法仅仅从时间的维度对时间序列进行分析,忽略了外界影响因素对时间序列可能产生的影响.针对传统时间序列预测方法存在的问题,提出一种基于深度学习的时间序列预测模型DAFDCRNN (dual-stage attention and full dimension convolution based recurrent neural network).该模型引入目标注意力机制来学习输入特征与被预测特征之间的相关性,引入全维度卷积机制来学习输入特征之间的相关性,并引入时间注意力(temporal attention)机制来学习时间序列的长期时间依赖性.在实验部分首先确定模型的超参数,然后对模型部件的有效性进行验证,最后通过对比实验验证了所提出的DAFDC-RNN模型在大特征量数据集上具有最佳的预测效果.     

基于社交圈层和注意力机制的信息热度预测

社交网络现已成为现实世界中信息传播与扩散的主要媒介,对其中的热点信息进行建模和预测有着广泛的应用场景和商业价值,比如进行信息传播挖掘、广告推荐和用户行为分析等.目前的相关研究主要利用特征和时间序列进行建模,但是并没有考虑到社交网络中用户的社交圈层对于信息传播的作用.本文提出了一种基于社交圈层和注意力机制的热度预测模型SCAP(Social Circle and Attention based Popularity Prediction),首先对社交圈层进行定义,通过自动编码器提取用户历史文本序列的特征,对不同用户的社交圈层进行聚类划分,得到社交圈层特征.进而对于一条新发布的文本信息,通过长短期记忆网络与嵌入层提取其文本特征、用户特征和时序特征,并基于注意力机制,捕获到不同社交圈层对于该文本信息的影响程度,得到社交圈层注意力特征.最后将文本特征、用户特征、时序特征和社交圈层注意力特征进行特征融合,并通过两个全连接层进行建模学习,对社交信息的热度进行预测.在推特、微博和豆瓣等四个数据集上的实验结果表明,SCAP模型的预测表现相比于多个对比模型总体呈优,在不同数据集上均方误差(MSE)分别降低了0.017,0.022,0.021和0.031,F1分数分别提升0.034,0.021,0.034和0.025,能够较为准确地预测社交信息的热度.本文同时探究了不同实验参数对于模型的影响效果,如用户历史文本序列的数量、社交圈层的数量和时间序列的长度,最后验证了模型输入的各个特征和注意力机制的引入对于模型预测性能提升的有效性,在推特数据集中,引入社交圈层和注意力机制,模型的MSE指标分别降低了0.065和0.019.     

基于CEEMDAN-DA-GRU的瓦斯涌出量预测模型

针对瓦斯涌出量数据具有非线性、周期性的特点和实际场景下不同特征因素与瓦斯涌出量关联程度不同导致预测精度低的问题,提出一种基于完备经验模态分解和双重注意力机制的瓦斯涌出量预测模型。通过CEEMDAN方法将瓦斯涌出量数据分解为频率不同的分量,以降低非线性数据的预测难度;再计算特征注意力机制中计算各特征因素的权重,挖掘当前分量与各个特征之间的关联关系;基于门控循环单元的时序注意力机制量化历史隐藏状态对当前状态的影响,提高长时间序列预测的准确度。通过相加重构得到最终预测结果。基于陕西某矿瓦斯涌出量数据进行预测实验,所提出模型的平均绝对百分比误差为1.65%,均小于DA-GRU、GRU和SVM等对比模型,验证了该模型的有效性。     

基于自适应混合优化的电力数据预测方法

电力数据易受气候、季节、节假日等因素影响,出现不同波动特征.针对不同特征电力数据预测精度不高、预测方法泛化能力弱等问题,提出基于自适应混合优化的电力数据预测方法 .通过使用小波变换和平稳性分析,将电力数据自适应地分解为包含趋势、季节和周期信息的非平稳序列和多个平稳序列;使用状态转移算法分别优化长短时记忆深度学习网络和自回归移动平均模型,对非平稳序列和平稳序列分别拟合、预测;对预测的各序列进行重构,得到最终预测结果.在电力系统数据上进行多步预测,对比实验表明:与其他方法相比,所提方法不仅具有更高的预测精度,还具有较强的泛化能力.     

结合残差时空注意力机制的海面温度预测算法

海面温度(SST)与全球气候变化、海洋灾害、海洋生态系统密切相关,因此准确地预测 SST 是一个重要课题。现有区域型 SST 预测方法将 SST 时间序列处理为二维矩阵序列并作为模型输入,每个矩阵对应着特定时刻的区域 SST,通过提取时空特征来实现其预测,但未充分考虑不同时空特征在时间维度和空间维度上对 SST 影响的不均衡性,限制了预测精度地提高。为了解决该问题,提出了一种结合时间注意力机制和空间注意力机制的区域 SST 预测方法(CRA-ConvLSTM),使得模型动态关注不同时刻的时间特征和区域内不同点的空间特征,赋予不同的影响权重,进而提高 SST 预测精度。具体来说,首先将输入的区域 SST 时间序列通过卷积神经网络(CNN）编码为多层特征向量,提取局部特征;然后构建了残差时间注意力模块,自适应地学习不同时刻的注意力权重,提取时间维度上的关键特征,并设计了残差空间注意力模块,提取区域内不同点在空间维度上的关键特征,此外,将注意力机制结合残差结构避免了网络中信息量过少导致的性能下降问题;最后通过卷积长短时记忆神经网络(ConvLSTM)将特征向量映射为 SST 预测结果。实验结果显示,该模型的均方根误差(RMSE)和预测精度(PACC)分别达到了 0.19 和 99.43%,均优于其他方法,有效提高了 SST 的预测精度。     

基于融合学习的无监督多维时间序列异常检测

随着多云时代的到来，云际智能运维能够提前检测处理云平台的故障，从而确保其高可用性.由于云系统的复杂性，运维数据在数据局部性和数据全局性上呈现出多样的时间依赖和维度间依赖，这给多维时间序列异常检测带来很大的挑战.然而，现有的多维时间序列异常检测方法大多是从正常时序数据中学习到特征表示并基于重构误差或预测误差检测异常，这些方法无法同时捕获多维时间序列在局部性和全局性上的信息依赖，从而导致异常检测效果差.针对上述问题，提出了一种基于融合学习的无监督多维时间序列异常检测方法，同时对多维时间序列的数据局部特征和数据全局特征进行建模，得到更加丰富的时序重构信息，并基于重构误差检测异常.具体地，通过在时域卷积网络中引入自注意力机制使得模型在构建局部关联性的同时更加关注数据全局特征，并在时域卷积模块和自注意力模块间加入信息共享机制实现信息融合，从而能够更好地对多维时序的正常模式进行重构.在多个多维时间序列真实数据集上的实验结果表明，相较于之前的多维时间序列异常检测，提出的方法在F1分数上提升了高达0.0882.     

基于自注意力机制的局部与全局特征融合的评分预测算法

为了完全挖掘异质信息网络中节点的特征并且更好地融合这些特征,提高推荐算法的性能,提出一种基于自注意力机制的局部与全局特征融合的评分预测算法（rating prediction algorithm based on self-attention mechanism and fusion of local & global features,AMFL&GRec）。首先基于LeaderRank算法提取目标节点的全局序列,基于元路径带偏置的随机游走算法提取节点的局部序列,通过skip-gram模型分别学习节点的全局特征与局部特征;通过自注意力机制学习目标节点对局部与全局特征的偏好,从而得到在单一元路径下节点的特征表示;再通过自注意力机制融合不同元路径下同一节点的表示,从而得到节点在不同元路径下的最终的特征表示;最后基于多层感知器实现评分预测任务。在两个真实数据集进行了大量实验,实验结果验证了AMFL&GRec算法不仅能够捕获具有密集连通节点的微观（局部）结构,而且还能够捕获该节点在网络中的全局结构,从而使其得到的节点特征得以体现节点的整体（局部+全局）特征。同时,实验结果也证明了AMFL&GRec算法评分预测性能优于对比算法,从而证明利用自注意力机制考虑异质信息网络中节点对于局部、全局特征以及元路径的偏好能够提高评分预测的准确性。     

基于A-DLSTM夹层网络结构的电能消耗预测方法

全球人口的快速增长和技术进步极大地提高了世界的总发电量,电能消耗预测对于电力系统调度和发电量管理发挥着重要的作用,为了提高电能消耗的预测精度,针对能耗数据的复杂时序特性,文中提出了一种将注意力机制(Attention)放置于双层长短期记忆人工神经网络(Double layer Long Short-Term Memory,DLSTM)中的新颖夹层结构,即A-DLSTM。该网络结构利用夹层中的注意力机制自适应地关注单个时间单元中不同的特征量,通过双层LSTM网络对序列中的时间信息进行抓取,以对序列数据进行预测。文中的实验数据为UCI机器学习数据集上某家庭近5年的用电量,采用网格搜索法进行调参,实验对比了A-DLSTM与现有的模型在能耗数据上的预测性能,文中的网络结构在均方误差、均方根误差、平均绝对误差、平均绝对百分比误差上均达到了最优,且通过热力图对注意力层进行了分析,确定了对用电量预测影响最大的因素。     

一种基于机器学习的电力能耗异常检测与预测的方法

在预处理电力能耗数据时，现有的电力数据异常检测与预测方法没有补全由删除或修正数据导致的缺失项，致使时间序列中出现明显的错漏。为了提高电力能耗异常检测与预测的准确性，基于机器学习设计一种电力能耗异常检测与预测方法。在数据的预处理过程中，通过清洗、转换与提取电力能耗数据，补全时间序列中的缺失值，保证被删除与修正的数据不会影响到整体的数据处理，在此基础上设计基于机器学习的电力能耗异常检测算法以及电力能耗预测算法。选择春、夏、秋、冬4个季节的电力数据，比较机器学习方法与其他3种方法在电力能耗异常数据检测与预测的结果。由实验结果可知，所提方法的ROC值在不同的时间中均大于其他算法，且其预测结果的RMSE与MAE误差指标均小于其他算法，可见所提方法的预测结果准确性高于其他算法。