基于时空图注意力神经网络的交通道路拥塞和异常预测

为全面捕获交通路网的时空特性,分析路况的复杂多变性,实现道路拥堵和突发情况的高效准确预测,研究提出一种时空图注意力神经网络模型,通过将道路网络建模成一系列随时间变化的图,利用图注意力机制(graph attention network, GAT)关注路网图关键节点的空间特性并捕获动态的全图空间特征,再利用门控循环单元(gated recurrent neural network, GRU)充分捕获相邻路网图的时间相关性并降低模型冗余,提升了对道路拥堵和异常情况的预测准确率。采用PEMSD数据集进行实验。结果表明,所提方法与对比模型相比准确率与召回率均优于现有方法,有效提升了交通异常预测精度。     

基于RBF神经网络的地理时空信息预测推理方法

本文在深入分析地理实体时空特征的基础上,对地理实体进行抽象和标准化处理,提出一种针对特征复杂地理实体的地理信息预测推理方法。该方法重点研究了基于RBF网络学习方法的地理实体时空信息预测推理的理论、模型方法和具体过程,通过对地理实体对象化抽象描述和标准化处理,建立时空信息融合的超曲面,并利用RBF神经网络超强的非线性拟合能力,构建了复杂地理实体的时间、空间和属性信息的一体化预测和推理模型,并以桂林漓江阳朔段流域水质中溶解氧(DO)的含量的预测推理验证该方法的可行性,为时空数据处理过程中智慧决策和推理分析提供了有效途径。     

汽车行驶平顺性的预测及优化设计

以货车为研究对象,将其简化为八自由度动力学模型,用前后车轮的路面随机激励作为系统的输入,分析了时域响应和频域响应,提出了一种预测汽车行驶平顺性并对其进行优化设计的方法,在汽车行驶平顺性的分析与研究中,具有一定的实用价值。     

基于 KPCA-AGRU 神经网络的火电机组 NOx排放预测

针对火电机组锅炉燃烧过程中预测 NOx 排放过程存在的非线性和时序性特点,提出一种基于核主成分分析(KPCA)和注意力机制(AM)的门控循环神经网络(GRU)氮氧化物预测模型。 首先选用 KPCA 对模型的输入变量进行降维,消除冗余变量;其次,将筛选的变量数据作为 GRU 的输入,并采用网格搜索优化 GRU 的超参数;最后,引入 AM 计算权值,实现区分输入特征功能,提高 NOx 预测模型精度。 通过某 330 MW 电站锅炉实际数据对 AGRU预测模型仿真验证,并将 AGRU 模型、GRU 模型和 BP 神经网络模型的预测结果进行对比。 结果表明:基于 AGRU的 NOx 预测模型的均方根误差和平均绝对误差较 BP 神经网络和 GRU 模型均有减少,可精准预测非线性时序燃烧过程的 NOx 排放。     

基于LSTM神经网络的乘用车能耗预测

为改善当今石油供需矛盾和环境问题,针对乘用车提出了基于LSTM神经网络的燃油乘用车能耗预测模型。通过纵向动力学建模并匹配相应车型进行求解,结合GB/T 38146.1行驶工况数据,得出能耗随时间的变化率。构建LSTM神经网络架构,根据处理后的数据样本,对LSTM神经网络进行训练和评价。最后,通过LSTM神经网络和BP神经网络的仿真对比表明,随着迭代周期的增加,LSTM神经网络模型具有更高的精度,对能耗预测的准确性较好,对改善无人驾驶车辆的节能减排具有工程应用价值。     

基于注意力机制与神经网络的热电联产锅炉负荷预测

热电联产机组的锅炉负荷准确预测对电厂生产管理及调度有直接作用.基于注意力机制和深度卷积-长短期记忆网络原理,提出一种新的热电联产长期负荷预测模型,该模型以锅炉出口蒸汽流量(负荷)历史数据和多维负荷影响因素为输入,对负荷进行长期预测.利用Pearson相关系数判定对原始数据进行筛选;将处理后的数据经卷积层进行特征提取和进一步降维,通过长短期记忆层进行拟合,并采取注意力机制对权值进行优化,实现对负荷的精准预测.以浙江桐乡电厂实测数据为例进行验证,结果表明所提方法的平均绝对百分比误差小于1%,能够实现锅炉负荷的精准预测,智能算法在热电联产领域的应用具有一定的借鉴意义.     

基于集成算法的路段短时行驶时间预测

为了更好地解决路段行驶时间的短时预测问题,提出并改善了一种基于树的集成算法。针对小时间尺度下交通时变性强这一特性,构建更加鲁棒的梯度提升树（GBDT）以减少突变点的干扰。为了克服偏差 方差窘境,将随机树（RF）与GBDT进行融合,提出RF-GBDT的集成算法,并考虑各种历史旅行时间数据的相关变量以提高模型的可解释性。预测结果表明,与单独的RF或GBDT相比,RF-GBDT具有更好的预测准确度与算法稳定性。     

基于二向注意力循环神经网络的PM2.5浓度预测

针对PM2.5浓度预测模型效果不稳定、泛化能力差的问题,以循环神经网络和注意力机制为基础,提出了二向注意力循环神经网络（TDA RNN）。首先,TDA-RNN模型通过注意力机制获取输入数据的时序注意力和类别注意力,并将其进行融合;然后通过特征编码器对融合后的数据进行编码,获得中间特征;最后将中间特征与PM2.5浓度的历史信息融合,并通过特征解码器获取预测值。对北京地区的PM2.5浓度进行了预测。结果表明,相比前向型神经网络、长短期记忆神经网络、门控循环单元模型和滑动平均模型,TDA-RNN模型预测精度更高;在抗干扰测试中,当输入数据存在无关因素时,TDA RNN模型的预测精度出现轻微下降,但仍高于其他模型。该二向注意力循环神经网络特征提取能力强,预测精度高,同时可适用于其他场景的多变量时间序列预测。     

基于分层注意力循环神经网络的司法案件刑期预测

为了解决刑期预测任务准确率较差的问题,提出一种基于多通道分层注意力循环神经网络的司法案件刑期预测模型.该模型对传统的循环神经网络模型进行了改进,引入了BERT词嵌入、多通道模式和分层注意力机制,将刑期预测转化为文本分类问题.模型采用分层的双向循环神经网络对案件文本进行建模,并通过分层注意力机制在词语级和句子级两个层面捕获不同词语和句子的重要性,最终生成有效表征案件文本的多通道嵌入向量.实验结果表明:对比现有的基于深度学习的刑期预测模型,本文提出的模型具有更高的预测性能.     

基于RF-WOA-VMD-BiGRU-Attention的神经网络模型在海浪预测中的应用

海上风电场的海况数据极其复杂导致用于海浪高度预测的输入参数极其不稳定,筛选出关键信息,提高输入参数的质量可以极大地提高海浪高度预测的准确性。以乐亭菩提岛风电场近一年的海上数据为基础,构建了一种基于随机森林(random forest, RF)、鲸鱼优化算法(whale optimization algorithm, WOA)、变分模态分解(variational mode decomposition, VMD)和双向门控循环单元(bidirectional gated recurrent unit, BiGRU)的海浪预测模型。该模型利用随机森林对环境特征等输入变量进行筛选,有效减少数据冗余,然后基于WOA-VMD模型自适应确定最优参数和自适应分解原始序列,提高数据质量并消除数据噪声的干扰。此外,针对海浪预测提出了一种基于注意力机制优化的BiGRU算法,随机森林的注意力机制将为BiGRU的隐藏层状态分配不同的权重,加强关键信息的影响。实验结果表明该模型和其他模型对比,输入质量更高,预测精度更高,拟合程度更准确,对风电场海浪预测有着重大意义。     

基于行驶特征预测的HEV在线控制策略研究

现有控制策略未考虑实际行驶特征对油耗的影响,离线全局最优策略虽能获得理论最小油耗,但只能离线应用。文章提出了一种基于行驶特征预测的控制策略,实现了离线最优轨迹的在线运用。采用动态规划(dynamic programming,DP)算法获得了离线最优轨迹;研究了汽车的行驶特征(包括行驶工况和行驶模式),利用欧几里得贴近度实现了行驶工况的预测;利用反向传播(back propagation,BP)神经网络进行了行驶模式预测;采用BP神经网络对离线最优轨迹及相应的汽车状态进行学习,设计了基于行驶特征预测的在线控制策略。仿真结果表明,与基于规则的电机辅助控制策略相比,该文设计的控制策略燃油经济性提高了7.51%,且工况适应性良好,同时电池电量保持能力较好。     

基于层次化多模态注意力机制循环神经网络的服装新品销售预测（英文）

在新服装产品销售预测任务中,由于缺乏历史销售数据,通常需要充分利用其他模态的数据作为补充。然而,多模态服装数据通常具有冗余性和异构性。为解决这些问题,提出一种包括三个主要元素的层次化多模态注意力循环神经网络(hierarchical multi-modal attention based recurrent neural network, HMA-RNN)。层次化结构将高层语义信息与低层语义信息分离,以避免信息冗余。在模态融合阶段引入多模态注意力机制(multi-modal attention, MMA)以减轻固有的数据不对齐问题。采用共享注意力机制构建跨多模态数据的依赖关系。在Visuelle 2.0数据集上的试验结果表明,所提出的方法加权平均百分比误差(weighted average percentage error, WAPE)为72.07,平均绝对误差(mean absolute error, MAE)为0.80,明显优于现有的方法,表明了该研究所提出的方法的有效性。     

基于时空图卷积网络的输电线路覆冰预测

针对已有的输电线路覆冰预测模型鲜有考虑覆冰过程中的空间特征信息,从而导致预测精度欠佳的问题,本文从时空序列预测的角度建立输电线路覆冰方面的预测体系,采用图卷积网络(Graph Convolutional Network, GCN)构建输电线路覆冰预测模型,基于图神经网络设计对输电线路覆冰拉力的图数据进行深度特征学习与图特征向量表示,以更好地提取电网塔杆覆冰拉力值的时空分布特征,从而准确预测未来的拉力值。基于南方电网的真实实验数据,设计一套可靠的数据预处理流程,将电网覆冰拉力数据转化为可以深度学习的时空序列大数据进行训练和验证。实验结果表明,本文提出的模型较已有的主流覆冰预测模型具有更加优异和稳定的预测结果,能够为输电线路及时除冰工作提供决策参考。     

基于注意力机制的CNN-LSTM模型的航迹预测

基于数学模型或统计模型的传统航迹预测方法存在一定的局限性，无法满足现代航空领域对于高效、准确、实时的航迹预测需求。针对此问题，提出基于注意力机制的CNN-LSTM模型的实时航迹预测方法。该模型首先使用一维卷积对航迹数据的多维度特征进行提取，从而减少输入特征的数量。其次利用获取的多维度时序数据作为LSTM的输入，通过LSTM提取上下文的信息。最后使用注意力机制为LSTM中不同时序节点的输出赋予权重，达到聚焦关键航迹信息的作用。经过实验验证：本文的模型与LSTM模型和CNN-LSTM模型相比，预测出的路径更接近真实航迹；文中的模型比LSTM模型的平均预测误差降低了29.7%，比CNN-LSTM模型降低了25.4%。综上所述，文中方法可以显著提高航迹预测的精度。     

基于局部信息增强注意力机制的网络流量预测

针对网络流量具有强烈的非线性和不确定性导致传统统计方式或者机器学习方法难以准确预测的问题,为进一步提升网络流量预测精度,在传统时序序列预测模型的基础上设计实现了一种局部上下文信息增强的注意力机制,通过卷积计算将输入转换为注意力机制中的Query和Key,从微观角度对时间序列进行解释,提高了预测模型的局部感知能力。进而将提出的注意力机制分别与长短期记忆人工神经网络和门控循环单元两个时序预测模型相结合并将结合后的模型用于某运营商提供的两个不同网络流量数据集进行网络设备流量预测。实验结果表明基于局部上下文信息增强注意力机制的预测模型具有更好的预测效果。     

基于CNN-LSTM-Attention的短期风向预测研究

风向预测对提高风能转化率、保障风力发电机偏航系统安全运行及增加风力发电效益具有重要意义。为准确预测风向,提出一种基于CNN-LSTM-Attention的短期风向预测模型。首先,利用卷积神经网络(Convolutional Neural Network, CNN)提取风向数据动态变化特征,然后将所提取的特征向量构成时间序列作为长短期记忆(Long Short-Term Memory,LSTM)网络的输入,最后使用注意力机制(Attention mechanism)分配LSTM隐含层不同权重,增强重要特征的作用,完成风向预测。采用北部湾海域历史风向数据,通过实验与其他神经网络预测模型进行对比,结果显示,CNN-LSTM-Attention模型的相对平均误差(MAPE)值为3.2119%,R²为0.982 6, 优于其他对比模型。所得结果为广西北部湾海域海上风电探索发展提供参考。     

基于深度学习的城市流量预测

就所述的长短期记忆(LSTM)模型和DeepST-ResNet模型进行了研究分析,并基于西安滴滴出行的真实数据对相关模型进行对比实验,分析了各个模型的优劣,提出了建立更优模型的思路与展望.     

基于数据增强技术与CNN-BiLSTM-Attention的油田注水流量预测及效果

准确识别地层注水情况是油田开发的重要前提,对制定合理的注水发展规划也具有重要的指导意义。为准确预测注水,提出一种结合卷积神经网络、双向长短期记忆网络与注意力机制的油田注水流量预测方法,该方法首先将卷积神经网络(convolutional neural network,CNN)和双向长短期记忆网络(bidirection long short-term memory,BiLSTM)进行联合,用于捕获注水流量的复杂非线性时空关系,然后采用注意力机制来关注输入的重要特征。并针对油田历史数据匮乏问题,提出使用数据增强技术来增加一维时间序列的数据量。采用国内某油田注水井真实历史注水数据进行实验,研究结果表明,本研究中提出的CNN-BiLSTM-Attention预测模型的平均绝对误差(Mmean absolute error,MAE)、均方根误差(root mean square errorRoot Mean Square Error, RMSE)、平均绝对百分比误差(mean absolute percentage errorMean Absolute Percentage Error,MAPE)和决定系数(Ccoefficient of Ddetermination,R2)MAE、RMSE、MAPE 和R2 分别为0.027、0.043、9.936和0.968,通过多种模型对比,表明该方法具有较高的预测精度,可以更准确地预测注水流量。此外,研究还证实,采用数据增强技术可以有效提高模型的预测精度。研究成果可为油田精细化注水提供调整方案与高质量数据,从而为油田智能化开发提供理论依据。     

基于时空数据挖掘的铁路客流预测方法

提出了一种新的基于时空数据挖掘的铁路客流预测方法,该方法一方面采用统计学原理对目标对象本身的时序进行预测,另一方面通过神经网络解算相邻对象的空间影响,最后使用线性回归得到综合预测结果.采用该方法对某铁路直通区段2004年春运期间旅客总发送量进行预测,与不考虑空间影响的预测方法相比,预测精度有所改善.     

基于注意力机制优化长短期记忆网络的短期电力负荷预测

在电力系统的经济调度中,如何合理利用电力负荷的过去和现在来推测其未来价值,具有非常长远的社会经济价值.短期电力负荷数据具有明显的时间特征,传统的深度模型越来越多地应用于该领域.然而,深度模型可能存在梯度爆炸或梯度消失,为此,提出了一种注意力机制优化长短期记忆网络的短期负荷预测模型.该模型将长短期记忆网络单元中的激活函数改进为加权激活函数组,并加入注意力机制以提高预测精度.