基于时空特征的公交站点短时客流量预测

针对以往公交客流量预测只考虑时序特征而忽略空间维度特征的缺点,提出一种结合注意力机制的图卷积长短期记忆单元预测模型(AGLSTM)来预测公交站点的客流量.该模型运用图卷积网络(GCN)对每个时刻的公交站点客流量进行空间维度的特征提取,使用长短期记忆网络(LSTM)对公交站点客流量进行时间特征的提取.为了更关注公交站点客...     

基于ABC-LSTM-GRU的时间序列分解与预测模型

针对金融时间序列数据的高噪声、时间依赖性等问题,提出了一种人工蜂群算法-长短期记忆-门控单元(ABC-LSTM-GRU)混合模型。该模型综合利用长短期记忆网络(LSTM)和门控循环单元(GRU)循环神经网络,更全面地捕捉时间序列中的长期和短期关系。在特征处理阶段,通过相关性分析对特征进行筛选,同时采用奇异谱分析(SSA)对数据进行分解,得到高频、中频和低频三个部分。在模型的超参数优化中,采用了改进后的人工蜂群算法(ABC),以提高模型的性能。为验证ABC-LSTM-GRU混合模型的有效性,选择NIFTY-50股票指数进行实证分析。实验结果对比显示,ABC-LSTM-GRU混合模型在时间序列预测方面的表现更佳,相较于LSTM与GRU模型,其在均方根误差(RMSE)指标上分别降低了28.3%与21.5%,显示出更为准确的预测性能。     

基于混合卷积神经网络算法的风场预测研究

在农业生产中,准确的风速预报对农作物安全防范有着至关重要的作用。针对云南地区的高海拔和多山,基于卷积神经网络框架,提出了卷积长短时序分析神经网络-卷积门控循环单元神经网络(ConvLSTM-ConvGRU)混合风速预测模型。通过神经网络框架的改进,有效的提高了模型对风场空间特征的提取。利用美国国家环境预报中心(NCEP)提供的再分析风速数据集,使用ConvLSTM、ConvGRU、ConvLSTM-ConvGRU混合模型分别对云南地区的风速进行。实验结果表明：ConvLSTM-ConvGRU混合风速预测模型能够有效对云南地区风场进行预测,相较于另外两个模型提高了预测准确度。     

面向短时地铁客流量预测的混合深度学习模型

城市交通客流量精准预测是智能交通系统的重要环节,是有效管控交通、规划最佳出行线路的关键。目前城市交通客流量短时预测研究主要集中在利用深度学习模型进行时空特征的提取,忽略了对模型优化的研究。针对短时地铁客流量预测存在的问题,提出一种混合深度学习模型ResGRU_Metro,将卷积神经网络、残差单元和门控循环单元相结合,捕获流量数据的时空特征。针对深度学习模型常用的损失函数难以对交通客流量峰值进行精准预测的问题,引入面向短时交通流量预测的加权平方误差,根据交通客流量的大小为预测误差赋予不同权重,并加大对交通客流量峰值处误差的惩罚,使神经网络在反向传播时更加关注峰值处的预测和误差,从而提升交通客流量峰值的预测精度。此外,通过耦合天气、空气质量等外部因子,改善模型的整体预测性能,增强模型的稳定性。实验结果表明,相比LR、PSVR、CNN等典型的预测模型,ResGRU_Metro模型有更高的预测精度,能够准确预测交通客流量的峰值。     

基于时空注意力机制的加油站级客流量预测

加油站是重要的能源供给单位,对加油站站点的下一时段客流量进行精准预测,可为相关资源的调度与分配提供决策支撑。针对加油站级客流量预测问题,结合加油站客流数据的时空特征,提出一种基于注意力机制的时空网络模型。以路网结构建模的站级客流数据为输入,结合卷积神经网络、长短期记忆网络与注意力机制,解决站点间的空间依赖、短期与长期时序依赖以及长期时序依赖中的时间漂移问题,精准预测下一时段的站级客流量。在真实数据集上的实验结果表明,与历史平均模型、长短期记忆网络模型和双向长短期记忆网络模型等基线模型相比,该模型在均方误差（RMSE）、平均绝对误差与平均绝对百分比误差上均有所提升,其中RMSE提升22.89%。     

基于多时空图卷积网络的交通流预测

交通流预测在交通管理和城市规划的应用中具有重要意义,然而现有的预测方法无法充分挖掘其潜在的复杂时空相关性,为进一步挖掘路网道路网络数据的时空特性以提高预测精度,提出一种多时空图卷积网络(multi-spatial-temporal graph convolutional network,MST-GCN)模型。首先,利用切比雪夫图卷积(ChebNet)结合门控循环单元(GRU)构建时空组件以深度挖掘节点的时空相关性;其次,分别提取周相关、日相关、邻近时间的序列数据,输入三个时空组件以深度挖掘不同时间窗口间的时间相关性;最后,将时空组件与编码器—解码器网络结构(encoder-decoder)融合组建MST-GCN模型。利用加利福尼亚州交通局(Caltrans)性能评估系统中高速公路数据集PEMS04和PEMS08进行实验,结果表明新模型的性能明显优于门控循环单元模型和最近提出的扩散卷积循环神经网络(DCRNN)、时间图卷积网络(T-GCN)、基于注意力机制的时空图卷积神经网络(ASTGCN)和时空同步图卷积网络(STSGCN)模型。     

基于深度学习的中文文本分类算法

针对现有情感分析模型将卷积神经网络(CNN)和循环神经网络(RNN)建模分离的状况,论文提出了一种基于双向长短期记忆网络(Bi-LSTM)和CNN相结合并带有注意力机制(Attention)的文本分类模型。模型先获取上下文语义特征,再融合局部语义特征,同时对每一时刻的特征信息给予多个不同权重关注。实验表明,该模型可以有效地增强分类语义特征的捕获能力,比使用单一神经网络或者它们的任意两两组合,该模型不论在训练速度还是在预测准确度方面都有很好的改善。     

基于ACGRU模型的短时交通流预测

针对现有交通流预测模型未能充分利用交通流数据的时空特征以实现准确预测的问题,提出一种结合注意力机制的卷积门控循环单元预测模型（ACGRU）。该模型利用卷积神经网络（CNN）和门控循环单元（GRU）提取交通流的时空特征,然后使用注意力机制生成含有注意力概率分布的交通流特征表示,同时利用交通流的周相似性提取周期特征,将所有特征相互融合进行回归预测。在真实交通流数据集上的实验表明,提出的ACGRU模型具有更高的预测精度,预测误差相比其他预测模型平均降低了9%。     

深度学习的双人交互行为识别与预测算法研究

基于卷积神经网络的双人交互行为识别算法存在提取的深度特征无法有效表征交互行为序列特性的问题,本文将长短期记忆网络与卷积神经网络模型相结合,提出了一种基于深度学习的双人交互行为识别与预测一体化方法。该方法在训练过程中,完成对卷积神经网络和长短期记忆网络模型的参数训练。在识别与预测过程中,将不同时间比例长度的未知动作类别的视频图像分别送入已经训练好的卷积神经网络模型提取深度特征,再将卷积神经网络提取的深度特征送入长短期记忆网络模型完成对双人交互行为的识别与预测。在国际公开的UT-interaction双人交互行为数据库进行测试的结果表明,该方法在保证计算量适当的同时对交互行为的正确识别率达到了92.31%,并且也可完成对未知动作的初步预测。     

基于Convolutional-LSTM的蛋白质亚细胞定位研究

蛋白质亚细胞位置预测研究是目前蛋白质组学和生物信息学研究的重点问题之一。蛋白质的亚细胞定位决定了它的生物学功能,故研究亚细胞定位对了解蛋白质功能非常重要。由于蛋白质结构的序列性,考虑使用序列模型来进行亚细胞定位研究。尝试使用卷积神经网络(convolutional neural network,CNN)、长短期记忆神经网络(long short-term memory,LSTM)两种模型挖掘氨基酸序列所包含的信息,从而进行亚细胞定位的预测。随后构建了基于卷积的长短期记忆网络(Convolutional-LSTM)的集成模型进行亚细胞定位。首先通过卷积神经网络对蛋白质数据进行特征抽取,随后进行特征组合,并将其送入长短期记忆神经网络进行特征表征学习,得到亚细胞定位结果。使用该模型能达到0.816 5的分类准确率,比传统方法有明显提升。     

基于ASTG-CRNN模型的多步长交通流预测

针对交通流预测模型中路网表征结构难以进行刻画和交通流数据中动态时空相关性难以进行建模以及其中时间特征捕获不充分的问题,提出一种基于注意力机制和时空图卷积循环神经网络的交通流预测模型(ASTG-CRNN)。首先,通过定义节点相对邻近度来确定路网表征结构的关系权重;其次,通过在时空维度上引入注意力机制对动态时空相关性进行建模,再采用图卷积捕获交通流数据中的空间特征;最后,采用卷积神经网络和双向门控循环神经单元的组合模块共同捕捉时间特征,从而能更好地表达交通流的时空特性。在两个公开交通流数据集PeMS04和PeMS08上对模型预测效果进行验证,其结果表明,ASTG-CRNN模型的预测结果均优于其它模型,与时空同步图卷积网络模型(STSGCN)相比,在未来1h内预测结果的MAE、RMSE和MAPE在数据集PeMS08上分别降低了2.71、2.69和0.87%。     

基于双向GRU模型的网络流量预测的研究

当前使用门控循环单元(Gated Recurrent Units,GRU)神经网络进行流量预测时,普遍存在滞后性以及预测准确性不高的问题,因此提出一种改进的GRU模型进行流量预测的方法.首先基于GRU神经网络提出一种双向GRU神经网络和人工神经网络堆叠的网络模型,适用于流量特征、时间特征、事件特征等多维向量的输入;同时...     

融合IndRNN和PSO的随钻测井数据反演方法

针对传统的反演方法过于其依赖初始模型, 导致结果不稳定与计算效率低的问题, 提出一种融合独立循环神经网络和粒子群优化算法的随钻测井实时反演方法. 首先, 通过地层模型正演模拟产生的序列数据, 建立独立循环神经网络模型, 并引入注意力机制强调关键特征在随钻测井反演中的作用; 其次, 在粒子群优化算法中引入随机惯性权重提高粒子群算法的全局和局部搜索能力, 利用粒子群优化算法对神经网络模型进行超参数优化; 最后, 在正演模拟测试集与某油田1931–2132 m段的测井数据测试集上分别进行消融实验与对比实验, 结果证明, 粒子群算法与注意力机制可以有效提高预测精度, 且该方法在各个方面的反演性能均优于长短期记忆神经网络、双向长短期记忆神经网络以及门控循环单元网络模型, 满足随钻测井数据实时反演的需要.     

基于残差网络和门控卷积网络的语音识别研究

由于传统循环神经网络具有复杂的结构,需要大量的数据才能在连续语音识别中进行正确训练,并且训练需要耗费大量的时间,对硬件性能要求很大.针对以上问题,提出了基于残差网络和门控卷积神经网络的算法,并结合联结时序分类算法,构建端到端中文语音识别模型.该模型将语谱图作为输入,通过残差网络提取高层抽象特征,然后通过堆叠门控卷积神经...     

基于APCNN和BiGRU-Att的单词DGA域名检测方法

为了提高对基于单词的域名生成算法(domain generation algorithm, DGA)生成的恶意域名的检测准确率,提出了一种结合改进的并行卷积神经网络(APCNN)和融合简化注意力机制的双向门控循环单元(BiGRU-Att)的网络模型,该模型能充分学习单词特征、单词之间的组合关系和关键字符信息。实验结果表明,相比Bilbo和CL模型,APCNN-BiGRU-Att模型的分类准确率和F₁值更高,表明该模型具有更好的检测效果、多分类效果和稳定性。     

基于门控卷积的时空交通流预测模型

针对现有的交通流预测模型未能精确捕获交通数据的时空特征,以及大部分模型都是在单步预测中体现出良好的预测性能,在多步预测中模型的预测性能显得并不理想的问题,提出了一种基于门控卷积的时空交通流预测模型（GC-STTFPM）。首先,利用图卷积网络（GCN）结合门控循环单元（GRU）来捕获交通流数据的时空特征;然后提出了一种利用卷积门控单元对原始数据和时空特征数据进行拼接与筛选处理的方法来对时空特征数据的有效性进行校验;最后,将GRU作为解码器来对未来交通流作出准确可靠的预测。在洛杉矶公路的交通数据集上的实验结果表明,GC-STTFPM在单步预测（5 min）中与基于注意力的时空图神经网络（ASTGNN）和扩散卷积递归神经网络（DCRNN）相比,平均绝对误差（MAE）分别降低了5.9%和9.9%,均方根误差（RMSE）分别降低了1.7%和5.8%。同时,GC-STTFPM在15、30、60 min三个多步尺度下的预测精度优于大多数现有基准模型,具有较强的适应性和鲁棒性。     

基于残差的门控循环单元EI北大核心CSCD

传统循环神经网络易发生梯度消失和网络退化问题.利用非饱和激活函数可以有效克服梯度消失的性质,同时借鉴卷积神经网络中的残差结构能够有效缓解网络退化的特性,在门控循环神经网络(Gated recurrent unit,GRU)的基础上提出了基于残差的门控循环单元(Residual-GRU,Re-GRU)来缓解梯度消失和网络退化问题.Re-GRU的改进主要包括两个方面:1)将原有GRU的候选隐状态的激活函数改为非饱和激活函数;2)在GRU的候选隐状态表示中引入残差信息.对候选隐状态激活函数的改动不仅可以有效避免由饱和激活函数带来的梯度消失问题,同时也能够更好地引入残差信息,使网络对梯度变化更敏感,从而达到缓解网络退化的目的.进行了图像识别、构建语言模型和语音识别3类不同的测试实验,实验结果均表明,Re-GRU拥有比对比方法更高的检测性能,同时在运行速度方面优于Highway-GRU和长短期记忆单元.其中,在语言模型预测任务中的Penn Treebank数据集上取得了23.88的困惑度,相比有记录的最低困惑度,该方法的困惑度降低了一半.     

融合位置信息的卷积门控网络实现与应用

基于方面的情感分析(Aspect-Based Sentiment Analysis)通常使用长短期记忆网络和注意力机制方法,这两种模型结构复杂,运行时间长。现有的卷积神经网络结构简单,具有代表性的是GCAE(Gated Convolutional Networks with Aspect Embedding)模型。但其由于未充分地利用词语的顺序信息,不能准确快速地关注到关键词。因此提出了一种融合位置信息的卷积门控网络方法。采用SemEval数据集进行实验,并与采用GCAE模型的实验结果进行对比,结果表明,所提模型迭代一次约用时5. 96 s,优于长短期记忆模型的81 s。该模型对句子中有多个方面的情感极性判断准确度为55. 00%,高于GCAE模型的53. 00%。该研究对于提高基于方面的情感分析的迭代时间和准确度有一定的参考意义。     

基于注意力机制和分时图卷积的公交客流预测

实际公交路网通常为复杂的非线性时变系统,难以有效构建线路间的时空间依赖关系.因此,文中提出基于注意力机制和分时图卷积的公交客流预测模型,提升公交客流量预测的准确性.首先通过长短期记忆网络提取历史数据中的时间特征,并利用通道注意力模块加权特征.再使用分时图卷积方法分析不同时段下公交线路间的空间依赖性,根据预测时段选择不同...