基于长短期记忆网络和注意力机制的油井产油量预测

准确地预测油井产油量在油田生产中至关重要,针对传统的线性预测方法存在适应性差的问题,以及在处理时序问题上难以很好拟合历史数据的问题,提出使用长短期记忆神经网络和注意力机制来解决数据中存在的时序关系以及增强模型的可移植性,并且分析了时间滞后、学习率衰减和神经元随机失活三个参数对油井产油量预测模型的影响,发现这三个参数分别为36、0.3和0.8时,模型表现最佳。使用最优参数建立油井产油量预测模型,并将该模型应用于XX油田的三口实验井数据上,其中井H3-32的后期实际产油总量为1470.5t,预测值为1442.33t,误差为1.92%;井H3-34的后期实际产油总量为1564.5t,预测值为1545.98t,误差为1.20%;井H3-35的后期实际产油总量为742.2t,预测值为772.12t,误差为4.05%。由此可见,基于长短期记忆神经网络和注意力机制的油井产油量预测模型的精度较高。本文研究成果可促进先进计算机技术在石油工业中的应用,对我国油田生产方案的制订和原油采收率的进一步提高具有非常重要的理论与现实意义。     

基于注意力机制的车辆行为预测

为了解决智能驾驶场景中对周边车辆未来行为的预测问题,研究了基于注意力机制的长短时记忆网络(LSTM)模型的车辆行为预测方法.首先提出了一种非均匀步长的时间序列数据划分方法,将属于特定行为的车辆时序信息进行分类;以LSTM为基本的神经网络框架,用注意力机制判断输入时序信息中各个时间步信息的重要程度,分配不同的权重值;以目标车辆及其周边车辆的历史轨迹信息作为算法输入,用来预测目标车辆将来的运动行为.结果表明:该算法可以解决固定步长的时序分类方法导致的信息遗漏或计算资源负担增加的问题,同时能够有效提高行为预测准确性,减少车辆行为预测时间.     

基于注意力机制优化长短期记忆网络的短期电力负荷预测

在电力系统的经济调度中,如何合理利用电力负荷的过去和现在来推测其未来价值,具有非常长远的社会经济价值.短期电力负荷数据具有明显的时间特征,传统的深度模型越来越多地应用于该领域.然而,深度模型可能存在梯度爆炸或梯度消失,为此,提出了一种注意力机制优化长短期记忆网络的短期负荷预测模型.该模型将长短期记忆网络单元中的激活函数改进为加权激活函数组,并加入注意力机制以提高预测精度.     

基于注意力机制的LSTM长江汛期水位预测方法研究

为提高长短期记忆网络(Long Short-Term Memory,LSTM)在水位预测任务中的准确性,以及提高LSTM对数据中时空信息的利用率,本文提出了一种基于Softmax函数的注意力模块,并将其应用在LSTM的输入前,使模型可以根据输入数据中的时间和空间信息,自主地生成带有权重的词义向量,并赋予输入序列时间和空...     

基于融合注意力机制与CNN-LSTM的人体行为识别算法

为解决单一的卷积神经网络（CNN）缺乏利用时序信息与单一循环神经网络（RNN）对局部信息把握不全问题,提出了融合注意力机制与时空网络的深度学习模型（CLA-net）的人体行为识别方法。首先,通过CNN的强学习能力提取局部特征;其次,利用长短时记忆网络（LSTM）提取时序信息;再次,运用注意力机制获取并优化最重要的特征;最后使用softmax分类器对识别结果进行分类。仿真实验结果表明,CLA-net模型在UCI HAR和DaLiAc数据集上的准确率分别达到95.35%、99.43%,F1值分别达到95.35%、99.43%,均优于对比实验模型,有效提高了识别精度。     

基于注意力机制BiLSTM的设备智能故障诊断方法

状态监测与故障诊断是保证机械设备安全稳定运行的必要手段.本文提出一种基于注意力机制双向LSTM网络(ABiLSTM)的深度学习框架用于机械设备智能故障诊断.首先,将传感器采集的设备原始数据进行预处理,并划分为训练样本集与测试样本集;其次,训练多个不同尺度的双向LSTM网络对原始时域信号进行特征提取,得到设备故障多尺度特征;再次,通过引入注意力机制,对不同双向LSTM网络提取特征的权重参数进行优化,筛选保留目标特征,滤除冗杂特征,以实现精准提取有效故障特征;最后,在输出端利用Softmax分类器输出故障分类结果.通过利用发动机气缸振动实验数据和凯斯西储大学滚动轴承实验数据进行故障诊断实验,故障识别准确率均达到99%以上.实验结果表明,ABiLSTM模型可以实现对原始时域信号的多尺度特征提取和故障诊断,通过与深度卷积网络(CNN)、深度去噪自编码器(DAE)和支持向量机(SVM)等方法进行对比,ABiLSTM模型的故障识别性能优于各类常见模型.另外,通过利用凯斯西储大学滚动轴承在不同工况条件下的数据,对ABiLSTM模型进行泛化性能实验,变工况样本的故障识别准确率仍然能够达到95%以上.     

采用ALSTM模型的温度和降雨关联预测研究

短时的降雨和温度等预报一直是天气预报中的重要问题。为了准确和及时预测局部区域的降雨及温度,提出了一种基于Attention和LSTM组合模型(ALSTM)的关联多值预测算法。该算法利用天气时间序列中的前期数据,对下一小时的降雨量和温度进行关联预测,以此实现对天气要素的多值预测。该算法首先对输入数据进行归一化处理;然后利用数据对ALSTM模型进行训练;最后将训练好的模型用于多值预测。将ALSTM模型与LSTM、BP以及基于LSTM的深度循环神经网络(DRNN)的预测结果进行了比较。实验结果表明,ALSTM模型的温度和降雨预测精度优于比较的其他模型,其平均预测精度在97%以上。     

基于注意力机制和双向长短期记忆网络的电能质量扰动识别

提出一种基于深度学习的电能质量扰动信号分类新方法.该方法应用注意力机制和双向长短期记忆网络构建分类模型,并利用Matlab仿真产生训练数据集与验证数据集.考虑了7种常见的复合扰动信号,并将其作为序列数据直接输入到网络中进行训练和验证.实验结果表明,本方法能准确地识别不同的扰动信号,在验证集上模型的识别准确率可以达到99...     

基于双向长短期记忆网络和自注意力机制的食品安全裁判文书分类方法

目前食品安全领域裁判文书数量持续增长,而其类别标签的缺失导致检索困难。针对将裁判文书自动化分类的问题,提出一种结合self-attention机制和BLSTM(bi-long short-term memory)网络的分类方法,该方法使用自训练注意力机制,对向量化的文本进行加权表示,从而对裁判文书中的重要特征重点关注。同时,由两个方向相反的LSTM网络组成的BLSTM网络,能够更好地学习上下文信息,提高网络性能。通过实验,准确率达到了95. 23%,相较于传统的机器学习方法,所提方法能够更好地完成食品安全领域裁判文书分类任务。     

基于双层注意力机制的联合深度推荐模型

许多电子商务网站中存在用户编写的大量评论信息,大部分推荐系统虽然利用了评论信息,但仅从单词级别而不是评论级别来评估评论的重要性。如果只考虑评论中的重要单词,而忽略了真正有用的评论,则会降低推荐模型的性能。基于此,文中提出了一种基于双层注意力机制的联合深度推荐模型(DLALSTM)。该模型首先利用双向长短期记忆网络(BiLSTM)分别对用户和项目评论进行词以及评论级别联合建模,并通过两层注意力机制聚合为评论表示和用户/项目表示,然后把从评论中学习的用户和项目的潜在表示融入由评分矩阵得到的用户偏好和项目特征,实现评分预测。采用文中模型在Yelp和亚马逊的不同领域数据集上进行实验评估,并与常用的推荐方法进行比较,发现文中提出的模型性能超过目前常用的推荐方法,同时该模型能够缓解数据稀疏问题,且具有较好的可解释性。     

基于局部信息增强注意力机制的网络流量预测

针对网络流量具有强烈的非线性和不确定性导致传统统计方式或者机器学习方法难以准确预测的问题,为进一步提升网络流量预测精度,在传统时序序列预测模型的基础上设计实现了一种局部上下文信息增强的注意力机制,通过卷积计算将输入转换为注意力机制中的Query和Key,从微观角度对时间序列进行解释,提高了预测模型的局部感知能力。进而将提出的注意力机制分别与长短期记忆人工神经网络和门控循环单元两个时序预测模型相结合并将结合后的模型用于某运营商提供的两个不同网络流量数据集进行网络设备流量预测。实验结果表明基于局部上下文信息增强注意力机制的预测模型具有更好的预测效果。     

基于注意力机制和CNN-GRU组合网络的海底电缆运行状态预测方法

海底电缆作为各类海上平台能源供给的生命线,一旦发生故障将产生巨大的经济及战略影响,准确预测海底电缆运行状态有助于提前把握其运行风险,从而实现预防性维护。本文在充分挖掘海底电缆运维数据中的动、静态特征的基础上,提出一种基于注意力机制和卷积神经网络-门控循环神经网络（CNN-GRU）海底电缆运行状态预测方法。首先,考虑在线监测、巡检指标、静态试验三类关键影响因素,建立海底电缆运行状态评估指标体系;然后,基于改进层次分析法及多层次变权评估思想构建海底电缆运行状态评估模型;最后,建立基于注意力机制和CNN-GRU组合神经网络模型,将历史运行参数及状态量化结果作为输入特征参量,实现海底电缆运行状态的演化趋势预测。算例分析表明,所提方法可有效预测海底电缆的运行状态,平均百分数误差低至1.04%,与全连接神经网络、CNN、CNN-长短期记忆神经网络(LSTM)等算法相比均具备更优的预测精度。     

机动车驾驶人侵犯驾驶行为的调查研究

侵犯驾驶行为是近年来逐渐引起重视的驾驶人不良驾驶行为之一。本研究采用问卷调查的方法。对浙江省三个城市的驾驶人进行随机抽样调查，得出侵犯驾驶行为可以分为漠视他人、空间侵占、保持前进、赢得优先、人际侵犯等具体类型，并从人口统计学的角度比较分析了不同类型驾驶人在不同侵犯驾驶行为类型上的差异，为制定驾驶人驾驶行为矫正和安全教育策略提供理论参考。     

基于图注意力网络的案件罪名预测方法:CP-GAT

案件罪名预测任务是基于文本数据去预测案件所属罪名.针对现有方法在相似罪名和长尾数据集上表现不佳的问题,提出了一种基于图注意力网络的案件罪名预测方法CP-GAT(charge prediction based on graph attention network).该方法首先使用司法文书数据集中的案例事件描述文本和案例对应的法条信息建立异质图结构数据,构建后的异质图包含两种类型的节点(词节点、案例节点),两种类型的边(词节点与词节点相连的边,词节点与案例节点相连的边).在基于法律文本构建后的异质图上使用图注意力网络进行图特征提取,最后将得到的特征向量输入到罪名预测的分类器中,得到案例所属的罪名.在CAIL2018法律数据集上的实验结果表明,基于图注意力网络的罪名预测方法优于对比实验使用的方法,准确率和宏观F1值分别达到了95.2%和66.1,验证了提出的方法有利于提升案件罪名预测任务的性能.     

基于胶囊网络和注意力机制的智能合约漏洞检测方法

近年来,随着智能合约的数量越来越多,因合约漏洞而造成的经济损失愈发严重,智能合约的安全性越来越受到广泛的关注。基于深度学习的漏洞检测方法能够解决早期传统智能合约漏洞检测方法检测效率低、准确率不足的问题,但大多现有基于深度学习的漏洞检测方法都是直接使用智能合约源代码、操作码序列或字节码序列作为深度学习模型的输入,会因引入过多无效信息而削弱有效信息。为此,文中提出了一种基于胶囊网络和注意力机制的智能合约漏洞检测方法。考虑到程序的执行时序信息,文中通过提取智能合约的关键操作码序列作为源代码特征,然后利用胶囊网络和注意力机制的混合网络进行训练,其中胶囊网络模块用于提取智能合约的上下文信息以及局部与整体的联系,注意力机制用于给不同的操作码按照其重要程度分配不同的权重。实验结果表明,文中提出的算法在智能合约数据集中的F₁分数和准确率分别为94.48%和97.15%,与其他传统检测方法和深度学习方法相比有较明显的性能提升。     

基于多头注意力机制的磷酸化位点预测模型

计算预测蛋白质磷酸化位点的方法常用于位点识别的初筛阶段。为了提升位点初筛的准确率,本文提出一个深度学习模型MAPhos。该模型首先运用氨基酸向量与位置向量的和表示每一个氨基酸残基;随后使用双向GRU循环神经网络捕获各氨基酸残基的特征;接着引入多头注意力机制计算各注意力头的子上下文向量,并将它们连接起来构成肽段的上下文向量;最后通过一个全连接神经网络进行非线性变换和结果预测。真实数据集上的实验结果表明,MAPhos模型预测磷酸化位点在AUC值、灵敏度、正确率、精度和F₁分数统计度量上胜过基于特征提取的模型和基于卷积神经网络的模型,同时与基于卷积神经网络的模型相比具有更好的可解释性,这证明了MAPhos模型更加适用于磷酸化位点识别任务的初筛阶段。     

基于融合Dropout与注意力机制的LSTM-GRU车辆轨迹预测

在智能驾驶环境的车辆轨迹预测环节,为更好地获取环境车辆的轨迹时序特征,在长短期记忆神经网络（LSTM）基础上,嵌入Dropout层以增强网络泛化性,引入注意力机制予以预测效果影响较大的时序数据更大权重从而提高预测结果的可靠性,且将改进的LSTM模型与门控循环单元GRU模型结合,构建LSTM-GRU预测模型以进一步提升环境车辆轨迹预测的准确性.在此基础上,使用NGSIM公开数据集对模型进行训练、验证和测试.研究结果表明,融合了Dropout和注意力机制的LSTM-GRU神经网络轨迹预测模型相较标准的LSTM长短期记忆网络以及GRU门控循环单元,在预测较长时序的车辆轨迹上具有优势,提高了轨迹预测的准确性,降低了实际轨迹和预测轨迹之间的均方根误差和平均绝对误差.     

基于注意力机制的CNN-LSTM模型的航迹预测

基于数学模型或统计模型的传统航迹预测方法存在一定的局限性，无法满足现代航空领域对于高效、准确、实时的航迹预测需求。针对此问题，提出基于注意力机制的CNN-LSTM模型的实时航迹预测方法。该模型首先使用一维卷积对航迹数据的多维度特征进行提取，从而减少输入特征的数量。其次利用获取的多维度时序数据作为LSTM的输入，通过LSTM提取上下文的信息。最后使用注意力机制为LSTM中不同时序节点的输出赋予权重，达到聚焦关键航迹信息的作用。经过实验验证：本文的模型与LSTM模型和CNN-LSTM模型相比，预测出的路径更接近真实航迹；文中的模型比LSTM模型的平均预测误差降低了29.7%，比CNN-LSTM模型降低了25.4%。综上所述，文中方法可以显著提高航迹预测的精度。     

基于驾驶行为的疲劳状态检测方法研究

研究基于驾驶行为判断驾驶状态的方法. 基于驾驶模拟舱进行实验,通过分析驾驶人在疲劳状态下的方向盘转角操作特征及油门幅值变化情况,提取了方向盘不动时间占空比和油门幅值均值作为疲劳状态判别指标,通过方差分析进行方向盘不动时间选取的优化,运用Fisher线性判别算法对驾驶状态进行识别,得到了较为准确的识别率.     

基于卷积神经网络的不良驾驶行为辨识

为量化描述驾驶员驾驶行为的动态变化过程与不良程度,研究了不良驾驶行为谱的构建与分析方法,用于不良驾驶行为的实时辨识。首先,基于拉格朗日插值法对轨迹数据清洗处理后提取特征指标参数构建驾驶行为谱,采用风险度量法对急转向、急加速、急减速、超速4种不良驾驶行为进行量化表达。其次,使用大样本统计分布的IQR与客观赋权的CRITIC方法确定不良驾驶行为特征指标参数阈值与权重,结合隶属度函数构造模糊综合评价模型对不良驾驶行为谱特征值进行确定以标定不良行驶车辆。最后,将不良驾驶行为谱特征值作为输入,基于人工智能卷积神经网络(CNN)算法对不良驾驶行为进行辨识,并与SVM、RF、BP等传统机器学习算法在辨识误差上进行比较。结果表明:CNN算法对不良驾驶行为辨识的理论误差值MAE为0.059、RMSE为0.084、R2高达0.911。可见,不良驾驶行为谱作为一种客观量化不良驾驶行为的方法与CNN算法相结合,能依据车辆运行轨迹对不良驾驶行为进行自动辨识,具有客观性、可靠性与适应性。