基于注意力机制的CNN-LSTM模型及其应用

时序数据存在时序性，并且其短序列的特征存在重要程度差异性。针对时序数据特征，提出一种基于注意力机制的卷积神经网络（CNN）联合长短期记忆网络（LSTM）的神经网络预测模型，融合粗细粒度特征实现准确的时间序列预测。该模型由两部分构成：基于注意力机制的CNN，在标准CNN网络上增加注意力分支，以抽取重要细粒度特征；后端为LSTM，由细粒度特征抽取潜藏时序规律的粗粒度特征。在真实的热电联产供热数据上的实验表明，该模型比差分整合移动平均自回归、支持向量回归、CNN以及LSTM模型的预测效果更好，对比目前企业将预定量作为预测量的方法，预测缩放误差平均值（MASE）与均方根误差（RMSE）指标分别提升了89.64%和61.73%。     

基于注意力机制的Multi-head CNN-LSTM软测量建模

软测量建模通过选取辅助变量,建立辅助变量与关键质量变量关系,能够高效地实现对关键质量变量的预测。然而当辅助变量维数较高,且对关键质量变量的影响程度不一时,网络预测误差将较大。针对这一问题,提出一种基于注意力机制的Multi-head CNNLSTM模型,首先根据辅助变量自身属性和特点将其切分成多组子变量后,使用多组独立并行工作的CNN-LSTM群对其子变量进行单独处理;再提取各组子变量上的特征向量,融合注意力机制,实现子变量特征向量的权重分配。所提算法不需提前根据工艺知识选择辅助变量,而是通过深度学习机制自动选择特征;最后,在乙烯精馏塔塔顶乙烷浓度软测量建模中进行应用,所提模型的预测精度优于LSTM以及CNN-LSTM软测量模型。     

基于LSTM-CNN-CBAM模型的股票预测研究

为了更好地对股票价格进行预测,进而为股民提供合理化的建议,提出了一种在结合长短期记忆网络(LSTM)和卷积神经网络(CNN)的基础上引入注意力机制的股票预测混合模型(LSTM-CNN-CBAM),该模型采用的是端到端的网络结构,使用LSTM来提取数据中的时序特征,利用CNN挖掘数据中的深层特征,通过在网络结构中加入注意...     

结合双流I3D和注意力机制的视频异常事件检测

为了减少视频异常事件检测过程中冗余帧对检测效果的影响,更好地利用视频中关键帧包含的有用信息,提出了一种结合双流膨胀卷积神经网络（Two-stream Inflated 3D ConvNets,I3D）模型和压缩-激励注意力机制多示例异常检测算法。首先,利用双流膨胀卷积神经网络提取视频时空特征;其次,通过双向长短期记忆（Bidirectional Long Short Term Memory,Bidirectional LSTM）神经网络获取视频特征长时序信息;再次,借助压缩-激励注意力机制分配特征权重;最后,通过多示例排序损失函数得到异常排序模型,并在排序损失函数中加入稀疏损失和平滑损失,更好地预测视频异常分数。实验表明,在公开数据集UCF-Crime上检测准确率达到了82.84%,高于基线模型7.43%。     

结合注意力机制的深度学习图像目标检测

利用卷积神经网络进行目标检测时，提取的卷积特征具有很强的平移不变性，这将削弱模型的定位性能。事实上，目标对象通常具有不同的子区域特征和宽高比特性，但在目前流行的两阶段目标检测框架中，很少考虑这些具有平移尺度敏感性的特征成分。为了优化模型的特征表达，将在两阶段目标检测框架中引入与子区域特征和宽高比特性相关的注意力特征库，并生成注意力特征图对原始的ROI池化特征进行优化。另外，在注意力特征图的辅助下，模型特征维度可以有效地进行缩减。实验结果表明，引入注意力模块后，模型的检测精度和检测速度有明显提升。     

融合自注意力和自编码器的视频异常检测

目的 视频异常检测通过挖掘正常事件样本的模式来检测不符合正常模式的异常事件。基于自编码器的模型广泛用于视频异常检测领域,由于自监督学习的特征提取具有一定盲目性,使得网络的特征表达能力有限。为了提升模型对正常模式的学习能力,提出一种基于Transformer和U-Net的视频异常检测方法。方法 首先,编码器对输入的连续帧进行下采样提取低层特征,并将最后一层特征图输入Transformer编码全局信息,学习特征像素之间的相关信息。然后解码器对编码特征进行上采样,通过跳跃连接与编码器中相同分辨率的低层特征融合,将全局空间信息与局部细节信息结合从而实现异常定位。针对近景康复动作的异常反馈需求,本文基于周期性动作收集了一个室内近景数据集,并进一步引入动态图约束引导网络关注近景周期性运动区域。结果 实验在4个室外公开数据集和1个室内近景数据集上与同类方法比较。在室外数据集CUHK(Chinese University of Hong Kong)Avenue,UCSD Ped1(University of California, San Diego, pedestrian1),UCSD Ped2,L...     

基于空时特征融合和注意力机制的网络入侵检测模型

针对网络入侵检测性能不高的问题,提出一种基于空时特征融合和注意力机制的深度学习入侵检测模型CTA-net。该模型通过集成卷积神经网络(CNN)和长短时记忆网络(LSTM)获取空时融合特征,然后使用注意力模块(Attention)对输入的空时融合特征进行重要性加权计算,最后通过softmax函数进行分类。使用NSL-KDD数据集的实验结果表明,相比具有相似结构的CNN模型和空时融合的CNN-LSTM模型,在训练集的收敛性具有显著的提升,在测试集上使用的分类评价指标准确率分别提升10.9120个百分点和11.8740个百分点,精确率分别提升9.1950个百分点和9.6130个百分点,召回率分别提升9.1780个百分点和9.9340个百分点,F1-SCORE分别提升10.7830个百分点和11.7500个百分点。仿真结果表明,所提出的CTA-net模型在网络入侵检测方面具有较好的应用潜力。     

结合注意力机制的CNN-LSTM心电信号识别

心电信号形态复杂多样易导致识别准确率低、适应性差,通常依靠人工诊断,费时费力。为此提出注意力机制与卷积长短时记忆网络(CNN-LSTM)相结合的深度网络模型(Attention-Based CNN-LSTM,A-CNN-LSTM)以实现心电信号自动识别。模型以CNN为基础架构,引入了注意力机制帮助心电信号内空间特征的提取;LSTM捕捉空间特征内的时间特性,并将其用于信号分类。在MIT-BIH心律不齐数据库上进行实验,结果表明,该模型可对六种不同的心电信号进行分类,识别准确率达到99.23%,具有一定的临床应用意义。     

基于注意力机制的车辆异常轨迹检测

随着城市交通量的增大,安全隐患越来越多,车辆轨迹异常检测对于安全驾驶领域来说也越来越重要。为了更好地提取轨迹的特征,在循环神经网络检测的基础上加入了卷积神经网络,利用卷积加循环的神经网络检测学习轨迹序列信息,并且结合了注意力机制,通过这种技术结合的方法,进一步提高轨迹嵌入的质量。结果表明,该轨迹异常检测方法的性能在各项指标上显著优于其他检测算法,验证了该异常检测方法的有效性和实用性。     

基于CNN-LSTM双流融合网络的危险行为识别

针对目前人体危险行为识别过程中由于时空特征挖掘不充分导致精度不够的问题,对传统双流卷积模型进行改进,提出了一种基于CNN-LSTM的双流卷积危险行为识别模型。该模型将CNN网络与LSTM网络并联,其中CNN网络作为空间流,将人体骨架空间运动姿态分为静态与动态特征进行分别提取,两者融合作为空间流的输出;在时间流中采用改进的可滑动长短时记忆网络,以增加人体骨架时序特征的提取能力;最后将两个分支进行时空融合,利用Softmax对危险动作做出分类识别。在公开的NTU-RGB+D数据集和Kinetics数据集上的实验结果表明,改进后模型的平均跨角度（Cross view,CV）精度达到92.5%,平均跨视角（Cross subject,CS）精度为87.9%。所提方法优于改进前及其他方法,可以有效地对人体危险动作做出识别,同时对于模糊动作也有较好的区分效果。     

基于CNN-LSTM的QAR数据特征提取与预测

针对传统数据驱动的故障诊断方法难以从QAR数据中提取有效特征的问题,提出一种融合卷积神经网络（convolutional neural network,CNN）与长短时记忆网络（long short-term memory,LSTM）的双通道融合模型CNN-LSTM。CNN与LSTM分别作为两个通道,通过注意力机制（attention）融合,从而使模型能同时表达数据在空间维度和时间维度上的特征,并以时间序列预测的方式验证融合模型特征提取的有效性。实验结果表明,双通道融合模型与单一的CNN、LSTM相比,能够更有效地提取数据特征,模型单步预测与多步预测误差平均降低35.3%。为基于QAR数据的故障诊断提供一种新的研究思路。     

结合Bi-LSTM-CNN的语音文本双模态情感识别模型

针对单一模态情感识别精度低的问题,提出了基于Bi-LSTM-CNN的语音文本双模态情感识别模型算法.该算法采用带有词嵌入的双向长短时记忆网络(bi-directional long short-term memory network,Bi-LSTM)和卷积神经网络(convolutional neural networ...     

基于CNN-LSTM及深度学习的风电场时空组合预测模型

为了更好地预测风电场的风电功率,提取风电场相邻站点之间时空信息和潜在联系,提出了一种基于卷积神经网络(CNN)、互信息(mutual information, MI)法、长短时记忆网络(LSTM)、注意力机制(AT)和粒子群优化(PSO)的短期风电场预测模型(MI-CNN-ALSTM-PSO)。CNN用于提取不同站点的空间特征,LSTM则用于获取多个站点的风电数据的时间依赖信息,据此设计CNN-LSTM时空预测模型,并结合深度学习算法,如MI特征选择、 AT注意力机制、 PSO参数优化,对模型进一步改进。通过两个海岛风电场的实验数据分析可知,所提模型具有最优的统计误差,CNN-LSTM模型可以高效提取风电场时空信息并进行时间序列预测,而结合深度学习算法(MI、 AT和PSO)后的组合模型能进一步提高风电功率预测精度和稳定性。     

一种新的考虑注意力机制的微博谣言检测模型

随着社交媒体的迅速发展,谣言通过社交媒体迅速传播,识别社交媒体网络上的谣言是社交网络研究中一个至关重要的问题.本文提出了一种新的考虑注意力机制的微博谣言检测模型,考虑到卷积神经网络(CNN)提取到的特征对输出结果影响力问题,在经典的文本卷积神经网络(Text CNN)上引入了注意力机制,通过CNN中的卷积层学习微博窗口...     

基于LSTM-OCSVM的无人机传感器数据异常检测

无人机是一种典型的依靠通信和控制系统实现自主飞行的信息物理系统,在安全性和可靠性方面引起了广泛的关注.本文考虑无人机传感器易受网络攻击问题,充分利用数据的时间相关性,提出了针对无人机传感器数据的异常检测模型.首先采用LSTM神经网络对传感器数据进行预测,再将预测值与实际值做差,并将差值输入LSTM分类器进行训练得到包含正样本的超平面,最后计算测试数据到超平面的距离函数值,根据其正负判定异常与否.并且,选择了合适的滑动窗口,在保证异常检测准确率的同时,缩短LSTM神经网络的训练时长.通过仿真实验,验证了该异常检测模型的可行性和有效性.     

基于LSTM-CNN的容器内恶意软件静态检测

针对现阶段容器环境下恶意软件检测研究较少且检测率较低的问题,提出了一种基于LSTM-CNN的容器内恶意软件静态检测方法,用以在恶意软件运行前进行检测,从源头阻断其攻击行为,降低检测过程给容器运行带来的性能损耗。该方法通过无代理的方式获取容器内待测软件,提取其API调用序列作为程序行为数据,利用word2vec模型对程序API调用序列进行向量化表征,并基于LSTM和CNN分别提取其语义信息及多维局部特征以实现恶意软件的检测。在容器环境下实现了该方法,并基于公开数据集VirusShare进行测试,结果表明该方法可达到99.76%的检测率且误报率低于1%,优于同类其他方法。     

基于CNN-LSTM-CS工业管道腐蚀率预测模型

针对传统工业管道腐蚀率预测模型存在特征提取依赖人工经验和泛化能力不足的问题, 本文将卷积神经网络(convolutional neural network, CNN)和长短期记忆网络(long short-term memory, LSTM)相结合, 提出了基于布谷鸟优化算法(cuckoo search, CS)的CNN-LSTM-CS网络模型, 实现对工业管道腐蚀率预测. 首先, 对采集的管道腐蚀数据集进行归一化预处理; 然后, 利用CNN网络提取影响管道腐蚀率因素的深层次特征信息, 并通过训练LSTM网络构建CNN-LSTM预测模型; 最后, 采用CS算法对预测模型进行参数优化, 减少预测误差, 实现腐蚀率的精准预测. 实验结果表明, 对比几种典型的腐蚀率预测方法, 本文提出的方法具有更高的预测精度, 为工业管道腐蚀率检测提供新的思路.     

基于堆叠卷积注意力的网络流量异常检测模型

入侵检测系统(IDS)在发现网络异常和攻击方面发挥着重要作用,但传统IDS误报率较高,不能准确分析和识别异常流量。目前,深度学习技术被广泛应用于网络流量异常检测,但仅仅采用简单的深度神经网络(DNN)模型难以有效提取流量数据中的重要特征。针对上述问题,提出一种基于堆叠卷积注意力的DNN网络流量异常检测模型。通过堆叠多个以残差模块连接的注意力模块增加网络模型深度,同时在注意力模块中引入卷积神经网络、池化层、批归一化层和激活函数层,防止模型过拟合并提升模型性能,最后在DNN模型中得到输出向量。基于NSL-KDD数据集对模型性能进行评估,将数据集预处理生成二进制特征,采用多分类、二分类方式验证网络流量异常检测效果。实验结果表明,该模型性能优于KNN、SVM等机器学习模型和ANN、AlertNet等深度学习模型,其在多分类任务中识别准确率为0.807 6,较对比模型提高0.034 0～0.097 5,在二分类任务中准确率和F1分数为0.860 0和0.863 8,较对比模型提高0.013 0～0.098 8和0.030 6～0.112 8。     

基于汇聚CNN和注意力增强网络的遮挡人脸检测方法

针对现实场景中遮挡人脸检测精度低的问题,提出了一种基于汇聚CNN和注意力增强网络的遮挡人脸检测方法.首先,在主网络的多层原始特征图上,通过有监督学习的方法增强原始特征图中人脸可见部分的响应值.然后,将多个增强特征图组合成附加增强网络与主网络汇聚设置,以加快对多尺度遮挡人脸的检测速度.最后,将有监督信息分散到各个尺寸的特...