基于Bi-LSTM和自注意力的恶意代码检测方法

针对当前恶意代码检测方法严重依赖人工提取特征和无法提取恶意代码深层特征的问题,提出一种基于双向长短时记忆(Bidirectional Long Short Term Memory,Bi-LSTM)模型和自注意力的恶意代码检测方法.采用Bi-LSTM自动学习恶意代码样本字节流序列,输出各时间步的隐状态;利用自注意力机制计...     

基于Bi-LSTM和图注意力网络的多标签文本分类算法

针对当前大多数分类算法忽略标签之间相关性的问题,提出一种基于双向长短时记忆(Bi-LSTM)网络和图注意力网络(Graph Attention Network, GAT)的多标签文本分类算法。使用词嵌入工具对文本序列和标签中的词向量进行预处理后的文本序列和标签分别输入到Bi-LSTM网络和GAT网络中;提取文本序列的上下文信息和全局特征,以及GAT网络捕获标签之间的相关性;将特征向量和标签相关性进行组合对标签文本分类任务进行预测。实验结果表明,所提算法通过有效关注标签之间的相关性使得文本分类任务的精度得以明显提高,在多个评估指标的测试结果优于其他对比方法。     

基于CNN和LSTM的多通道注意力机制文本分类模型

针对传统的卷积神经网络（Convolutional Neural Network,CNN）和长短时记忆网络（Long Short-Term Memory,LSTM）在提取特征时无法体现每个词语在文本中重要程度的问题,提出一种基于CNN和LSTM的多通道注意力机制文本分类模型。使用CNN和LSTM提取文本局部信息和上下文特征;用多通道注意力机制（Attention）提取CNN和LSTM输出信息的注意力分值;将多通道注意力机制的输出信息进行融合,实现了有效提取文本特征的基础上将注意力集中在重要的词语上。在三个公开数据集上的实验结果表明,提出的模型相较于CNN、LSTM及其改进模型效果更好,可以有效提高文本分类的效果。     

基于PSO优化Bi-LSTM的交通流量预测

针对城市交通流量强随机性的问题,为克服非线性和时变特点的影响,提出了基于粒子群（PSO）优化双向长短时记忆网络（Bi-LSTM）的交通流量预测模型,达到城市交通流量高精度预测效果。首先,建立基于Bi-LSTM的交通流量短期预测模型;其次,采用粒子群PSO算法对Bi-LSTM模型的超参数进行寻优,提升预测模型的泛化性。通过对比实验分析,验证了该交通流量预测模型具有更优的性能。     

基于注意力机制和LSTM的电力通信设备状态预测

随着电力通信网络的快速增长,网络中通信设备的在线状态预测对于提升运维可靠性具有重要意义。在实际场景中,设备工作数据来源复杂,往往存在数据维度高、特征稀疏且模式重复等问题,导致传统的预测方法性能非常受限。本文提出一种基于注意力机制和LSTM（长短时记忆）模块的设备状态预测模型。模型训练分2阶段进行,保证注意力机制能够通过端到端学习对原始特征进行充分降维并提取出最相关的信息进行状态预测。基于电力通信网络真实运维数据进行一系列验证实验,结果表明所提方法在设备状态预测问题中的有效性。     

基于Self-Attention和Bi-LSTM的中文短文本情感分析

短文本情感分析用于判断文本的情感极性,在商品评论、舆情监控等领域有重要应用。由于目前主流的基于词注意力机制的双向循环神经网络模型性能很大程度上依赖于分词的准确性,且注意力机制需较多的参数依赖,无法使模型更多的关注短文本的内部序列关系。针对上述问题,该文提出了基于字向量表示方法并结合Self-attention和BiLSTM的中文短文本情感分析算法。首先,对短文本进行字向量化表示,采用BiLSTM网络提取文本上下文关系特征,通过自注意力机制动态调整特征权重,Softmax分类器得到情感类别。在COAE 2014微博数据集和酒店评论数据集的实验结果表明,采用字向量文本表示方法较词向量更适合短文本,自注意力机制可以减少外部参数依赖,使模型能学到更多的文本自身关键特征,分类性能可分别提高1.15%和1.41%。     

基于多尺度特征和注意力的金融时序预测方法

金融时间序列预测是经济领域中一个非常重要的实际问题,然而,由于金融市场的噪声和波动性,当前存在方法的预测精度尚不能令人满意。为了提高金融时间序列的预测精度,提出了一种融合扩张卷积神经网络（dilated convolutional neural network,DCNN）、长短时记忆神经网络（long short term memory,LSTM）和注意力机制（attention mechanism,AT）的混合预测模型DCNN_LSTM_AT。该模型由两个部分组成：第一部分包含扩张卷积神经网络和基于LSTM的编码器,其功能在于提取原始序列数据中不同时间尺度的有效信息;第二部分由带注意力机制的LSTM解码器构成,其功能在于对第一部分提取的信息进行过滤并利用过滤后的信息进行预测。最后将所提模型在3支股指数据集和3支个股数据集上进行实验,并与其他常见的基准模型进行了对比,实验结果表明该模型相比于其他模型具有更好的预测精度和稳定性。     

基于注意力机制的混合神经网络关系分类方法

关系分类是自然语言处理领域的一项重要语义处理任务。传统的关系分类方法通过人工设计各类特征以及各类核函数来对句子内部2个实体之间的关系进行判断。近年来,关系分类方法的主要工作集中于通过各类神经网络获取句子的语义特征表示来进行分类,以减少手动构造各类特征。在句子中,不同关键词对关系分类任务的贡献程度是不同的,然而重要的词义有可能出现在句子中的任意位置。为此,提出了一种基于注意力的混合神经网络关系分类模型来捕获重要的语义信息,用来进行关系分类,该方法是一种端到端的方法。实验结果表明了该方法的有效性。     

基于多头注意力的电网调度领域命名实体识别

针对电网调度领域实体识别准确率较低的问题,提出一种融合多头注意力机制和双向长短时记忆网络的电网调度领域中文命名实体识别方法。利用词向量表示电网调度语音识别后语句,并将生成的词向量序列输入双向长短时记忆网络(BiLSTM)挖掘其上下文语义特征,引入多头注意力机制重点关注文本中的实体词,挖掘其隐藏特征,同时通过条件随机场(CRF)计算序列标签的联合概率标注出实体识别结果。根据电网调度语音识别后文本特点自建标注数据集,并将电网调度语音识别文本中的命名实体细粒度划分为参数、设备、操作、系统、组织5个类别进行实验。其结果表明,该方法对电网调度领域实体识别具有更高的准确率和召回率,且F1值可达到93.63%,切实解决了电网调度领域实体识别任务中标注数据稀少和精度较低的问题,有助于电网调度领域知识图谱的构建。     

基于注意力机制优化EDM机场客流量预测

针对标准编码解码模型(Encoder-Decoder Model,EDM)对于时间序列数据提取能力弱的问题,提出一种融合双向长短时记忆网络(Bi-directional Long Short-Term Memory,Bi-LSTM)和注意力机制(Attention)的编码解码模型.通过Bi-LSTM对输入数据从正反两个方向进行特征提取,基于注意力机制将所得到的特征根据不同时刻分配不同权重,根据解码阶段的不同时刻生成相应背景变量,进而实现对机场客流量的预测.选取上海虹桥机场为例用该算法进行实验仿真,实验结果表明,本文所提方法与RNN、LSTM相比,平均标准误差降低了57.9％以上,为机场客流量预测提供了一种新的思路.     

基于多注意力Bi-LSTM的恶意软件预测

在恶意软件预测任务中,针对训练数据不足及模型无法突出重要时序信息的问题,提出一种使用TS-GAN对数据进行扩增和使用多注意力Bi-LSTM模型进行预测的方案。多注意力Bi-LSTM由三层网络组成,利用Bi-LSTM层自动学习恶意软件并输出各时间步的隐状态,通过多注意力层为各时间步隐状态分配权重突出重要时序信息,使用预测判别层实现恶意软件良性或恶意的预测。实验结果表明,该方法可以在恶意软件执行前4秒内以95.8%的预测准确率实现对恶意软件的预测,优于其它方法。     

基于Bi-LSTM和CRF的中文网购评论中商品属性提取

随着电子商务系统评价体系的完善，网购评论的内容对消费者的购物起到十分重要的指导作用。但是消费者不能从大量评论中找到自己直接关心的商品属性（如：手机产品的属性“电池”）以及属性相关评价（如：“电池容量很大”）。相对于构建知识库和传统机器学习的方法，需要人工总结复杂的特征和规则来提取商品属性和属性相关评价。本文应用基于词嵌入融合双向长短时记忆网络(Bi-LSTM)和条件随机场(CRF)的方法并根据在评论中属性多为名词、属性评价多为形容词的特点在Bi-LSTM+CRF模型中融入词性特征，实现对评论中的商品属性以及属性评价的自动化提取，在避免总结规则的同时更具领域普适性。通过测试相机、男装、儿童安全座椅3个商品领域，得到了宏精确度为86.74%，宏召回率为85.89%。     

基于深度学习方法的中文情感分析

针对以文本词向量作为卷积神经网络的输入无法考虑情感特征对文本情感极性的影响、难以突出对类别更具代表性的词且卷积神经网络无法利用文本上下文信息等问题,提出一种基于权重分配的多通道卷积神经网络（WAMCCNN）和双向长短时记忆网络（BILSTM）模型相结合的方法。将文本词向量、情感词向量及词语的特征权重相互结合形成新的特征向量作为卷积网络不同通道的输入,使得模型能够从多方面的特征学习到文本的情感信息且有效利用了每个词语在句子中重要性的信息,获得更多的语义信息。同时,结合BILSTM模型学习到的包含文本上下文信息的全局特征,也解决了卷积神经网络无法利用文本上下文信息的问题。最后在新浪微博评论数据集和京东评论数据集上进行实验,结果表明,该模型分类准确率相比之前的基于深度学习的情感分析模型得到了明显的提升。     

基于注意力机制的TCN-BiLSTM船舶轨迹预测

针对现有船舶轨迹预测模型预测准确度低的问题,提出一种基于注意力机制的时域卷积网络和双向长短时记忆网络（TCN-ABiLSTM）的船舶轨迹预测模型。首先搭建TCN网络提取船舶轨迹的序列特征,之后将注意力机制引入网络调整不同属性特征的权值,凸出对轨迹预测影响更大的特征,最后搭建Bi-LSTM网络学习轨迹序列的前后状况来提取序列中更多的信息,实现对船舶未来轨迹的预测;通过实际船舶AIS数据对网络进行训练与测试实验,实验结果表明,TCN-ABiLSTM模型相比LSTM、Bi-LSTM、TCN、BiLSTM-Attention、TCN-Attention模型船舶轨迹预测精度更高,拟合程度更好,验证了所设计的TCN-ABiLSTM模型在船舶轨迹预测方面的的有效性和实用性。     

基于双指导注意力网络的属性情感分析模型

鉴于深度学习技术的不断发展,越来越多的研究者倾向于使用深度神经网络学习文本特征表示用于情感分析,其中序列模型(sequence models)和图神经网络(graph neural networks)已得到广泛的应用,并取得了不错的效果.然而,对于属性情感分类任务,属性对象与其他单词之间存在远距离的依赖关系,虽然序列型神经网络能捕获句子的上下文语义信息,但是对词语之间的远距离依赖关系无法进行有效学习;而图神经网络虽然可以通过图结构聚合更多的属性依赖信息,但会忽略有序词语间的上下文语义联系.因此结合双向长短时记忆网络(bi-directional long short-term memory, BiLSTM)和图卷积神经网络(graph convolutional network, GCN),提出一种基于双指导注意力网络(bi-guide attention network, BiG-AN)的属性情感分析模型.该模型通过交互指导注意力机制,同时关注到文本的上下文信息和远距离依赖信息,提高了模型对于文本属性级别情感特征的表示学习能力.在4个公开数据集Laptop,Rest14,Rest16,Twitter的实验结果表明,与其他几种基准模型相比,所提模型能够提取到更丰富的属性文本特征,有效提高属性情感分类的结果.     

基于Bi-LSTM+CRF模型的航母情报实体识别方法应用

在军事情报方面,舰船信息的复杂性使得舰船情报分析不易开展。知识识别无足够的标注数据可利用;通用领域实体识别方法效果不佳。针对舰船情报分析需求,采用自然语言处理技术,可大大提高利用效率。本文创建航母编队的中文实体识别语料库,利用双向长短时记忆神经网络加条件随机场（Bi-LSTM+CRF）的模型方法,训练中文实体识别模型,实现了航母编队情报信息的实体识别。实验证明,该方法提高了航母编队情报信息领域命名实体识别的效率。     

基于多层注意力机制的中文文本蕴涵识别方法

为解决文本蕴涵中无法同时捕捉句间交互信息和全局信息的问题,提出一种基于多层注意力机制的中文文本蕴涵识别方法。使用Bi-LSTM分别对句子进行编码,采用自注意力和协同注意力分别得到句子的全局信息和句子间的交互信息,经过全连接层进行分类得到识别结果。在CNLI数据集上文本蕴涵识别准确率达到了73.88%,在NTCIR-9的RITE数据集上达到了67.63%,实验结果表明,该方法在中文文本蕴涵识别任务中是有效的。     

基于注意力的时空神经网络城市区域交通流量预测

可靠的交通流量预测在交通管理和公共安全方面具有重要意义.然而,这也是一件具有挑战性的任务,因为它易受到空间依赖性、时间依赖性以及一些额外因素(天气和突发事件等)的影响.现有的大部分工作只考虑了交通数据的部分属性,导致建模不充分,预测性能不理想.因此,提出了一种新的端到端的深度学习模型——时空注意力卷积长短期记忆网络(ST-AttConvLSTM),用于交通流量的预测.ST-AttConvLSTM将整个模型分为三个分支进行建模,每个分支经过残差神经网络提取局部的空间特征,同时进一步结合天气等外部因素,再利用卷积长短时记忆网络(ConvLSTM)和注意力模型两种组件来挖掘流量的潜在规律,捕获时空维度上数据的关联性.使用北京市和纽约市两个真实的移动数据集来评估提出的方法,实验结果表明,该方法比知名的基准方法有更高的预测精度.