基于CNN和LSTM的多通道注意力机制文本分类模型

针对传统的卷积神经网络（Convolutional Neural Network,CNN）和长短时记忆网络（Long Short-Term Memory,LSTM）在提取特征时无法体现每个词语在文本中重要程度的问题,提出一种基于CNN和LSTM的多通道注意力机制文本分类模型。使用CNN和LSTM提取文本局部信息和上下文特征;用多通道注意力机制（Attention）提取CNN和LSTM输出信息的注意力分值;将多通道注意力机制的输出信息进行融合,实现了有效提取文本特征的基础上将注意力集中在重要的词语上。在三个公开数据集上的实验结果表明,提出的模型相较于CNN、LSTM及其改进模型效果更好,可以有效提高文本分类的效果。     

基于特征融合的文本情感分类

虽然卷积神经网络（CNN）可以提取局部特征,长短期记忆网络（LSTM）可以提取全局特征,它们都表现出了较 好的分类效果,但CNN在获取文本的上下文全局信息方面有些不足,而LSTM容易忽略词语之间隐含的特征信息。因此,提 出了用CNN_BiLSTM_Attention 并行模型进行文本情感分类。首先,使用CNN提取局部特征,同时BiLSTM提取带有上下文 语义信息的全局特征,之后将两者提取的特征拼接在一起,进行特征融合。这样使得模型既能捕获局部短语级特征,又能捕获 上下文结构信息,并对特征词的重要程度,利用注意力机制分配不同权重,进而提高模型的分类效果。通过与单一模型CNN、 LSTM等深度神经网络模型的对比,本文所提的CNN_BiLSTM_Attention并行模型在综合评价指标F1 score 和准确率上都有 提升,实验结果表明,本文所提模型在文本情感分类任务中取得了较好的结果,比其他神经网络模型有更好的实用价值。     

基于特征融合的文本情感分类

虽然卷积神经网络(CNN)可以提取局部特征,长短期记忆网络(LSTM)可以提取全局特征,它们都表现出了较好的分类效果,但CNN在获取文本的上下文全局信息方面有些不足,而LSTM容易忽略词语之间隐含的特征信息.因此,提出了用CNN_BiLSTM_Attention并行模型进行文本情感分类.首先,使用CNN提取局部特征,同...     

基于注意力机制的双通道DAC-RNN文本分类模型

在对中文文本进行分类的过程中,由于关键特征在整个文本中具有分布不均匀的特点,容易出现关键特征丢失的问题,降低了分类的准确性。针对这一问题,提出一种基于注意力机制的双通道文本分类模型。将输入文本通过词嵌入进行向量表示,利用Bi-LSTM通道提取文本中的上下文关联信息,利用CNN通道提取文本中连续词间的局部特征。在两个通道中均引入注意力机制进行全局权重分配,使模型能够进一步关注到文本中的关键词。在CNN通道中,将原始输入向量与各层CNN的输出向量进行选择性融合,从而实现特征重利用。在今日头条和THUCNews两个公开数据集上进行性能评估,实验结果表明,与其他分类模型相比,所提模型的分类准确率分别为97.59%、90.09%,具有更好的分类性能。     

基于LSTM-CNN-CBAM模型的股票预测研究

为了更好地对股票价格进行预测,进而为股民提供合理化的建议,提出了一种在结合长短期记忆网络（LSTM）和卷积神经网络（CNN）的基础上引入注意力机制的股票预测混合模型（LSTM-CNN-CBAM）,该模型采用的是端到端的网络结构,使用LSTM来提取数据中的时序特征,利用CNN挖掘数据中的深层特征,通过在网络结构中加入注意力机制--Convolutional Attention Block Module（CBAM）卷积模块,可以有效地提升网络的特征提取能力。基于上证指数进行对比实验,通过对比实验预测结果和评价指标,验证了在LSTM与CNN结合的网络模型中加入CBAM模块的预测有效性和可行性。     

基于语义强化和特征融合的文本分类

文本分类是信息检索、机器问答的基础性任务,是自然语言理解的一项重要语义任务。本文提出了一种基于语义强化和特征融合的(LAC)分类模型。该模型首先将Word2vec嵌入的词向量输入LSTM进行句子语义的提取,然后将提取的语义特征输入Attention层进行特征的强化,同时用卷积层提取文本的局部特征,其次把强化的语义特征和利用卷积层提取的局部特征进行融合,最后经池化层对特征进行降维,并将经池化后的特征向量输入到全连接层,引入Dropout防止过拟合,得到最终的分类结果。由于CNN提取特征时存在忽略上下文信息的弊端,所以提出用LATM提取上下文信息,然后进行特征的融合的方法;另外,由于LSTM在捕获句子信息时会因为距离过长而出现的信息遗漏现象,所以提出将Attention作用于LSTM。通过实验表明,本文提出的模型比单独的CNN模型、以及先用LSTM提取语义信息,在进行局部特征提取的LSTM-CNN模型的效果更好。     

基于注意力机制的LSTM的语义关系抽取*

目前关系抽取方法中,传统深度学习方法存在长距离依赖问题,并且未考虑模型输入与输出的相关性。针对以上问题,提出了一种将LSTM模型(Long Short-term memory)与注意力机制(Attention Mechanism)相结合的关系抽取方法。首先将文本信息向量化,提取文本局部特征;然后将文本局部特征导入双向LSTM模型中,通过注意力机制对LSTM模型的输入与输出之间的相关性进行重要度计算,根据重要度获取文本整体特征;最后将局部特征和整体特征进行特征融合,通过分类器输出分类结果。在SemEval-2010 Task 8语料库上的实验结果表明,该方法的准确率和稳定性较传统深度学习方法有进一步提高,为自动问答、信息检索以及本体学习等领域提供了方法支持。     

融合卷积注意力机制的图像描述生成模型

图像描述模型需要提取出图像中的特征,然后通过自然语言处理（NLP）技术将特征用语句表达出来。现有的基于卷积神经网络（CNN）和循环神经网络（RNN）搭建的图像描述模型在提取图像关键信息时精度不高且训练速度缓慢。针对这个问题,提出了一种基于卷积注意力机制和长短期记忆（LSTM）网络的图像描述生成模型。采用Inception-ResNet-V2作为特征提取网络,在注意力机制中引入全卷积操作替代传统的全连接操作,减少了模型参数的数量。将图像特征与文本特征有效融合后送入LSTM单元中完成训练,最终产生描述图像内容的语义信息。模型采用MSCOCO数据集进行训练,使用多种评价指标（BLEU-1、BLEU-4、METEOR、CIDEr等）对模型进行验证。实验结果表明,提出的模型能够对图像内容进行准确描述,在多种评价指标上均优于基于传统注意力机制的方法。     

基于并行混合网络融入注意力机制的情感分析

针对传统卷积神经网络（CNN）不仅会忽略词的上下文语义信息而且最大池化处理时会丢失大量特征信息的问题,传统循环神经网络（RNN）存在的信息记忆丢失和梯度弥散问题,和CNN和RNN都忽略了词对句子含义的重要程度的问题,提出一种并行混合网络融入注意力机制的模型。首先,将文本用Glove向量化;之后,通过嵌入层分别用CNN和双向门限循环神经网络提取不同特点的文本特征;然后,再把二者提取得到的特征进行融合,特征融合后接入注意力机制判断不同的词对句子含义的重要程度。在IMDB英文语料上进行多组对比实验,实验结果表明,所提模型在文本分类中的准确率达到91.46%而其F1-Measure达到91.36%。     

短文本分类的ResLCNN模型

短文本分类是互联网文本数据处理中的关键任务之一.长短时记忆网络LSTM（long short-term memory）和卷积神经网络CNN（convolutional neural network）是广泛应用于短文本分类任务的两种深度学习模型.在计算机视觉和语音识别领域的深度学习研究表明,深层次的神经网络模型具有较好的表达数据特征的能力.受此启发,面向文本深度学习分类问题,提出基于3层LSTM和CNN网络结构的ResLCNN（residual-LSTM-CNN）深度学习模型.该模型有效结合LSTM获取文本序列数据的长距离依赖特征和CNN通过卷积操作获取句子局部特征的优势,同时借鉴残差模型理论,在第1层LSTM层与CNN层之间加入恒等映射,构建残差层,缓解深层模型梯度消失问题.为了探究深层短文本分类中ResLCNN模型的文本分类能力,在多种数据集上将其与LSTM、CNN及其组合模型进行对比实验.结果表明,相比于单层LSTM与CNN组合模型,ResLCNN深层模型在MR、SST-2和SST-5数据集上分别提高了1.0%、0.5%、0.47%的准确率,取得了更好的分类效果.     

基于注意力机制的CNN-LSTM模型及其应用

时序数据存在时序性，并且其短序列的特征存在重要程度差异性。针对时序数据特征，提出一种基于注意力机制的卷积神经网络（CNN）联合长短期记忆网络（LSTM）的神经网络预测模型，融合粗细粒度特征实现准确的时间序列预测。该模型由两部分构成：基于注意力机制的CNN，在标准CNN网络上增加注意力分支，以抽取重要细粒度特征；后端为LSTM，由细粒度特征抽取潜藏时序规律的粗粒度特征。在真实的热电联产供热数据上的实验表明，该模型比差分整合移动平均自回归、支持向量回归、CNN以及LSTM模型的预测效果更好，对比目前企业将预定量作为预测量的方法，预测缩放误差平均值（MASE）与均方根误差（RMSE）指标分别提升了89.64%和61.73%。     

基于BLSTM-Attention神经网络模型的化工事故分类

化工事故新闻数据包含新闻内容,标题以及新闻来源等方面信息,新闻内容的文本对上下文具有较强的依赖性.为了更准确地提取文本特征并提高化工事故分类的准确性,该文提出了一种基于Attention机制的双向LSTM （BLSTM-Attention）神经网络模型对化工新闻文本进行特征提取并实现文本分类.BLSTM-Attention神经网络模型能够结合文本上下文语义信息,通过正向和反向的角度来提取事故新闻的文本特征;考虑到事故新闻中不同词对文本的贡献不大相同,加入Attention机制对不同词和句子分配不同权重.最后,将该文提出的分类方法与Naive-Bayes、CNN、RNN、BLSTM分类方法在相同的化工事故新闻数据集上进行实验对比.实验结果表明：该文提出的神经网络模型BLSTM-Attention神在化工数据集上的效果更优于其他分类方法模型.     

基于CNN和GRU的混合股指预测模型研究

针对股票数据共线性和非线性的特点,提出了一种基于卷积神经网络（Convolutional Neural Network,CNN）和门控循环单元（Gated Recurrent Unit,GRU）神经网络的混合预测模型,并对沪深300指数、上证综指和深证成指进行了预测。该模型首先采用CNN提取特征向量,对原始数据进行降维,然后利用GRU神经网络学习特征动态变化规律进行股指预测。仿真结果表明,与GRU神经网络、长短时记忆（Long-Short-Term Memory,LSTM）神经网络和CNN相比,该模型能够挖掘历史数据中蕴含的信息,有效提高股指预测的准确率,并可为股指交易提供一些参考。     

结合图卷积的深层神经网络用于文本分类

随着图卷积网络的发展,图卷积网络已经应用到很多任务中,其中就包含文本分类任务.通过将文本数据表示成图数据,进而在图上应用图卷积,从而捕获文本的结构信息和单词间的长距离依赖关系获得了良好的分类效果.但将文本建模成图模型后,图卷积网络面临着文本上下文语义信息和局部特征信息表示不充分的问题.提出一种新的模型,利用双向长短时记...     

基于物联网平台的动态权重损失函数入侵检测系统

随着物联网（IoT）接入设备越来越多,以及网络管理维护人员缺乏对IoT设备的安全意识,针对IoT环境和设备的攻击逐渐泛滥。为了加强IoT环境下的网络安全性,利用基于IoT平台制作的入侵检测数据集,采用卷积神经网络（CNN）+长短期记忆（LSTM）网络为模型架构,利用CNN提取数据的空间特征,LSTM提取数据的时序特征,并将交叉熵损失函数改进为动态权重交叉熵损失函数,制作出一个针对IoT环境的入侵检测系统（IDS）。经实验设计分析,并使用准确率、精确率、召回率和F1-measure作为评估参数。实验结果表明在CNN-LSTM网络架构下采用了动态权重损失函数的模型与采用传统的交叉熵损失函数的模型相比,前者比后者在使用数据集的地址解析协议（ARP）类样本中在F1-Measure上提升了47个百分点,前者比后者针对数据集中的其他少数类样本则提升了2个百分点~10个百分点。实验结果表明,动态权重损失函数能够增强模型对少数类样本的判别能力,且该方法可以提升IDS对少数类攻击样本的判断能力。     

基于注意力交互机制的层次网络情感分类

目前关于商品评论的深度网络模型难以有效利用评论中的用户信息和产品信息。提出一种基于注意力交互机制的层次网络（HNAIM）模型。该模型利用层次网络对不同粒度语义信息进行提取,并通过注意力交互机制在层次网络中通过捕捉用户、产品中的重要特征来帮助提取文本特征。最终将用户视角下的损失值和产品视角下的损失值作为辅助分类信息,并利用层次网络输出的针对用户或产品的关键文本特征进行训练和分类。三个公开数据集上对比结果表明,该模型较相关模型而言效果均有提升。