融合标签嵌入和知识感知的多标签文本分类方法

多标签文本分类是自然语言处理领域的重要任务之一.文本的标签语义信息与文本的文档内容有紧密的联系,而传统的多标签文本分类方法存在忽略标签的语义信息以及标签的语义信息不足等问题.针对以上问题,提出一种融合标签嵌入和知识感知的多标签文本分类方法 LEKA (Label Embedding and Knowledge-Aware).该方法依赖于文档文本以及相应的多个标签,通过标签嵌入来获取与标签相关的注意力.考虑标签的语义信息,建立标签与文档内容的联系,将标签应用到文本分类中.另外,为了增强标签的语义信息,通过知识图谱嵌入引入外部感知知识,对标签文本进行语义扩展.在AAPD和RCV1-V2公开数据集上与其他分类模型进行了对比,实验结果表明,与LCFA (Label Combination and Fusion of Attentions)模型相比,LEKA的F1分别提高了3.5%和2.1%.     

基于双向长短期记忆网络和标签嵌入的文本分类模型

提出了一种基于双向长短期记忆网络和标签嵌入的文本分类模型。首先利用BERT模型提取句子特征,然后通过BiLSTM和注意力机制得到融合重要上、下文信息的文本表示,最后将标签和词在联合空间学习,利用标签与词之间的兼容性得分对标签和句子表示加权,实现标签信息的双重嵌入,分类器根据给定标签信息对句子进行分类。在5个权威数据集上的实验表明,该方法能有效地提高文本分类性能,具有更好的实用性。     

用于多标签文本分类的深度模块化标签注意网络

针对现有文本多标签语义信息挖掘方法仅注重从文本到标签的映射方向,而忽略了从标签到文本的映射方向的问题,本文认为从标签到文本的映射方向可以过滤文本中与标签无关的噪声信息,进而生成只关注于标签信息的文本表示。基于此假设,本文基于注意力机制提出了一种深度模块化标签注意网络,主要由标签注意网络进行多层级联而成。在标签注意网络中构建了双向标签注意单元和自我注意单元,从而得到标签和文本的双向依赖表示。模型在公开数据集RCV1、AAPD、EUR-Lex上与SGM、LSAN、EXAM等算法进行比较,对于现有的最佳性能平均提升0.54%。     

融合标签层级结构的文本分类

层级标签文本分类旨在从具有层级结构的标签集中选择与文本最匹配的标签。现有的文本分类方法,通常使用编码器提取文本特征进行预测,他们忽视了标签语义、标签之间的相关性、文本特征对标签特征的影响。针对以上问题,提出了融合标签结构的层级标签文本分类模型(Label Hierarchical and Semantic Structure Learning,LHSSL)。LHSSL充分利用了标签语义结构与层级结构信息,通过共享参数的图卷积神经网络学习两种结构的相似特征。然后将标签特征与文本特征动态连接,构造标签模拟分布作为soft target。与不考虑标签信息直接使用LSTM、Bert和添加标签平滑后的LSTM、Bert相比,该模型在四个数据集上的准确率都有了一定的提升。     

一种融合标签间强相关性的多标签图像分类方法

为了将标签间的语义相关性引入多标签图像分类模型中,传统的方法例如 ML-GCN 通过设置单阈值将标 签条件概率矩阵二值化为标签共现矩阵,然而,仅设置单阈值很难归纳所有的标签语义关系情况。 针对这一问题, 提出一种融合标签间强相关性的多标签图像分类方法—MGAN(Multiple Graph Convolutional Attention Networks), 通过设置多个阈值,将传统的标签条件概率矩阵按照不同的相关性程度分割为多个子图;同时,为了提升多标签分 类性能,也引入图像区域空间相关性。 另外,针对传统的“CNN+GCN”方法将标签与特征的融合张量视为预测分数 缺乏可解释性问题,将标签与特征的融合张量视为注意力分数;在 MS-COCO 和 PASCAL VOC 数据集上与其他主 流多标签图像分类方法进行了对比实验,平均准确率分别达到了 94. 9%和 83. 7%,相较于经典 ML-GCN 模型,分 别获得了 0. 9%和 0. 8%准确率提升,且在“Binary”和“Re-weighted”邻接矩阵模式下,MGAN 都有较好的表现,验证 了新的融合方法可以缓解图卷积神经网络过平滑问题对多标签图像分类的影响。     

基于Transformer的序列生成多标签文本分类

多标签文本分类任务存在难以从文本信息中提取标签关联的判别特征,建立标签相关性困难等问题。现有方法主要采用基于RNN的序列生成模型来建立标签高阶相关性,但缺乏对文本语义信息的充分利用。为此文章提出基于Transformer解码器的序列生成模型,使用标签嵌入作为查询,通过其多头自注意力机制建立标签之间的高阶相关性,并利用多头交叉注意力子层从文本信息中自适应地聚合标签相关的关键特征。文章的注意力权重可视化实验表明,序列生成Transformer在建立标签相关性的同时,能够更全面、更深层次地考虑文本和标签之间的语义相关性。与传统RNN类模型相比,序列生成Transformer在分类任务中兼具有效性和可解释性,并在AAPD和SLASHDOT两个数据集上取得了更优的结果。在AAPD数据集上分别取得了70.49%的Instance-F1值和52.04%的Label-F1值,比以往分类效果最好的set-RNN模型分别高1.44%和1.83%。     

基于卷积神经网络和自注意力机制的文本分类模型

单词级别的浅层卷积神经网络(CNN)模型在文本分类任务上取得了良好的表现.然而,浅层CNN模型由于无法捕捉长距离依赖关系,影响了模型在文本分类任务上的效果.简单地加深模型层数并不能提升模型的效果.本文提出一种新的单词级别的文本分类模型Word-CNN-Att,该模型使用CNN捕捉局部特征和位置信息,利用自注意力机制捕捉长距离依赖.在AGNews、DBPedia、Yelp Review Polarity、Yelp Review Full、Yahoo! Answers等5个公开的数据集上,Word-CNN-Att比单词级别的浅层CNN模型的准确率分别提高了0.9%、0.2%、0.5%、2.1%、2.0%.     

基于词-标签概率的多标签文本分类研究

针对多标签文本分类任务中如何有效地提取文本特征和获取标签之间潜在的相关性问题,提出一种CNN(convolutional neural networks)结合Bi-LSTM (bi-directional long short-term memory)的模型.首先,通过CNN网络和最大池化提取文本的特征;然后,利用训练的Labeled-LDA(labeled latent dirichlet allocation)模型获取所有词与标签之间的词-标签概率信息;接着,使用Bi-LSTM网络和CNN网络提取当前预测文本中每个词的词-标签信息特征;最后,结合提取的文本特征,预测与当前文本相关联的标签集.实验结果表明,使用词-标签概率获取文本中词与标签之间的相关性信息,能够有效提升模型的F1值.     

基于图嵌入和区域注意力的多标签文本分类

针对传统多标签文本分类模型未考虑标签之间以及标签与文本各个部分之间的相关性、低频标签预测效果不佳的问题,使用图嵌入和区域注意力技术来挖掘标签之间以及标签和文本之间的关系,提出了编码器-图嵌入和区域注意力机制-解码器模型来处理多标签分类任务.采用Bi-LSTM作为编码器,使用图嵌入技术生成标签嵌入矩阵;利用区域注意力机制结合单词级别与区域级别的信息,使得模型在预测每个标签时考虑文本不同部分的信息,挖掘了文本与标签之间的潜在关联;使用循环神经网络和多层感知机作为解码器结合随机策略梯度算法,减少训练损失,改善多标签分类效果.在AAPD和RCV1-V2多标签文本分类数据集上进行试验,根据数据集特征设置相关参数,以micro-F1和Hamming Loss作为评价指标,对比所提出模型与LP、卷积神经网络等9个经典模型.结果表明,所提出模型能够根据高频标签预测出低频标签,在2个数据集上的micro-F1和Hamming Loss均优于经典模型.     

基于XLNet+BiGRU+Att(Label)的文本分类模型

传统的词向量嵌入模型,如Word2Vec、GloVe等模型无法实现一词多义表达;传统的文本分类模型也未能很好地利用标签词的语义信息。基于此,提出一种基于XLNet+BiGRU+Att(Label)的文本分类模型。首先用XLNet生成文本序列与标签序列的动态词向量表达;然后将文本向量输入到双向门控循环单元(BiGRU)中提取文本特征信息;最后将标签词与注意力机制结合,选出文本的倾向标签词,计算倾向标签词与文本向量的注意力得分,根据注意力得分更新文本向量。通过对比实验,本文模型比传统模型在文本分类任务中的准确率更高。使用XLNet作为词嵌入模型,在注意力计算时结合标签词能够提升模型的分类性能。     

融合对抗训练和CNN-BiGRU神经网络的新闻文本分类模型

以对抗训练和神经网络为核心,构建文本表示与分类的一体化框架BATCBG,利用BERT和对抗训练充分提高文本表示效果,利用CNN-BiGRU集成神经网络对文本高效准确分类.通过对比实验发现,BATCBG在大幅提升文本分类准确率的同时保证了分类效率,对英文长新闻文本的分类效果提升最大.     

基于双向长短记忆网络和门控注意力的文本分类网络

首先,提出构建双向的全连接结构用于更好提取上下文的信息;然后,利用双向的注意力机制将包含丰富文本特征的矩阵压缩成一个向量;最后,将双向的全连接结构和门控制结构相结合.通过实验验证了上述结构对于提升文本分类的准确率具有积极的作用.将这3种结构和双向的循环网络进行结合,组成了所提出的文本分类模型.通过在7个常用的文本分类数据集(AG、 DBP、 Yelp.P、 Yelp.F、 Yah.A、Ama.F、Ama.P)上进行的实验,得到了具有竞争性的结果并且在其中5个数据集(AG、DBP、Yelp.P、Ama.F、Ama.P)上获得了较好的实验效果.通过实验表明,所提出的文本分类模型能显著降低分类错误率.     

融合多粒度特征和标签语义共现的多标签分类

为了从文本中可以更加准确地分析其蕴含的内容,给人们的生产生活提供建议,在基于深度学习的传统多标签分类方法的基础上,提出一种融合多粒度特征和标签语义共现的多标签分类模型。该模型利用双向长短时记忆网络双向长短时记忆网络(bidirectional long short-term memory network, Bi-LSTM)提取多粒度的文本特征,获得不同层次的文本特征;并通过计算pmi的方式构建标签关系图,利用图卷积网络(graph convolution network, GCN)深入提取标签的隐藏关系,获得具有标签信息的文本表示;最终融合多粒度文本特征,进行多标签文本分类。在AAPD和news数据集上进行实验。结果表明：所提出模型的Micro-F1值分别达到0.704和0.729,验证了模型的有效性。     

基于ESVM的科技政策文本标签分类研究

文本标签作为一种文本关键词,能够简化科技政策中有效信息的挖掘。本文从科技政策类别角度,将标签类别分为科技投入、知识产权、农村科技和税收四类,针对传统SVM算法的缺点和标签数据不平衡的缺点,结合欧式距离思想,提出一种带有惩罚因子的ESVM科技政策文本标签分类方法。最后,对比SVM和ESVM两种分类方法,验证了本文方法在处理科技政策文本标签数据上的有效性。     

多状态图神经网络文本分类算法

为了提高模型在文本分类任务中的分类性能,针对图神经网络中存在的过度平滑问题,同时增强模型在处理文本特征与文本表示方面的能力,提出了一种基于多状态图神经网络的文本分类算法(multi-state graph neural network, MSGNN)。多状态图神经网络是利用网络层的多个历史状态信息对图神经网络进行强化,构建合理的文本图结构数据作为模型输入。在缓解网络层过度平滑问题的同时,结合2种改进后的不同类型的图神经网络来增强模型的特征提取与特征聚合能力。利用多头自注意力机制对文本关键词的挖掘与利用能力,从多个文本子空间来生成高质量的文本表示,进而完成文本分类。通过在几个公开的文本分类数据集上进行实验分析,相较于其他神经网络的文本分类算法,该方法取得了较好的分类准确率。     

基于文本内容的超链接分类研究

针对目前网页分类以及相关研究的问题，提出了基于文本内容的超链接分类思想，为下一步进行信息抽取、话题追踪等互联网信息应用研究做了更好的准备．通过对特定领域内应用两种分类方法对其进行对比研究，取得了较好的效果．     

基于RoBERTa-RCNN和注意力池化的新闻主题文本分类

针对中文新闻主题因缺乏上下文信息而造成语义模糊和用词规范性不高的问题，提出一种基于RoBERTa-RCNN和多头注意力池化机制的新闻主题文本分类方法。利用数据增强技术对部分训练数据进行回译处理，再通过自编码预训练模型和RCNN对文本进行初步和深度的特征提取，并结合多头注意力思想改进最大池化层。该方法采用融合机制，改善了RCNN中最大池化策略单一和无法进行动态优化的缺陷。在三个新闻主题数据集上进行实验，使用更适用于新闻主题分类的Mish函数代替ReLU函数，并利用标签平滑来解决过拟合问题。结果表明，所提方法相比传统分类方法效果突出，并通过消融实验验证了模型在分类任务上的可行性。     

基于神经网络模型的文本分类研究综述

文本分类是自然语言处理与理解当中重要的一个研究内容,在文本信息处理过程中有关键作用.目前深度学习已经在图像识别、机器翻译等领域取得了突破性的进展,而且它也被证明在自然语言处理任务中拥有着提取句子或文本更高层次表示的能力,也备受自然语言处理研究人员的关注.文章以基于深度学习的文本分类技术为研究背景,介绍了几种基于深度学习神经网络模型的文本分类方法,并对其进行分析.