多粒度信息关系增强的多标签文本分类

基于深度学习的多标签文本分类方法存在两个主要缺陷:缺乏对文本信息多粒度的学习,以及对标签间约束性关系的利用.针对这些问题,提出一种多粒度信息关系增强的多标签文本分类方法.首先,通过联合嵌入的方式将文本与标签嵌入到同一空间,并利用BERT预训练模型获得文本和标签的隐向量特征表示.然后,构建3个多粒度信息关系增强模块:文档级信息浅层标签注意力分类模块、词级信息深层标签注意力分类模块和标签约束性关系匹配辅助模块.其中,前两个模块针对共享特征表示进行多粒度学习:文档级文本信息与标签信息浅层交互学习,以及词级文本信息与标签信息深层交互学习.辅助模块通过学习标签间关系来提升分类性能.最后,所提方法在3个代表性数据集上,与当前主流的多标签文本分类算法进行了比较.结果表明,在主要指标Micro-F1、MacroF1、nDCG@k、P@k上均达到了最佳效果.     

结合多粒度信息的文本匹配融合模型

常规的文本匹配模型大致分为基于表示的文本匹配模型和基于交互的文本匹配模型.由于基于表示的文本匹配模型容易失去语义焦点,而基于交互的文本匹配模型会忽视全局信息,文中提出了结合多粒度信息的文本匹配融合模型.该模型通过交互注意力和表示注意力将两种文本匹配模型进行了融合,然后利用卷积神经网络提取了文本中存在的多个不同级别的粒度...     

采用标签组合与融合注意力的多标签文本分类

传统的多标签文本分类算法在挖掘标签的关联信息和提取文本与标签之间的判别信息过程中存在不足,由此提出一种基于标签组合的预训练模型与多粒度融合注意力的多标签文本分类算法。通过标签组合的预训练模型训练得到具有标签关联性的文本编码器,使用门控融合策略融合预训练语言模型和词向量得到词嵌入表示,送入预训练编码器中生成基于标签语义的文本表征。通过自注意力和多层空洞卷积增强的标签注意力分别得到全局信息和细粒度语义信息,自适应融合后输入到多层感知机进行多标签预测。在特定威胁识别数据集和两个通用多标签文本分类数据集上的实验结果表明,提出的方法在能够有效捕捉标签与文本之间的关联信息,并在F1值、汉明损失和召回率上均取得了明显提升。     

融合多粒度特征的细粒度图像分类网络

在细粒度图像分类任务中,巨大的类内方差决定了该任务的分类依赖于粗粒度和细粒度信息.最近的工作主要关注于如何定位不同粒度的辨别性局部来解决这个问题.然而,在如何选择具有辨别性的粒度以及融合多粒度特征方面,现有的工作还缺乏一定研究.因此,本文提出了一个融合多粒度特征的细粒度图像分类网络,首先通过一个局部错位模块选择细粒度图像中的不同粒度,然后引入注意力机制定位它们并提取其多粒度特征,并且通过迭代学习的方式提取多粒度间的互补信息,最后采用可变形卷积融合这些多粒度特征,从而实现细粒度图像分类.本文所提出的方法在CUB-200-2011、FGVC-Aircraft和Stanford Cars三个数据集上准确率分别达到88.6%、93.6%和94.8%,这表明本文的方法能够获得优秀的分类性能.     

基于双图神经网络信息融合的文本分类方法

近年来,图神经网络在文本分类任务中得到了广泛应用。与图卷积网络相比,基于消息传递的文本级的图神经网络模型具有内存占用少和支持在线检测等优点。然而此类模型通常仅使用词共现信息为语料中的各个文本构建词汇图,导致获取到的信息缺少多样性。文中提出了一种基于双图神经网络信息融合的文本分类方法。该方法在保留原有词共现图的基础上,根据单词间的余弦相似度构建语义图,并通过阈值控制语义图的稀疏程度,更有效地利用了文本的多方位语义信息。此外,测试了直接融合和注意力机制融合两种方式对词汇图和语义图上学习到的文本表示融合的能力。实验使用R8和R52等12个文本分类领域常用的数据集来测试算法的精度,结果表明,与最新的TextLevelGNN,TextING和MPAD这3个文本级的图神经网络模型相比,双图模型能够有效提高文本分类的性能。     

一种融合标签信息的多标签文本分类方法

多标签文本分类旨在从若干标签中选取最相关的标签子集来标记一个样本点.传统的研究倾向于探讨标签间关系而忽略标签语义,造成信息提取不完整,因此如何利用标签元数据有效提取样本中的关键信息是需要解决的一个重要问题.为解决上述问题,本文首先提出从现有数据集中生成标签语义元数据的方法,利用注意力模型对样本中混杂的语义进行筛选和清洗,生成标签的语义信息,解决了标签语义获取困难的问题.其次提出combined-attention模型用以提取样本中的关键信息,此模型将标签语义和标签关系结合起来共同提取样本中的信息,并且其内部设置了自适应融合单元,将以上两种关键信息根据其在分类结果中的关键程度自适应分配权重,进一步提升了模型的分类能力.3个英文数据集上的实验结果表明本模型优于最先进的基线方法,在分类精度上最高提升了5.68%,在真实的中文法律数据集上也实现了优异的分类效果.     

融合CNN-SAM与GAT的多标签文本分类模型

现有基于神经网络的多标签文本分类研究方法存在两方面不足,一是不能全面提取文本信息特征,二是很少从图结构数据中挖掘全局标签之间的关联性。针对以上两个问题,提出融合卷积神经网络-自注意力机制（CNNSAM）与图注意力网络（GAT）的多标签文本分类模型（CS-GAT）。该模型利用多层卷积神经网络与自注意力机制充分提取文本局部与全局信息并进行融合,得到更为全面的特征向量表示;同时将不同文本标签之间的关联性转变为具有全局信息的边加权图,利用多层图注意力机制自动学习不同标签之间的关联程度,将其与文本上下文语义信息进行交互,获取具有文本语义联系的全局标签信息表示;使用自适应融合策略进一步提取两者特征信息,提高模型的泛化能力。在AAPD、RCV1-V2与EUR-Lex三个公开英文数据集上的实验结果表明,该模型所达到的多标签分类效果明显优于其他主流基线模型。     

多粒度融合驱动的超多视图分类方法

有效的融合算子可提升多视图分类方法的性能.随着视图个数增多,现有融合算子面临2方面挑战：1)表达能力强的融合算子得到的融合向量维度呈指数增加,而融合维度不变的融合算子的表达能力较弱;2)现有融合算子往往一次作用于全部视图,这种融合策略建模视图间的关系较为困难.为解决这些问题,受多粒度启发,提出一种多粒度融合的超多视图分类方法.首先,使用1个融合算子建模任意视图对之间的关系;然后,基于成对关系结果,使用1个融合算子建模每个视图与其他全部视图的关系;最后,基于每个视图与其他全部视图的关系结果,使用1个融合算子建模全部视图间的关系.4个大规模数据集上的实验结果表明：多粒度融合的超多视图分类方法的性能统计上优于比较方法,这表明多粒度由易到难建模视图特征间关系的策略确实可提升多视图分类方法的性能.     

融合多粒度注意力特征的小样本分类模型

在小样本分类任务中,现有的CNN模型存在特征提取不足、特征单一和小样本数据集类间差异化较弱的问题,导致分类精度较低。针对以上问题,提出一种融合多粒度注意力特征（fusion multi-granular attention feature,FMAF）的小样本分类模型。首先,该方法借鉴多粒度思想,重新设计CNN特征提取网络的架构来增强特征多样性;其次,在多粒度特征提取网络后添加自注意力层,提取多粒度图像特征中的关键特征,在多粒度注意力特征的基础上,借助特征融合方法融合多粒度注意力特征信息,突出关键特征,提高特征的表征力;最后,在两个经典的小样本数据集miniImageNet和tieredImageNet上进行了评估。实验结果表明,FMAF方法能有效提升分类的准确度和效率。     

基于标签推理和注意力融合的多标签文本分类方法

目前许多多标签文本分类方法主要关注文档表示,而丢失了大量标签相关的语义信息,导致分类效果不理想。针对以上问题,提出一种基于标签推理和注意力融合的分类方法,挖掘文档中与标签相关的特征以及相似标签之间的相关性,学习标签信息进行标签推理,同时采用注意力机制自学习地融合文档表示和标签表示,最终完成多标签分类任务。在AAPD和RCV1-V2数据集上进行实例验证,该方法的F1值分别达到了0.732和0.887,与其他最新方法相比其准确度均有提升,实验结果证明了标签推理和注意力融合策略的有效性。     

基于交叉注意力机制的多视图项目文本分类方法

科研项目文本的分类往往需要耗费巨大的人力、物力,因此采用智能方法实现对项目文本分类意义重大。文本分类方法的核心在于文本语义特征的提取,高效的特征提取方法有助于准确构建文本到类别之间的映射。已有的文本分类方法往往基于整个文本或者一部分文本作为分类依据,可能出现信息的冗余或缺失。该文针对结构化的项目文本,在BERT等预训练网络的基础上,创新性地提出基于单交叉注意力机制的两视图项目文本分类学习方法(Two-View Cross Attention, TVCA)和基于双交叉注意力机制的多视图项目文本分类学习方法(Multi-View Cross Attention, MVCA)。MVCA方法基于项目文本的一个主要视图(项目摘要)和两个辅助视图(研究内容、目的和意义),通过两个交叉注意力机制提取包含更丰富语义信息的特征向量,进一步改善分类模型的性能。我们将TVCA和MVCA方法应用于英文论文数据Web of Science Meta-data和南方电网科技项目文本的分类任务中,实验结果验证了TVCA和MVCA方法无论从分类效果还是收敛速度上,都明显优于已有的比较方法。     

基于多粒度特征融合的叶片分类与分级方法

长期以来,已有很多工作致力于研究植物叶片分类,虽然它们在公开数据集上表现较好,但实际应用并不理想,且难以应用于更复杂的问题,如叶片分级,即要求在对叶片进行分类的基础上,再对同一类的叶片进行更细级别(质量等级)的划分。为此,提出了一种新的植物叶片分类以及分级模型,该模型关注叶片的多粒度信息,并将粗粒度与细粒度进行有效融合。该模型包含粗粒度和细粒度两个分支,由粒度混合损失将两个分支联系起来,促使模型逐步学习由粗到细的粒度表征。采用了多步骤训练方式,每一步提取不同层级的特征,实现浅层特征与深层特征的融合。此外,还提出了几何通道注意力模块,该模块由空间变换和双线性注意力池化组成,使模型可以关注图像中更具区分度的局部区域,提取出的特征更具区分性。所提方法在Flavia leaf和Swedish leaf两个公开的叶片分类数据集上分别达到了99.8%和99.7%的分类准确率,且在所构建的烟叶分级数据集上达到了71.9%的分级准确率,均超过了目前最优的方法。     

融合多粒度信息与外部知识的短文本匹配模型

中文短文本通常使用单词序列而非字符序列进行语义匹配,以获得更好的语义匹配性能。然而,中文分词可能是错误或模糊的,容易引入噪声或者错误传播,从而损害模型的匹配性能。此外,多数中文词汇具有一词多义的特点,短文本由于缺少上下文环境,相比一词多义的长文本更难理解,这对于模型正确捕获语义信息是一个更大的挑战。提出一种短文本匹配模型,使用词格长短期记忆网络（Lattice LSTM）融合字符和字符序列的多粒度信息。引入外部知识HowNet解决多义词的问题,使用软注意力机制获取2个句子间的交互信息,并利用均值池化和最大池化算法进一步提取句子的特征信息,获取句子级语义编码表示。在数据集LCQMC和BQ上的实验结果表明,与ESIM、BIMPM和Lattice-CNN模型相比,该模型能有效提升中文短文本语义匹配的准确率。     

基于广义自适应多粒度的多源信息融合研究

多粒度粗糙集模型是一种有效的信息融合策略。利用该策略能从多个角度将多源信息进行融合,并转化成一致的信息表示。现有的大多数多粒度信息融合方法对每个知识粒度都采用相同的阈值,然而,众所周知,不同的信息源的来源和噪声都不尽相同,其对应的知识粒度的阈值也应不同。为此,首先在广义多粒度粗糙集中引入单参数决策理论粗糙集,提出了广义自适应多粒度粗糙集模型。然后,利用经典的融合策略设计了4种广义多粒度模型,所有模型都可以通过一个参数补偿系数$ \zeta $来自适应地获得知识粒度对应的阈值对,并讨论了这些模型的相关性质。最后,通过实验结果证明,所提模型在实际应用中灵活性更高,决策更为合理。     

多类型注意力下参数自适应的多标签文本分类

多标签文本分类是指从一个极大的标签集合中为每个文档分配最相关的多个标签。该文提出一种多类型注意力机制下参数自适应模型(Parameter Adaptive Model under Multi-strategy Attention Mechanism, MSAPA)对文档进行建模和分类。MSAPA模型主要包括两部分：第一部分采用多类型注意力机制分别提取融合自注意力机制的全局关键词特征和局部关键词特征及融合标签注意力机制的全局关键词特征和局部关键词特征;第二部分采用多参数自适应策略为多类型注意力机制动态分配不同的权重,从而学习到更优的文本表示,提升分类的准确率。在AAPD和RCV1两个基准数据集上的大量实验证明了MSAPA模型的优越性。     

结合多粒度特征融合的自然场景文本检测方法

自然场景下的文本信息通常具有多样性和复杂性的特点.由于采用手工设计特征的方式,传统的自然场景文字检测方法缺乏鲁棒性,而已有的基于深度学习的文本检测方法在各层网络提取特征的过程中存在丢失重要特征信息的问题.文中从多粒度和认知学的角度,提出了一种结合多粒度特征融合的自然场景文本检测方法.该方法的主要贡献是通过对通用特征提取网络的不同粒度特征进行融合,并加入残差通道注意力机制,使得模型在充分学习图像中不同粒度特征信息的基础上,更加关注目标特征信息并抑制无用的信息,提升了模型的鲁棒性和准确率.实验结果表明,相比其他最新的方法,该方法在公开数据集上取得了85.3％的准确率和82.53％的F值,具有更好的性能.     

基于并行卷积网络信息融合的层级多标签文本分类算法

自然语言处理是人工智能与机器学习领域的重要方向,它的目标是利用计算机技术来分析、理解和处理自然语言。自然语言处理的一个重点研究方向是从文本内容中获取信息,并且按照一定的标签体系或标准将文本内容进行自动分类标记。相比于单一标签文本分类而言,多标签文本分类具有一条数据属于多个标签的特点,使得更难从文本信息中获得多类别的数据特征。层级多标签文本分类又是其中的一个特别的类别,它将文本中的信息对应划分到不同的类别标签体系中,各个类别标签体系又具有互相依赖的层级关系。因此,如何利用其内部标签体系中的层级关系更准确地将文本分类到对应的标签中,也就成了解决问题的关键。为此,提出了一种基于并行卷积网络信息融合的层级多标签文本分类算法。首先,该算法利用BERT模型对文本信息进行词嵌入,接着利用自注意力机制增强文本信息的语义特征,然后利用不同卷积核对文本数据特征进行抽取。通过使用阈值控制树形结构建立上下位的节点间关系,更有效地利用了文本的多方位语义信息实现层级多标签文本分类任务。在公开数据集Kanshan-Cup和CI企业信息数据集上的结果表明,该算法在宏准确率、宏召回率与微F1值3种评价指标上均优于主流的...     

融合标签关系的法律文本多标签分类方法

随着大数据技术的快速发展,多标签文本分类在司法领域也催生出诸多应用.在法律文本中通常存在多个要素标签,标签之间往往具有相互依赖性或相关性,准确识别这些标签需要多标签分类方法的支持.因此,文中提出融合标签关系的法律文本多标签分类方法.方法构建标签的共现矩阵,利用图卷积网络捕捉标签之间的依赖关系,并结合标签注意力机制,计算法律文本和标签每个词的相关程度,得到特定标签的法律文本语义表示.最后,融合标签图构建的依赖关系和特定标签的法律文本语义表示,对文本进行综合表示,实现文本的多标签分类.在法律数据集上的实验表明,文中方法获得较好的分类精度和稳定性.     

基于标签语义注意力的多标签文本分类

自大数据蓬勃发展以来,多标签分类一直是令人关注的重要问题,在现实生活中有许多实际应用,如文本分类、图像识别、视频注释、多媒体信息检索等.传统的多标签文本分类算法将标签视为没有语义信息的符号,然而,在许多情况下,文本的标签是具有特定语义的,标签的语义信息和文档的内容信息是有对应关系的,为了建立两者之间的联系并加以利用,提出了一种基于标签语义注意力的多标签文本分类(LAbel Semantic Attention Multi-label Classification,简称LASA)方法,依赖于文档的文本和对应的标签,在文档和标签之间共享单词表示.对于文档嵌入,使用双向长短时记忆(bi-directional long short-term memory,简称Bi-LSTM)获取每个单词的隐表示,通过使用标签语义注意力机制获得文档中每个单词的权重,从而考虑到每个单词对当前标签的重要性.另外,标签在语义空间里往往是相互关联的,使用标签的语义信息同时也考虑了标签的相关性.在标准多标签文本分类的数据集上得到的实验结果表明,所提出的方法能够有效地捕获重要的单词,并且其性能优于当前先进的多标签文本分类...     

特征融合的多标签文本分类研究

作为多标签文本分类的一个重要步骤,目前特征提取方法已取得重大进展,但基于深度学习的特征提取方法存在获取特征单一、不全面等问题,因此,本文提出新的特征融合提取模型,即使用BiGRU提取文本的全局特征,Capsule network提取文本的局部特征和位置信息,同时使用TF-IDF提取文本的统计特征。实验证明该模型在公共数据集RCV1-V2和AAPD上的性能都得到改进。