面向问句复述识别的语义正交化匹配方法研究

问句复述识别任务旨在判断两个自然问句的语义是否等价。问句的语义理解与交互是解决该任务的关键因素。现有工作通常基于问句的语义级编码,通过融合或交互的方式,抽取问句的浅层语义特征,以此支持复述问句之间的语义计算。但是如果能找到两个问句的相同点和不同点,就可以基于这些信息得到更为准确的判断结果。基于此想法,该文提出了语义正交化匹配方法,将语义正交化引入到问句复述识别任务中。通过语义正交化方法将每个问句拆分为与另一个问句的相似表示和差异表示,这不仅丰富了问句的语义表示,而且实现了问句的多粒度特征语义融合。该文在中文数据集LCQMC和英文数据集Quora上进行实验,证明了语义正交化匹配方法在问句复述识别任务中的有效性。     

面向问句复述识别的多卷积自交互匹配方法研究

问句复述识别旨在识别两个自然问句是否语义一致。目前,基于表示学习和深度神经网络架构的复述识别技术已取得较好效果。但是,这类方法往往面临复杂度较高且训练难度较大的瓶颈。针对这一问题,该文提出一种快速的多卷积自交互匹配方法。该方法融合了多种句子特征和词义特征,并由此形成分布式表示。在此基础上,这一方法利用卷积神经网络获取短语级的句子向量表示,并利用自交互融合技术将词级与短语级的向量表示进行充分融合,借以获得多粒度句子向量表示。该文将这一方法应用于判定自然语句是否互为复述的二元分类任务中,利用Quora标准问句复述识别语料进行测试。实验结果证明,在不引入外部数据的情况下,该文所提方法与基于双向多视角匹配的基准模型具有可比的性能,但在空间复杂度上具有较高的优越性,并且获得更快训练速度。具体地,该方法训练所需的物理显存比基准模型方法下降80%,训练迭代速度快19倍。     

基于复述模型的词语替代方法

词语替代任务旨在为句子中的目标词寻找合适的替代词。基于预训练语言模型BERT的词语替代方法直接利用目标词的上下文信息生成替代候选词。由于标注数据资源的缺乏使得研究人员通常采用无监督的方法,这也限制了预训练模型在此任务上的适用性。考虑到现有的大规模复述语料中包含了大量的词语替代规则,该文提出一种通过复述模型生成替代候选词的方法。具体的做法是：利用复述语料训练一个神经复述模型;提出了一种只关注目标词变化的解码策略,用于从复述模型中生成替代词;根据文本生成评估指标计算替代词对原句意思的改变程度,对替代词排序。相对已有的词语替代方法,在两个广泛使用的数据集LS07和CoInCo上进行评估,该文提出的方法取得了显著的提高。     

结合注意力机制的循环神经网络复述识别模型

传统基于深度学习的复述识别模型通常以关注文本表示为核心,忽略了对多粒度交互特征的挖掘与匹配.为此,建模文本交互空间,分别利用双向长短时记忆网络对两个候选复述句按条件编码,基于迭代隐状态的输出,通过逐词软对齐的方式从词、短语、句子等多个粒度层次推理并获取句子对的语义表示,最后综合不同视角的语义表达利用softmax实现二元分类.为解决复述标注训练语料不足,在超过580000句子对的数据集上利用语言建模任务对模型参数无监督预训练,再使用预训练好的参数在标准数据集上有监督微调.与先前最佳的神经网络模型相比,所提出模型在标准数据集MSRP上准确率提高2.96%,$F_1$值改善2%.所提出模型综合文本全局和局部匹配信息,多粒度、多视角地描述文本交互匹配模式,能够降低对人工特征工程的需求,具有良好的实用性.     

面向中文命名实体识别任务的数据增强

In low-resource natural language processing (NLP) tasks, the existing data is not enough to train an ideal deep learning model. Text data augmentation is an effective method to improve the training effect of such tasks. This paper proposes a group of data augmentation methods based on instance substitution for the task of Chinese named entity recognition. A named entity in the training sample can be replaced by another entity of the same kind without changing the label. The specific algorithms include: 1) crossover substitution between existing entities; 2) synonymous replacement of entity components; 3) automatic generation of Chinese names. These methods are applied to PeopleDailyNER and CLUENER2020 datasets respectively, and the augmentation data is used to train the BERT+CRF model. The experimental results show that the F1 value of the model can be improved by about 10% and 7% respectively on the two datasets with only adding the same amount of augmentation data as the original data under the condition of small samples, and it also has a significant improvement when the training samples increase.     

专有名词增强的复述生成方法研究

现有的中文复述生成模型在对包含专有名词的原句生成复述句时经常丢失原句中的专有名词,造成复述句的语义偏移,降低复述句的可用性,进而影响其在下游任务中的应用效果。为了解决这类问题,提出专有名词增强的复述生成方法。针对包含单个专有名词的原句构建基于占位符的复述生成模型,通过将训练句对中的专有名词用占位符替换,训练模型对占位符的保留能力;针对包含多个专有名词的原句构建词汇约束的复述生成模型,通过将专有名词列表与原句拼接并进行区分,训练模型对多个专有名词的识别和复制能力,提高复述句对专有名词的保留率。此外,综合考虑语义一致性和表达多样性,提出参考句无关的复述句质量评价指标用来评估生成复述句的质量。以真实对话系统业务中的意图识别冷启动任务为下游任务,对比不同模型生成复述句的质量以及在意图识别任务上的准确率。实验结果表明,词汇约束的复述生成模型能够生成与原句语义一致且表达具有多样性的高质量复述语料,对应语料训练得到的意图识别模型准确率最高,相较于未考虑专有名词的复述模型,意图识别模型的准确率提高了5.38%。     

面向小样本意图识别的分步式阶段性数据增强

文本意图识别任务中常面临训练数据不足的问题,且由于文本数据离散性导致在标签不变的条件下进行数据增强并提高原模型性能具有一定困难,为解决小样本意图识别任务中的上述问题,提出一种分步式数据增强与阶段性训练策略相结合的方法.该方法从全局和局部两个角度将原始数据在全体语句和同类别中的样本对上进行递进式增强,并在模型训练期间根据递进层次的不同划分阶段进行学习,最后在多个意图识别数据集上进行实验以评估其有效性.实验结果表明,该方法可以有效提高小样本环境中意图识别模型的准确率,同时模型的稳定性也得到了提升.     

基于生成对抗网络的情绪识别数据增强方法

使用深度学习方法构建高准确率的情绪识别模型需要大量的情绪脑电数据。生成对抗网络(GAN)最近在生成逼真的数据方面取得了巨大成功,但一直没有客观的评价指标衡量生成的数据质量,无法保证生成的样本总是有助于分类。针对此问题,提出了一种将带条件和梯度惩罚的生成对抗网络(Conditional Wasserstein GAN-Gradient Penalty, CWGAN-GP)与序列后向选择(Sequential Backword Selection, SBS)相结合的数据增强方法。利用SBS自动从CWGAN-GP生成的人工样本中选择高质量的人工样本加入到训练集中,在DEAP数据集中评估提出的CWGAN-GP-SBS方法。实验结果表明,使用CWGAN-GP-SBS方法得到样本的测试分类准确率相比传统SBS方法平均高出5.86%,说明CWGAN-GP-SBS生成的人工样本可以显著提高情绪识别模型的准确性。     

探索低资源的迭代式复述生成增强方法

复述生成旨在同一语言内将给定句子转换成语义一致表达不同的句子。目前,基于深度神经网络的复述生成模型的成功依赖于大规模的复述平行语料,当面向新的语言或新的领域时,模型性能急剧下降。面对这一困境,提出低资源的迭代式复述生成增强方法,最大化利用单语语料和小规模复述平行语料迭代式训练复述生成模型并生成复述伪数据,以此增强模型性能。此外,提出了句子流畅性、语义相近性和表达多样性为基准设计的伪数据筛选算法,选取高质量的复述伪数据参与每轮模型的迭代训练。在公开数据集Quora上的实验结果表明,提出的方法仅利用30%的复述语料在语义和多样性指标上均超过了基线模型,验证了所提方法的有效性。     

基于注意力引导数据增强的车型识别

车型识别在智能交通系统中发挥着重要作用。受车辆数据不足、车辆类间差异小等因素的影响,传统车型识别方法未充分利用车辆鉴别性区域的特征,导致识别准确率降低。提出一种基于注意力模块引导数据增强的车型识别方法。将ResNet-50作为骨干网络提取车辆特征,同时在网络的每个残差块后均嵌入坐标注意力模块,编码成一对方向感知和位置敏感的注意力图,以增强车辆鉴别性区域的特征表达。在此基础上,利用双线性注意力汇集操作生成增强特征图,通过对增强特征图进行注意力裁剪和注意力擦除,获取具有强鉴别性的增强数据。在Stanford Cars车辆数据集上的实验结果验证了该方法的有效性,结果表明,该方法的车型识别准确率达到94.86%,与RA-CNN、MA-CNN、WS-DAN+Inception-v3等方法相比,能够有效提高车型识别准确率和数据增强效率。     

中文开放域问答系统数据增广研究

开放域问答是自然语言处理中的重要任务之一。目前的开放域问答模型总是倾向于在问题和文章之间做浅层的文本匹配,经常在一些简单问题上出错。这些错误的原因部分是由于阅读理解数据集缺少一些真实场景下常见的模式。该文提出了几种能够提高开放域问答鲁棒性的数据增广方法,能有效减少这些常见模式的影响。此外,我们还构造并公开发布了一个新的开放域问答数据集,能够评估模型在真实场景下的实际效果。实验结果表明,该文提出的方法在实际场景下带来了性能提升。     

基于外部记忆单元和语义角色知识的文本复述判别模型

文本复述判别是一个重要的句子级语义理解应用。该文提出了一个轻量级的基于记忆单元的单层循环神经网络模型,并结合语义角色标注知识帮助进行英文文本复述判别。使用单层的循环网络模型减缓由于网络层数过多加重的梯度消失和梯度爆炸问题,易于训练;并且利用外部记忆单元和语义角色知识帮助存储两句话中不同层级的语义联系。该文模型在英文评测语料Microsoft Research Paraphrase Corpus测试集上F值为84.3%。实验表明,语义角色标注知识确实可以帮助文本复述判别,并且轻量级模型达到了与同类多层次网络模型相近的效果。     

基于DCNN和数据增强的固体发动机烧蚀预示方法

针对固体发动机烧蚀率的预示,现有传统建模方法存在复杂度高、计算需求大、试验数据少、样本不平衡等问题,提出了一种基于深度卷积神经网络和数据增强的固体发动机烧蚀率预示方法。将传感器数据处理为长度相同、特征相近的序列数据,并使用自适应高斯噪声和随机漂移这2种数据增强方法扩充数据样本,再将扩充后的试验样本和伪样本作为深度卷积神经网络的输入进行训练,将训练得到的模型与传统方法计算得到的烧蚀率预示值进行对比。结果表明,该方法下烧蚀率预示值误差低至0.013 5 m/s,预示精度可达95%。     

复述检测技术综述

网络内容安全日益受到各界的关注。自然语言处理中用于判断两个文本语义是否相同的复述检测技术,可以把语义相同表述形式不同的的看法、意见等聚成一类,大幅提高舆情监控的效率;亦可识别出经过改写的不良敏感信息,有效提高不良敏感信息的召回率。本文旨在介绍当前复述检测技术领域的研究进展。首先介绍复述检测的概念、应用场景和研究现状。然后对复述检测方法进行分类,本文从计算方式上将复述检测方法分为基于相似度的方法和基于特征的方法,依次介绍每类方法的特点、优缺点,并详述一些有代表性的方法,重点介绍了基于深度学习的复述检测方法。最后详细分析了复述检测技术当前存在的问题,并对未来的发展趋势进行了展望。     

基于数据增强技术的神经机器翻译

神经机器翻译是目前机器翻译领域最热门的研究方法。和统计机器翻译相比,神经机器翻译在语料丰富的语种上可以取得非常好的结果,但是在资源比较稀缺的语种上表现一般。该文利用数据增强技术对资源贫乏语种的训练数据进行扩充,以此增强神经机器翻译的泛化能力。该文在藏汉、汉英两种语言对上进行了实验,当训练数据规模只有10万平行句对时,相较于基准系统,在两种语言对上均获得了4个BLEU值的提高。实验表明,数据增强技术可以有效地解决神经机器翻译因为训练数据太少而导致的泛化能力不足问题。     

面向垂直领域的阅读理解数据增强方法

阅读理解问答系统是利用语义理解等自然语言处理技术,根据输入问题,对非结构化文档数据进行分析,生成一个答案,具有很高的研究和应用价值。在垂直领域应用过程中,阅读理解问答数据标注成本高且用户问题表达复杂多样,使得阅读理解问答系统准确率低、鲁棒性差。针对这一问题,该文提出一种面向垂直领域的阅读理解问答数据的增强方法,基于真实用户问题,构造阅读理解训练数据,一方面降低标注成本,另一方面增加训练数据多样性,提升模型的准确率和鲁棒性。该文用汽车领域数据对本方法进行实验验证,其结果表明,该方法对垂直领域中阅读理解模型的准确率和鲁棒性均得到有效提升。     

Brain Tumor Identification Using Data Augmentation and Transfer Learning Approach

A brain tumor is a lethal neurological disease that affects the average performance of the brain and can be fatal. In India, around 15 million cases are diagnosed yearly. To mitigate the seriousness of the tumor it is essential to diagnose at the beginning. Notwithstanding, the manual evaluation process utilizing Magnetic Resonance Imaging (MRI) causes a few worries, remarkably inefficient and inaccurate brain tumor diagnoses. Similarly, the examination process of brain tumors is intricate as they display high unbalance in nature like shape, size, appearance, and location. Therefore, a precise and expeditious prognosis of brain tumors is essential for implementing the of an implicit treatment. Several computer models adapted to diagnose the tumor, but the accuracy of the model needs to be tested. Considering all the above mentioned things, this work aims to identify the best classification system by considering the prediction accuracy out of AlexNet, ResNet 50, and Inception V3. Data augmentation is performed on the database and fed into the three convolutions neural network (CNN) models. A comparison line is drawn between the three models based on accuracy and performance. An accuracy of 96.2% is obtained for AlexNet with augmentation and performed better than ResNet 50 and Inception V3 for the 120th epoch. With the suggested model with higher accuracy, it is highly reliable if brain tumors are diagnosed with available datasets.     

基于语言学扰动的事件检测数据增强方法

近年来,深度学习在事件检测领域取得了长足进展。但是,现有方法通常受制于事件检测标注数据的规模和训练阶段的不稳定性。针对上述问题,本文提出了基于语言学扰动的事件检测数据增强方法,从语法和语义两个角度生成伪数据来提升事件检测的性能。为了有效的利用生成的伪数据,该文探索了数据增加和多实例学习两个训练策略。在KBP 2017事件检测数据集上的实验验证了我们方法的有效性。此外,在人工构造的少量ACE2005数据集上的实验结果证明该文方法可以大幅度提升小数据情况下的模型学习性能。