基于层次门控交互融合网络的谣言检测方法

针对现有谣言检测方法对多特征做处理时因特征间差异导致特征冲突的问题，提出了一种基于层次门控交互融合网络的谣言检测方法。首先，利用一阶门控对原贴和评论的语义特征和情感特征做特征增强，然后，利用二阶门控对增强特征做跨语义特征融合，以解决特征融合时由于不同特征之间的差异引入噪声的问题。在公开的Weibo数据集和自建的Weibo22数据集上，所提方法的检测正确率分别为96.71%和97.36%。与检测性能最好的基线方法相比，检测正确率分别提高了0.84%和1.31%,训练时间分别减少了53%和46%。     

融合语义及边界信息的中文电子病历命名实体识别

中文电子病历数据专业性强,语法结构复杂,用于自然语言处理(NLP)的命名实体识别(NER)难度大。为了从电子病历数据中精确识别出医疗实体,提出了一种融合语义及边界信息的命名实体识别算法。首先,利用卷积神经网络(CNN)结构提取汉字图形信息,并与五笔特征拼接来丰富汉字的语义信息;然后,利用FLAT模型中的Lattice将医学词典作为字符潜在词组匹配文本信息;最后,将融入语义信息的Lattice模型用于中文电子病历命名实体识别。实验结果表明,该方法在Yidu-S4K数据集上的识别性能超过现有多种算法,且在Resume数据集上F1值可达到96.06%。     

一种基于对抗训练的医疗问答匹配方法

相较于英文开放领域的问答匹配,中文专业医疗领域的问答匹配任务更具有挑战性。针对中文语义和医疗数据的复杂、多样,大多数研究人员都专注于设计繁杂的神经网络来探索更深层次的文本语义,工作思路较为单一,同时神经网络模型很容易因为微小扰动而误判,模型的泛化能力较差。为此,提出了一种基于对抗训练的问答匹配模型,利用双向预训练编码器来捕获问答句的语义信息,从而得到对应的向量表征;再通过在词嵌入表示上添加扰动因子生成对抗样本;最后将初始样本和对抗样本共同输入带有线性层的模型中进行分类预测。在cMedQA V2.0数据集上通过对比实验证明了对抗训练可以有效提升问答匹配模型的性能。     

基于深度学习的中文零代词识别

针对中文零代词识别任务,提出了一种基于深度神经网络的中文零代词识别模型. 首先,通过注意力机制利用零代词的上下文来帮助表示缺省的语义信息. 然后,利用Tree-LSTM挖掘零代词上下文的句法结构信息. 最后,利用语义信息和句法结构信息的融合特征识别零代词. 实验结果表明,相对于以往的零代词识别方法,该方法能够有效提升识别效果,在中文OntoNotes5.0数据集上的F1值达到63.7%.     

基于预训练模型和编码器的图文跨模态检索算法

目前主流的图文跨模态检索模型架构主要包括基于双编码器和基于融合编码器的模型架构。基于双编码器的架构检索效率较高，但精度不足；基于融合编码器的架构检索精度较高，但效率低下。针对上述模型架构存在的问题，提出一种新的图文跨模态检索算法。首先，提出了一种召回排序策略，使用双编码器实现粗略召回，再使用融合编码器实现精准排序；其次，提出了一种基于多路Transformer预训练模型构建双编码器和融合编码器的算法，实现图文之间高质量的语义对齐，提升检索性能。在2个公开数据集MSCOCO和Flickr30k上的实验结果证明了所提算法的有效性。     

基于ERNIE-BiGRU模型的中文文本分类方法

针对新闻文本分类方法中词向量的表示无法很好地保留字在句子中的信息及其多义性,利用知识增强的语义表示(ERNIE)预训练模型,根据上下文计算出字的向量表示,在保留该字上下文信息的同时也能根据字的多义性进行调整,增强了字的语义表示。在ERNIE模型后增加了双向门限循环单元(Bi GRU),将训练后的词向量作为Bi GRU的输入进行训练,得到文本分类结果。实验表明,该模型在新浪新闻的公开数据集THUCNews上的精确率为94. 32%,召回率为94. 12%,F1值为0. 942 2,在中文文本分类任务中具有良好的性能。     

基于自注意力和门控机制的答案选择模型

针对现有答案选择方法语义特征提取不充分和准确性差的问题,引入自注意力和门控机制,提出了一种答案选择模型。该模型首先在问题和答案文本内部利用层叠自注意力进行向量表示,并在自注意力模块中让单词和位置分开进行多头注意力;然后将答案句通过卷积神经网络(Convolutional neural network, CNN)得到的向量表示输入注意力层,根据问题生成与问题相关的答案表示,并通过门控机制融合两种表示;最后计算问题和答案文本的相关性分数,得到候选答案的排名和标注。结果表明:该模型与双向长短时记忆网络模型、自注意力模型和基于注意力的双向长短时记忆网络模型相比,在WebMedQA数据集上平均倒数排名分数分别提高了8.37%、4.79%和2.03%,预测答案正确率也有提高。这表明提出的模型能够捕获更丰富的语义信息,有效提升了答案选择的性能。     

基于改进门控单元神经网络的语音识别声学模型研究

传统语音识别系统中,基于循环神经网络的语音声学模型对长距离历史信息记忆能力有限,难以利用语音的上下文相关性信息,标准长短时记忆单元参数规模庞大,神经网络训练收敛速度较慢。针对以上问题提出一种基于改进门控循环单元的双向循环神经网络的语音识别声学模型。改进模型使用ReLU函数代替双曲正切激活函数,选取单位正交矩阵作为网络初始化参数,结合批量规范化方法,在维持网络长期依赖关系的同时加快训练收敛速度。在TIMIT和LibriSpeech数据集上的实验结果表明:与基线系统相比,改进的门控循环单元模型有2.8%的绝对音素错误率的下降;与标准长短时记忆单元模型相比,神经网络训练的平均迭代周期减少了16.6%,在识别性能和计算效率上均有提升。     

融合Stacking 和深度学习的中文产品评论情感分析

大量涌现的电商产品评论对企业制定商业决策十分有利, BERT 应用在英语文本情感分析中取得了不错的效果。针对中文电商产品文本评论提出了一个新的融合Stacking 集成思想和深度学习算法模型。首先在文本信息特征提取层使用Chinese-BERT-wwm 生成含有丰富语义信息的动态句子表征向量, Chinese-BERT-wwm 是专门针对中文特点改进后的预训练模型, 具有稳健的中文文本特征信息提取能力, 其次该层同时设计了TextCNN 和BiLSTM捕获文本中局部关键信息特征与语序信息特征, 并将这些特征拼接在一起以获得更全面丰富的句子信息, 最后基于Stacking 集成学习思想使用SVM 对该特征进行分类。为了评估模型效果, 人工标注3 万条具有三类情感极性的中文电商产品文本数据进行实验, 该数据集可广泛用于中文情感分析领域。实验结果表明, 与基线模型相比, 提出的模型可以有效提高中文文本情感极性分类任务的准确率。     

基于BERT与密集复合网络的长文本语义匹配模型

针对长文本语义匹配中词向量前后之间联系不易捕获以及主题信息可能不唯一,通常使得语义匹配效果不佳的问题,提出了一种基于BERT与密集复合网络的长文本语义匹配方法,通过BERT嵌入与复合网络的密集连接,显著提高了长语义匹配的准确率。首先,将句子对输入BERT预训练模型,通过迭代反馈得到精准的词向量表示,进而得到高质量的句子对语义信息。其次,设计了一种密集复合网络,先由双向长短期记忆网络（Bi-LSTM）获得句子对的全局语义信息,然后由TextCNN提取并整合局部语义信息得到每个句子的关键特征和句子对间的对应关系,并将BERT与Bi-LSTM的隐藏输出与TextCNN的池化输出融合。最后,汇总训练过程中网络之间的关联状态,可以有效防止网络退化和增强模型判断能力。实验结果表明,在社区问题回答（CQA）长文本数据集上,本文方法平均提升幅度达到45%。     

自适应属性选择的实体对齐方法

现有实体对齐方法普遍存在传统方法依赖外部信息和人工构建特征,而基于表示学习的方法忽略了知识图谱中的结构信息的问题。针对上述问题,提出自适应属性选择的实体对齐方法,融合实体的语义和结构信息训练基于两个图谱联合表示学习的实体对齐模型。提出使用基于自适应属性选择的属性强约束模型,根据数据集特征自动生成最优属性类型和权重约束,提升实体对齐效果。两个实际数据集上的试验表明,该方法与传统表示学习方法相比准确率最高提升了约11%。     

融合知识图谱的医疗领域命名实体识别

为了改善通用预训练模型不适应医疗领域的命名实体识别任务这一不足,提出了一种融合医疗领域知识图谱的神经网络架构,该架构利用弹性位置和遮盖矩阵使预训练模型计算自注意力时避免语义混淆和语义干扰,在微调时使用多任务学习的思想,利用回忆学习的优化算法使预训练模型均衡通用语义表达和目标任务的学习,最终得到更为高效的向量表示并进行标签预测。实验结果表明：本文提出的命名实体识别架构在医疗领域上取得了优于主流预训练模型的效果,在通用领域也有较为良好的效果。该架构避免了重新训练针对某个领域的预训练模型和引入额外的编码结构从而精简了计算代价和模型大小。此外,通过消融实验对比,医疗领域对于知识图谱的依赖程度较通用领域依赖程度更大,这说明在医疗领域中融合知识图谱方法的有效性。通过参数分析,证明本文使用回忆学习的优化算法可以有效控制模型参数的更新,使模型可以保留更多的通用语义信息并得到更符合语义的向量表达。本文也通过实验分析说明了所提方法在实体数量少的种类上具有更优的表现。     

基于密集连接网络和多维特征融合的文本匹配模型

针对文本匹配过程中存在语义损失和句子对间信息交互不充分的问题,提出基于密集连接网络和多维特征融合的文本匹配方法. 模型的编码端使用BiLSTM网络对句子进行编码,获取句子的上下文语义特征;密集连接网络将最底层的词嵌入特征和最高层的密集模块特征连接,丰富句子的语义特征;基于注意力机制单词级的信息交互,将句子对间的相似性特征、差异性特征和关键性特征进行多维特征融合,使模型捕获更多句子对间的语义关系. 在4个基准数据集上对模型进行评估,与其他强基准模型相比,所提模型的文本匹配准确率显著提升,准确率分别提高0.3%、0.3%、0.6%和1.81%. 在释义识别Quora数据集上的有效性验证实验结果表明,所提方法对句子语义相似度具有精准的匹配效果.     

用于文本分类的多探测任务语言模型微调

预训练语言模型被广泛运用在多项自然语言处理任务中,但是对于不同的任务没有精细的微调.针对文本分类任务,提出基于探测任务的语言模型微调方法,利用探测任务训练模型特定的语言学知识,可提高模型在文本分类任务上的性能.设计了6个探测任务,覆盖句子浅层、语法和语义三方面信息.最后在6个文本分类数据集上验证了本文的方法,使分类错误率得到改善.     

基于Attention-BiLSTM的中文命名实体识别

提出一种基于Attention-BiLSTM(attention-bidirectional long short-term memory)深度神经网络的命名实体识别方法。应用BiLSTM神经网络自动学习文本的隐含特征,可以解决传统识别方法存在长距离依赖等问题;引入注意力机制(attention mechanism)对文本全局特征做重要度计算,获取文本局部特征,解决了传统深度学习方法不能充分提取特征的问题;在预训练过程中加入维基百科知识,进一步提升了命名实体识别系统的性能。实验表明,所提方法在SIGHAN 2006 Bakeoff-3评测数据集上获得了优良的识别性能。     

基于条件随机域和语义类的中文组块分析方法

为了解决中文组块分析精度不高和未利用词的语义信息的问题,提出了一种基于条件随机域模型和语义类的中文组块分析方法.该方法通过研究中文组块分析任务及其序列化特性,采用条件随机域模型融合不同类型特征,克服标记偏置问题,将语义词典中抽取的语义类特征应用到中文组块分析中,提高分析精度.实验表明,该方法取得了F值为92.77%的中...     

基于音素混淆模型的集外词查询项扩展方法

为了提高语音查询项检索系统中集外词检索的性能,在加权有限状态转换器（weightedfinite-state transducer,WFST）框架下提出了一种基于音素混淆模型的集外词查询项扩展技术,将查询项扩展成多发音序列来解决集外词问题.首先由G2P（grapheme-to-phoneme）模型生成查询项的发音序列,然后利用音素混淆模型将发音序列扩展成N-best发音,以补偿识别错误造成Lattice建立的索引与查询项发音序列之间音素表示差异带来的影响,从而有效降低漏警率.实验结果表明,加入音素混淆模型之后,系统集外词检索性能有明显提升.     

多信息融合的时空图卷积交通流量预测模型

为了深入挖掘交通流量的时空特征以提高预测精度，提出改进的融合距离与周期性因素的多信息融合的时空图卷积门控神经网络.将路网中各个路段作为节点并根据路段间邻接关系建立路网图结构；考虑路段间距离对空间相关性的影响，计算路段之间的空间影响度大小，给予图邻接矩阵不同的权重.在模型构建中，设计空间图卷积模块与时间序列预测模块；通过空间图卷积模块提取空间特征信息，并将提取的空间特征信息与交通流量周期序列信息相融合，传入时间序列预测模块；重新设计门控循环单元（GRU）的门控机制算法达到多源信息共同输入的目的，最终得到预测输出.实验在真实的公路交通流量PEMS数据集上进行多时段测试，结果表明，与目前基于图卷积的预测方法相比，所设计的模型预测误差更低，预测性能更优.     

基于隐马尔可夫模型的自适应站点的研究

提出了一个基于隐马尔可夫模型的自适应站点模型。通过对用户访问序列进行语义分析,提取出访问路径中蕴含的信息需求,依此进行站点调整、页面推荐及预取,全面提升了站点的自适应性能。     

基于Affix-Attention的命名实体识别语义补充方法

针对现有命名实体识别方法存在的语义信息获取不全面问题,提出基于Affix-Attention的命名实体识别语义补充方法。将句子和句子中每个单词对应的词缀输入到编码层,使用Bi-LSTM提取上下文特征。在编码层设计特征融合模块、建模文本特征与词缀特征的对应关系,使用Affix-Attention同时关注文本信息和词缀信息进行语义补充。解码层使用CRF层得到目标序列。在生物医学领域的JNLPBA-2004和BC2GM基准数据集上的试验结果综合评价指标F₁达到81.73%、84.73%;在公共数据集CONLL-2003中试验结果综合评价指标F₁达到91.35%。试验结果表明,本研究方法能够有效获取词的内部语义特征,融合文本信息和词缀信息,达到语义补充的效果,提升命名实体识别的性能。