融合实体类型信息的本体-实例联合学习方法

对表示知识图谱的本体图和实例图进行联合学习能够提高嵌入学习效率,但不能区别表示实体在不同场景下的不同意义。在嵌入时考虑三元组中实体的关系类型特征,提出一种融合实体类型信息的本体-实例联合学习方法JOIE-TKRL-CT,达到在联合学习中表示多义实体、提高知识图谱嵌入学习效率的目的。在视图内部关系表示上,利用实体分层类型模型融入实体类型信息,在两个独立的嵌入空间中分别表征学习;在视图间关系表示上,将表征在两个独立空间的本体和实例通过非线性映射的方法跨视图链接。基于YAGO26K-906和DB111K-174数据集的实验结果表明,JOIE-TKRL-CT能够准确捕获知识图谱的实体类型信息,提高联合学习模型性能,与TransE、HolE、DisMult等基线模型相比,其在实例三元组补全和实体分类任务上均获得最优性能,具有较好的知识学习效果。     

面向地质领域的实体关系联合抽取研究

构建地质领域的知识图谱有助于便捷高效地共享和应用多源地质知识，而地质关系三元组抽取对地质领域知识图谱构建具有重要意义。针对现有实体关系联合抽取模型无法有效识别重叠三元组的问题，考虑地质领域专业知识的特殊性，基于预训练语言模型BERT建立一种用于地质领域关系三元组抽取的层级标注模型HtERT。采用中文预训练语言模型BERT-wwm替代原始的BERT模型作为底层编码器，以提高模型对中文的编码能力。在实体识别阶段，引入关于实体起始位置的嵌入表示来限制实体的抽取长度，从而提升实体识别的准确度。引入全局上下文信息和BiLSTM网络使得模型抽取到的特征能更精确地表示地质样本信息，增强模型对地质关系三元组以及重叠三元组的抽取能力。在地质领域数据集上的实验结果表明，HtERT模型相比于PCNN、BiLSTM、PCNN+ATT、CASREL等基线模型具有明显优势，精确率、召回率以及F1值分别平均提升15.24、10.96和13.20个百分点，验证了该模型在地质领域实体关系联合抽取任务中的有效性。     

面向食品监管领域的知识图谱构建研究

该文提出了面向食品监管领域的知识图谱构建研究,通过整理食品监管领域的相关文件和政策,并进行实体识别、实体关系识别、实体对齐构建食品监管领域知识图谱。其中基于双向长短时记忆网络与条件随机场结合的BiLSTM-CRF模型进行实体识别,准确率达0.96;基于食品监管实体的归类结果,确定同标签的实体间的分类关系,并创建“文本-实体”矩阵,提取出包含某实体对的所有句子,归纳实体对之间的关系;通过聚类进行实体对齐,并基于Neo4j存储和呈现图谱。构建的食品监管知识图谱弥补了食品监管领域知识图谱研究的空白,提升了食品监管体系和监管能力现代化水平。     

基于多粒度特征表示的知识图谱问答

近年来,基于知识图谱的问答系统逐渐成为学术界和工业界的研究和应用热点方向,而传统方法通常存在效率不高以及未充分利用数据信息的问题。针对以上问题,本文将中文知识图谱问答分为实体抽取和属性选择2个子任务,采用双向长短期记忆条件随机场（Bi-LSTM-CRF）模型来进行实体识别,并提出一种多粒度特征表示的属性选择模型。该模型采用字符级别以及词级别分别对问句和属性进行嵌入表示并通过编码器进行编码,对于属性同时还引入热度编码的信息。通过不同粒度文本表示的结合,并对问句和属性进行相似度计算,最终该系统在NLPCC-ICCPOL 2016 KBQA数据集上取得了73.96%的F1值,能够较好地完成知识图谱问答任务。     

融入三维语义特征的常识推理问答方法

现有使用预训练语言模型和知识图谱的常识问答方法主要集中于构建知识图谱子图及跨模态信息结合的研究,忽略了知识图谱自身丰富的语义特征,且缺少对不同问答任务的知识图谱子图节点相关性的动态调整,导致预测准确率低。为解决以上问题,提出一种融入三维语义特征的常识推理问答方法。首先提出知识图谱节点的关系层级、实体层级、三元组层级三维语义特征量化指标;其次,通过注意力机制动态计算关系层级、实体层级、三元组层级三种维度的语义特征对不同实体节点间的重要性;最后,通过图神经网络进行多层聚合迭代嵌入三维语义特征,获得更多的外推知识表示,更新知识图谱子图节点表示,提升答案预测精度。与QA-GNN常识问答推理方法相比,所提方法在CommonsenseQA数据集上的验证集和测试集的准确率分别提高了1.70个百分点和0.74个百分点,在OpenBookQA数据集上使用AristoRoBERTa数据处理方法的准确率提高了1.13个百分点。实验结果表明,所提出的融入三维语义特征的常识推理问答方法能够有效提高常识问答任务准确率。     

融合实体描述及类型的知识图谱表示学习方法

知识图谱在很多人工智能领域发挥着越来越重要的作用。知识图谱表示学习旨在将三元组中的实体和关系映射到低维稠密的向量空间。TransE、TransH和TransR等基于翻译操作的表示学习方法,只考虑了知识图谱的三元组信息孤立的学习表示,未能有效利用实体描述、实体类型等重要信息,从而不能很好地处理一对多、多对多等复杂关系。针对这些问题,该文提出了一种融合实体描述及类型的知识图谱表示学习方法。首先,利用Doc2Vec模型得到全部实体描述信息的嵌入;其次,对实体的层次类型信息进行表示,得到类型的映射矩阵,结合Trans模型的三元组嵌入,得到实体类型信息的表示;最后,对三元组嵌入、实体描述嵌入及实体类型嵌入进行连接操作,得到最终实体嵌入的表示,通过优化损失函数训练模型,在真实数据集上分别通过链接预测和三元组分类两个评测任务进行效果评估,实验结果表明新方法优于TransE、TransR、DKRL、SimplE等主流模型。     

基于知识增强的命名实体识别方法研究

命名实体识别作为自然语言处理中一项十分基础的任务，其目的是从一段用自然语言描述的文本中识别出相应的实体及类型。知识图谱作为以三元组形式存在的外部知识，已经在很多自然语言处理任务中得以应用并取得了良好效果。文中提出了一种基于知识图谱信息增强的注意力对齐命名实体识别方法，首先通过嵌入层和注意力机制嵌入知识图谱信息，获取知识图谱三元组信息的表示；其次通过BERT-BiLSTM获取句子的上下文表示；然后通过一种注意力对齐模块分配三元组权重融合知识图谱信息与句子信息的表示；最后通过softmax控制融合后的表示向量的预测输出，进而获取实体的标签。该方法有效避免了因知识图谱的融合而改变原句子的语义信息，同时也使得句子中的词向量具有丰富的外部知识。所提方法在中文通用数据集MSRA和医疗领域专用数据集Medicine上的F1值分别达到了95.73%和93.80%,相比基线模型提升了1.21%和1.3%。     

基于知识表示的联合问答模型

基于知识库的问答系统旨在通过解析用户的自然语言问句直接在知识库中提取出答案.目前,大多数知识库问答模型都遵循实体检测和关系识别这两个步骤,但是此类方法忽略了知识库本身所蕴含的结构信息以及这两个步骤之间的联系.文中提出了一种基于知识表示的联合问答模型.首先应用知识表示模型将知识库中的实体与关系映射到低维的向量空间,然后通过神经网络将问句也嵌入相同的向量空间,同时检测出问句中的实体,并在此向量空间内度量知识库三元组与问句的语义相似度,从而实现将知识库嵌入和多任务学习引入知识库问答.实验结果表明,所提模型可以极大地提高训练速度,在实体检测和关系识别任务上的准确率达到了主流水平,证明了知识库嵌入及多任务学习可以提升知识库问答任务的性能.     

基于荔枝和龙眼病虫害知识图谱的问答系统

病虫害一直以来都是影响农作物生产的重要原因,在该领域构建基于知识图谱的问答系统有助于智慧农业的发展,是人工智能时代下农业信息化的重要举措.该研究针对专家内部作物病虫害数据,编写程序对其进行清洗、知识提取等操作,完成该领域的知识图谱构建任务.对病虫害文本进行序列标注,完成实体识别模型构建用于问句实体识别,并构建文本分类模型对问句进行意图识别,编写模版规则匹配可执行Cypher语句,从知识图谱中得到答案.结合Flask与React前后端分离的Web框架,最终形成完整的基于图谱的问答系统.     

基于双模型识别的知识图谱可视化建模仿真

为加强知识图谱实体间的关联性，提高知识图谱的表达精度，以深度学习为技术支持，构建可视化知识图谱建构模型。采用清洗、jieba分词、卷积神经网络分类等手段处理初始数据集，基于BiLSTM-CRF算法与BiGRU-Attention模型，建立知识实体识别模型与实体关系识别模型。将识别的知识实体与实体关系储存至Neo4j图数据库中，令建构的知识图谱可视化。仿真环节，从人工标注数据集合中随机抽取中文语料，设立测试集与训练集，利用测试集训练识别模型，更新模型参数，采用多指标客观评价训练集的实体与关系识别效果，经指标评估结果验证，所建模型具有相对理想的可视化知识图谱建构效果。     

基于实体相似性的知识表示学习方法

知识表示学习旨在将知识图谱中的实体和关系表示成低维稠密实值向量,能有效缓解知识图谱的数据稀疏性和显著提升计算效率。然而,现有大多数知识表示学习方法仅将实体视为三元组的一个组成部分,没有考虑实体自身具有的特质,如实体相似性。为了加强嵌入向量的语义表达,提出基于实体相似性的表示学习方法SimE。该方法首先利用实体的结构邻域度量实体的相似性,再将实体的相似性和拉普拉斯特征映射结合作为基于三元组事实的表示学习方法的约束,形成联合表示。实验结果表明,该方法在链接预测和三元组分类等任务上与目前最好的方法性能接近。     

基于联合知识表示学习的多模态实体对齐

基于知识表示学习的实体对齐方法是将多个知识图谱嵌入到低维语义空间,通过计算实体向量之间的相似度实现对齐.现有方法往往关注文本信息而忽视图像信息,导致图像中实体特征信息未得到有效利用.对此,提出一种基于联合知识表示学习的多模态实体对齐方法(ITMEA).该方法联合多模态(图像、文本)数据,采用TransE与TransD相结合的知识表示学习模型,使多模态数据能够嵌入到统一低维语义空间.在低维语义空间中迭代地学习已对齐多模态实体之间的关系,从而实现多模态数据的实体对齐.实验结果表明,ITMEA在WN18-IMG数据集中能够较好地实现多模态实体对齐.     

教育测评知识图谱的构建及其表示学习

知识图谱旨在描述现实世界中存在的实体以及实体之间的关系.自2012年谷歌提出“Google Knowledge Graph”以来，知识图谱在学术界和工业界受到广泛关注.针对教育领域中信息缺乏系统性组织的不足，本文构建了面向高中的教育测评知识图谱（Educational Assessment Knowledge Graph，EAKG），其中EAKG的构建包括基于本体技术的知识图谱模式层构建和依托于模式层结构的知识图谱数据层构建.与传统通过网页爬虫等技术手段构建的知识图谱相比，本文构建的知识图谱优点在于逻辑结构清晰，实体间关系的刻画遵循知识图谱模式层的定义.EAKG为领域内知识共享，知识推理，知识表示学习等任务提供了良好的支撑.在真实模考数据上的实验结果表明：在试卷得分预测，知识点得分预测的实体链接预测和三元组分类嵌入式表示学习任务上，引入领域本体作为模式层构建的EAKG的性能优于没有领域本体模式层单纯由数据事实构成的EAKG，实验表明，领域本体的引入对知识图谱的表示学习具有一定的指导意义.     

基于BLSTM的命名实体识别方法

传统的命名实体识别方法直接依靠大量的人工特征和专门的领域知识,解决了监督学习语料不足的问题,但设计人工特征和获取领域知识的代价昂贵。针对该问题,提出一种基于BLSTM(Bidirectional Long Short-Term Memory)的神经网络结构的命名实体识别方法。该方法不再直接依赖于人工特征和领域知识,而是利用基于上下文的词向量和基于字的词向量,前者表达命名实体的上下文信息,后者表达构成命名实体的前缀、后缀和领域信息;同时,利用标注序列中标签之间的相关性对BLSTM的代价函数进行约束,并将领域知识嵌入模型的代价函数中,进一步增强模型的识别能力。实验表明,所提方法的识别效果优于传统方法。     

基于多视图知识表示和神经网络的旅游领域实体对齐方法

针对目前旅游领域实体对齐任务中的长尾实体过多和现有知识以及标注数据稀缺的问题,提出一种基于多视图知识表示和神经网络相结合的实体对齐方法。采用预训练模型完成多视图的知识表示学习,获得了实体的结构嵌入、关系嵌入和描述信息嵌入,然后利用卷积神经网络对结合了三种视图嵌入的实体综合嵌入进行相似度计算。实验精准率达到91.4%、召回率达到87.9%、综合指标F₁值达到89.6%。结果表明,该方法有效地完成了旅游领域的实体对齐任务。     

图文语义增强的多模态命名实体识别方法

为了解决多模态命名实体识别方法中存在的图文语义缺失、多模态表征语义不明确等问题,提出了一种图文语义增强的多模态命名实体识别方法。其中,利用多种预训练模型分别提取文本特征、字符特征、区域视觉特征、图像关键字和视觉标签,以全面描述图文数据的语义信息;采用Transformer和跨模态注意力机制,挖掘图文特征间的互补语义关系,以引导特征融合,从而生成语义补全的文本表征和语义增强的多模态表征;整合边界检测、实体类别检测和命名实体识别任务,构建了多任务标签解码器,该解码器能对输入特征进行细粒度语义解码,以提高预测特征的语义准确性;使用这个解码器对文本表征和多模态表征进行联合解码,以获得全局最优的预测标签。在Twitter-2015和Twitter-2017基准数据集的大量实验结果显示,该方法在平均F1值上分别提升了1.00%和1.41%,表明该模型具有较强的命名实体识别能力。     

基于双向语义的中文实体关系联合抽取方法

现有中文实体关系抽取方法通常利用实体间的单向关系语义特征进行关系抽取，然而仅靠单向语义特征并不能完全利用实体间的语义关系，从而使得实体关系抽取的有效性受到影响。提出一种基于双向语义的中文实体关系联合抽取方法。利用RoBERTa预训练模型获取具有上下文信息的文本字向量表征，通过首尾指针标注识别句子中可能存在关系的实体。为了同时利用文本中的双向关系语义信息，将实体分别作为关系中的主体与客体来建立正负关系，并利用两组全连接神经网络构建正负关系映射器，从而对每一个输入实体同时从正关系与负关系的角度构建候选关系三元组。将候选关系三元组分别在正负关系下的概率分布序列与实体位置嵌入特征相结合，以对候选三元组进行判别，从而确定最终的关系三元组。在DuIE数据集上进行对比实验，结果表明，该方法的精确率与召回率优于MultiR、CoType等基线模型，其F1值达到0.805，相较基线模型平均提高了12.8%。     

融合实体描述信息和邻居节点特征的知识表示学习方法

知识图谱表示学习旨在将实体和关系映射到一个低维稠密的向量空间中。现有的大多数相关模型更注重于学习三元组的结构特征,忽略了三元组内的实体关系的语义信息特征和三元组外的实体描述信息特征,因此知识表达能力较差。针对以上问题,提出了一种融合多源信息的知识表示学习模型BAGAT。首先,结合知识图谱特征来构造三元组实体目标节点和邻居节点,并使用图注意力网络（GAT）聚合三元组结构的语义信息表示;然后,使用BERT词向量模型对实体描述信息进行嵌入表示;最后,将两种表示方法映射到同一个向量空间中进行联合知识表示学习。实验结果表明,BAGAT性能较其他模型有较大提升,在公共数据集FB15K-237链接预测任务的Hits@1与Hits@10指标上,与翻译模型TransE相比分别提升了25.9个百分点和22.0个百分点,与图神经网络模型KBGAT相比分别提升了1.8个百分点和3.5个百分点。可见,融合实体描述信息和三元组结构语义信息的多源信息表示方法可以获得更强的表示学习能力。