融合实体概念描述与图像特征的知识图谱表示学习研究

知识图谱表示学习将实体和关系映射到一个连续的低维空间.传统学习方法是从结构化的三元组学习知识表示,忽略了三元组之外与实体相关的丰富多源信息.针对该问题,提出一种将实体概念描述和图像特征与事实三元组相结合的知识图谱表示学习模型DIRL.首先,利用BERT模型进行实体概念描述的语义表示;其次,使用CNN编码器对图像总体特征进行提取,然后通过基于注意力的方法表示图像特征;最后,将基于概念描述的表示和基于图像特征的表示与翻译模型TransR结合起来进行知识图谱表示学习.通过实验验证,DIRL模型优于现有方法,提高了多源信息知识图谱表示的有效性.     

基于图上下文的知识表示学习

在知识图谱的知识表示学习中,绝大多数方法都是将知识图谱中实体和关系映射到低维的连续向量空间中,但数据的稀疏和信息的不足仍会导致实体和关系语义表示的不完整性.针对这个问题,提出基于图上下文的知识表示学习模型(Context_RL).将知识图谱中实体和关系的上下文信息作为可靠数据来源和输入.通过计算实体和关系的语义相似度,将图上下文信息融入向量表示中,在语义的层面上提高了知识图谱表示学习的能力.通过实体预测和三元组分类实验,在有关数据集上,Context_RL的实验结果比其他模型更好.     

融合实体类别信息的知识图谱表示学习

知识图谱表示学习通过将实体和关系嵌入连续低维的语义空间中,获取实体和关系的语义关联信息。设计一种融合实体类别信息的类别增强知识图谱表示学习（CEKGRL）模型,构建基于结构与基于类别的实体表示,通过注意力机制捕获实体类别和三元组关系之间的潜在相关性,结合不同实体类别对于某种特定关系的重要程度及实体类别信息进行知识表示学习。在知识图谱补全和三元组分类任务中的实验结果表明,CEKGRL模型在MeanRank和Hit@10评估指标上均取得明显的性能提升,尤其在实体预测任务的Filter设置下相比TKRL模型约分别提升了23.5%和7.2个百分点,具有更好的知识表示学习性能。     

融合实体描述及类型的知识图谱表示学习方法

知识图谱在很多人工智能领域发挥着越来越重要的作用。知识图谱表示学习旨在将三元组中的实体和关系映射到低维稠密的向量空间。TransE、TransH和TransR等基于翻译操作的表示学习方法,只考虑了知识图谱的三元组信息孤立的学习表示,未能有效利用实体描述、实体类型等重要信息,从而不能很好地处理一对多、多对多等复杂关系。针对这些问题,该文提出了一种融合实体描述及类型的知识图谱表示学习方法。首先,利用Doc2Vec模型得到全部实体描述信息的嵌入;其次,对实体的层次类型信息进行表示,得到类型的映射矩阵,结合Trans模型的三元组嵌入,得到实体类型信息的表示;最后,对三元组嵌入、实体描述嵌入及实体类型嵌入进行连接操作,得到最终实体嵌入的表示,通过优化损失函数训练模型,在真实数据集上分别通过链接预测和三元组分类两个评测任务进行效果评估,实验结果表明新方法优于TransE、TransR、DKRL、SimplE等主流模型。     

融入三维语义特征的常识推理问答方法

现有使用预训练语言模型和知识图谱的常识问答方法主要集中于构建知识图谱子图及跨模态信息结合的研究,忽略了知识图谱自身丰富的语义特征,且缺少对不同问答任务的知识图谱子图节点相关性的动态调整,导致预测准确率低。为解决以上问题,提出一种融入三维语义特征的常识推理问答方法。首先提出知识图谱节点的关系层级、实体层级、三元组层级三维语义特征量化指标;其次,通过注意力机制动态计算关系层级、实体层级、三元组层级三种维度的语义特征对不同实体节点间的重要性;最后,通过图神经网络进行多层聚合迭代嵌入三维语义特征,获得更多的外推知识表示,更新知识图谱子图节点表示,提升答案预测精度。与QA-GNN常识问答推理方法相比,所提方法在CommonsenseQA数据集上的验证集和测试集的准确率分别提高了1.70个百分点和0.74个百分点,在OpenBookQA数据集上使用AristoRoBERTa数据处理方法的准确率提高了1.13个百分点。实验结果表明,所提出的融入三维语义特征的常识推理问答方法能够有效提高常识问答任务准确率。     

基于知识增强的企业实体关系预测模型

随着知识图谱的不断发展,大量应用于工业界的产业知识图谱应运而生。然而,这些产业知识图谱经常缺乏充足的企业关联关系,如上下游关系、供应关系、合作关系、竞争关系等,导致其应用范围受到极大限制。现有企业关系预测研究大多仅关注知识图谱中三元组本身的结构信息,未能充分利用企业文本描述和企业关联实体的描述等多视角信息。为解决该问题,提出了一种基于知识增强的企业实体关系预测模型KERP。模型首先通过多视角实体特征三元组学习,完善企业实体特征表示;其次,利用图注意力网络获取实体的高阶语义表示,并与TransR模型学习的实体关系低阶语义表示进行融合,进一步增强企业实体及其关系的特征表示;最后,通过二维卷积解码器ConvE实现对企业实体关系的预测。在新能源汽车产业知识图谱数据上的实验分析表明,与现有主流实体关系预测模型相比,KERP在预测企业关系上具有更好的效果,在F1值上有6.7%的提升。此外,在多个公开实体关系预测数据集上的实验结果表明,KERP模型在一般化的实体关系预测任务上也具有较好的通用性。     

类型增强的时态知识图谱表示学习模型

知识图谱表示学习旨在将知识图谱中的元素（实体和关系）表示在低维的连续向量空间中，可以有效地实现知识图谱补全并提高计算效率，是贯穿知识图谱构建和应用全过程的重要问题.现有的知识图谱表示学习模型大多基于静态的结构化三元组，忽略了知识的时间动态性和实体的类型特征，限制了它们在知识图谱补全和语义计算中的表现.针对这一问题，提出一种类型增强的时态知识图谱表示学习模型（type-enhanced temporal knowledge graph representation learning model,T-Temp），基于经典的张量分解技术，将不同形式的时间信息显式融合到知识图谱表示学习过程中.同时，利用实体与关系间的类型兼容性，充分挖掘隐含在实体中的类型特征，进一步提升表示学习的准确性.此外，证明T-Temp模型具有完全表达性，且与同类模型相比，具有较低的时空复杂度.在多个真实的时态知识图谱上进行的详细实验说明了T-Temp模型的有效性和先进性.     

融合多源信息的知识表示学习

在知识图谱中,实体的文本描述信息、实体的层次类型信息和图的拓扑结构信息中隐藏着丰富的内容,它们可以形成对原始三元组的有效补充,帮助提高知识图谱各种任务的效果.为了充分利用这些多源异质信息,首先通过一维卷积神经网络嵌入文本描述信息,然后根据实体的层次类型信息构建投影矩阵,将三元组中的实体向量和实体的描述向量映射到特定的关...     

基于实体相似度信息的知识图谱补全算法

为了解决知识图谱的链接预测问题,提出了一种共享变量的神经网络模型（LCPE）,该模型通过将实体和关系嵌入到向量空间中实现对链接的预测。通过分析Unstructured Model,推导出在向量空间中两个有关系的实体嵌入距离更近,即相似的实体之间更可能具有关系,LCPE模型将ProjE模型和实体之间的相似度信息进行融合,在判断两个实体是否有关系的基础上判断具体关系类型。三元组预测实验中,LCPE模型在与ProjE模型参数规模相同的情况下,在公开数据集WN18中,正例三元组的平均得分排名（Mean Rank）比ProjE提前了11,而正例三元组在前10名中出现的概率Hit@10比ProjE提升了0.2个百分点;在FB15k中,Mean Rank提前了7.5,Hits@10平均提升了3.05个百分点：证明了LCPE模型能够将实体相似度信息融入ProjE中并有效提升预测准确度。     

基于关系记忆的胶囊网络知识图谱嵌入模型

作为一种语义知识库,知识图谱（KG）使用结构化三元组的形式存储真实世界的实体及其内在关系。为了推理知识图谱中缺失的真实三元组,考虑关系记忆网络较强的三元组表征能力和胶囊网络强大的特征处理能力,提出一种基于关系记忆的胶囊网络知识图谱嵌入模型。首先,通过编码实体和关系之间的潜在依赖关系和部分重要信息形成编码嵌入向量;然后,把嵌入向量与过滤器卷积以生成不同的特征图,再重组为对应的胶囊;最后,通过压缩函数和动态路由指定从父胶囊到子胶囊的连接,并根据子胶囊与权重内积的得分判断当前三元组的可信度。链接预测实验的结果表明,与CapsE模型相比,在倒数平均排名（MRR）和Hit@10评价指标上,所提模型在WN18RR数据集上分别提高了7.95%和2.2个百分点,在FB15K-237数据集上分别提高了3.82%和2个百分点。实验结果表明,所提模型可以更准确地推断出头实体和尾实体之间的关系。     

基于知信图卷积神经网络的开放域知识图谱自动构建模型

解决多源知识对齐和知识冗余问题是在开放数据域自动构建知识图谱的关键。建立一种融合知信学习与深度学习的知识图谱自动构建模型。分析图卷积神经网络（GCN）模型与知信学习之间的理论联系,以先验知识与深度学习相结合的方式构建实体语义联合空间,将先验知识对模型的干预形式化,并利用自动编码器实现一个细粒度的实体对齐和关系抽取模型。同时,采用GCN与多头注意力相结合的方式,缓解因结构数据中多跳推理造成实体依赖信息丢失的影响。在开源数据集SemEval、FB15k和收集整理的MD数据集上的实验结果表明,该模型针对关系抽取、实体对齐和三元组抽取任务的F1值分别达到89.5%、86.6%和84.2%,较BERT-Softmax模型分别提升了0.3、2.4和0.3个百分点,具有更好的信息学习能力。     

融合协同过滤信息的知识图注意力网络

知识图谱（KG）能够缓解协同过滤算法存在的数据稀疏和冷启动问题,在推荐领域被广泛地研究和应用。现有的很多基于KG的推荐模型混淆了用户物品二部图中的协同过滤信息和KG中实体间的关联信息,导致学习到的用户向量和物品向量无法准确表达其特征,甚至引入与用户、物品无关的信息从而干扰推荐。针对上述问题提出一种融合协同信息的知识图注意力网络（KGANCF）。首先,为了避免KG实体信息的干扰,网络的协同过滤层从用户物品二部图中挖掘出用户和物品的协同过滤信息;然后,在知识图注意力嵌入层中应用图注意力机制,从KG中继续提取与用户和物品密切相关的属性信息;最后,在预测层将用户物品的协同过滤信息和KG中的属性信息融合,得到用户和物品最终向量表示,进而预测用户对物品的评分。在MovieLens-20M和Last.FM数据集上进行了实验,与协同知识感知注意力网络（CKAN）相比,KGANCF在MovieLens-20M数据集上的F1分数提升了1.1个百分点,曲线下面积（AUC）提升了0.6个百分点;而在KG相对稀疏的Last.FM数据集上,模型的F1分数提升了3.3个百分点,AUC提升了8.5个百分点。实验结果表明,KGANCF能够有效提高推荐结果的准确度,在KG稀疏的数据集上显著优于协同知识嵌入（CKE）、知识图谱卷积网络（KGCN）、知识图注意网络（KGAT）和CKAN模型。     

基于BERT和联合学习的裁判文书命名实体识别

正确识别裁判文书中的实体是构建法律知识图谱和实现智慧法院的重要基础。然而常用的命名实体识别（NER）模型并不能很好地解决裁判文书中的多义词表示和实体边界识别错误的问题。为了有效提升裁判文书中各类实体的识别效果,提出了一种基于联合学习和BERT的BiLSTM-CRF（JLB-BiLSTM-CRF）模型。首先,利用BERT对输入字符序列进行编码以增强词向量的表征能力;然后,使用双向长短期记忆（BiLSTM）网络建模长文本信息,并将NER任务和中文分词（CWS）任务进行联合训练以提升实体的边界识别率。实验结果表明,所提模型在测试集上的精确率达到了94.36%,召回率达到了94.94%,F1值达到了94.65%,相较于BERT-BiLSTM-CRF模型分别提升了1.05个百分点、0.48个百分点和0.77个百分点,验证了JLB-BiLSTM-CRF模型在裁判文书NER任务上的有效性。     

基于知识库实体增强BERT模型的中文命名实体识别

针对预训练模型BERT存在词汇信息缺乏的问题,在半监督实体增强最小均方差预训练模型的基础上提出了一种基于知识库实体增强BERT模型的中文命名实体识别模型OpenKG+Entity Enhanced BERT+CRF。首先,从中文通用百科知识库CN-DBPedia中下载文档并用Jieba中文分词抽取实体来扩充实体词典;然后,将词典中的实体嵌入到BERT中进行预训练,将训练得到的词向量输入到双向长短期记忆网络（BiLSTM）中提取特征;最后,经过条件随机场（CRF）修正后输出结果。在CLUENER 2020 和 MSRA数据集上进行模型验证,将所提模型分别与Entity Enhanced BERT Pre-training、BERT+BiLSTM、ERNIE和BiLSTM+CRF模型进行对比实验。实验结果表明,该模型的F1值在两个数据集上比四个对比模型分别提高了1.63个百分点和1.1个百分点、3.93个百分点和5.35个百分点、2.42个百分点和4.63个百分点以及6.79个百分点和7.55个百分点。可见,所提模型对命名实体识别的综合效果得到有效提升,F1值均优于对比模型。     

一种改进的基于TransE知识图谱表示方法

传统基于翻译模型的知识图谱表示方法难以处理一对多、多对一和多对多等复杂关系,而且通常独立地学习三元组而忽略了知识图谱的网络结构和语义信息。为解决该问题,构建一种基于TransE的TransGraph模型,该模型同时学习三元组和知识图谱网络结构特征,以有效增强知识图谱的表示效果。在此基础上,提出一种向量共享的交叉训练机制,从而实现网络结构信息和三元组信息的深度融合。在公开数据集上的实验结果表明,相比TransE模型,TransGraph模型在链路预测和三元组分类2个任务中的HITS@10、准确率指标均得到显著提升。