基于动态规划和流形排序的知识库问答未登录词处理

为解决知识库问答中较多实体未被纳入到词库中以及新词层出不穷旧词库无法及时更新的问题,提出一种基于动态规划和流形排序的知识库问答模型DPQA来为未登录词选择最优表征,缓解知识库未登录词描述信息不足的问题。该方法通过动态规划获取未登录词的子词序列;使用一种基于流形排序的子词排序方法得到最优子词;使用最优子词的向量表示未登录词。实验结果表明,基于动态规划的方法在多个数据集上的问答结果表现最佳。     

知识库问答系统研究进展

近年来,涌现了很多高质量大规模的知识库,基于知识库的问答系统(Knowledge Base Question Answering,KBQA)随着知识库的发展而得到了快速发展.知识库问答系统通过对自然语言问句进行理解和解析,进而利用知识库中的事实来回答自然语言问题,使用户在不了解知识库数据结构的情况下快速、精准的得到有价...     

基于知识库的开放领域问答系统

问答系统能够理解用户问题,并直接返回答案。现有问答系统大多是面向领域的,仅能回答特定领域的问题。文中提出了基于大规模知识库的开放领域问答系统实现方法。该系统首先采用自定义词典分词和CRF模型相结合的方法识别问句中的主体;其次,采用模糊匹配方法将问句中的主体与知识库中实体建立链接;然后,通过相似度计算以及规则匹配等多种方法识别问句中的谓词并与知识库实体的属性建立关联;最后,进行实体消歧和答案获取。该系统平均F-Measure值为0.695 6,表明所提方法在基于知识库的开放领域问答上具有可行性。     

基于实体排序和联合事实选择的知识库问答

针对大多数简单知识库问答模型没有充分利用候选实体排序,并且往往忽略实体和关系之间依赖的问题,提出了基于实体排序和联合事实选择的方法。整个过程分为模式抽取、实体排序和联合事实选择三个步骤。首先,通过BILSTM-CRF算法对自然语言问题进行模式提取,将其划分为实体提及（mention）和问题模式（pattern）两部分;然后,同时利用subject（主题实体）和mention的字面和语义相似性对候选实体进行排序,抽取相关事实;最后,为了能在候选事实池中选择出最正确的实体—关系对,联合事实选择模型利用多级别编码增强整个过程。实验证明,该方法在simple questions dataset的准确率、召回率都有明显的提升。实验结果表明所提方法在知识库的简单问答上具有可行性。     

中文知识库问答中的路径选择

路径选择是知识库问答任务的关键步骤,语义相似度常被用来计算路径对于问句的相似度得分。针对测试集中存在大量未见的关系,该文提出使用一种负例动态采样的语义相似度模型的训练方法,去丰富训练集中关系的多样性,模型性能得到显著提升。针对复杂问题候选路径数量组合爆炸问题,该文比较了两种路径剪枝方法,即基于分类的方法和基于集束搜索的方法。在包含简单问题和复杂问题的CCKS 2019-CKBQA评测数据集上,该方法能达到较优异的性能,测试集上单模型系统平均F₁值达到0.694,系统融合后达到0.731。     

融合事实文本的知识库问答方法

在自然语言问题中,由于知识库中关系表达的多样化,通过表示学习匹配知识库问答的答案仍是一项艰巨任务.为了弥补上述不足,文中提出融合事实文本的知识库问答方法,将知识库中的实体、实体类型和关系转换为事实文本,并使用双向Transformer编码器(BERT)进行表示,利用BERT丰富的语义模式得到问题和答案在低维语义空间中的...     

知识库问答研究进展与展望

基于知识库的问答(Question Answeringover Knowledge Base, KBQA)是问答系统的重要组成部分,要求计算机正确理解自然语言问题的语义,并从知识库中提取问题的答案.早期研究主要关注仅涉及到单个关系三元组的简单问答,近年来,随着以深度学习为代表的表示学习技术在简单问答任务的成功应用,研究重点逐渐转移到需要复杂推理能力的推理问答上.本文将对现有知识库问答的研究进展进行综述,先总结简单问答和推理问答两类任务各自的问题和挑战,然后对近年来与知识库问答相关的数据集进行多维度的分析和比较,接下来对两类任务的代表性方法进行系统性归纳介绍并分析各类方法的优缺点,最后对未来的研究方向进行展望.     

针对问答系统隐性垃圾内容的答案再排序模型

社会化问答系统为人们提供知识共享的平台,然而网站上存在着诸如推广信息的隐性垃圾内容,这些内容在包含诸多有用的内容的基础上含有虚假的推广信息,这些虚假信息可能会带来更严重的后果,因此,如何检测及识别这些隐性的垃圾内容尤为重要。本文在任务型的网上交易平台上搜集实验数据,创新地提出了一种基于物理学牛顿第二运动定律的优化的答案排序模型,旨在原有的答案序列的基础上,加入隐性垃圾内容的特征,通过将回答者提交的答案看成是受多个“力”作用的物体,答案的排序看成是物体的下落过程,来对答案进行重新排序,使虚假信息沉淀到答案序列下方。实验证明,此模型能够快速有效地完成对答案的排序,实现按照质量对答案进行排序。     

基于深度哈希学习的知识库问答检索框架

知识库问答通常包含3个子任务：中心实体识别、实体链接和关系检测。鉴于当前知识库中通常包含数量巨大的实体和关系,为了进一步解决基于复杂规则和倒排索引在知识库中进行检索带来的搜索空间局限性、召回率偏低和难以兼顾语义信息等问题,提出了一种构造知识库问答检索框架的新方法。该框架包含文本召回和哈希召回两个主要模块,通过二次召回设计构成传统文本检索与保留语义信息的哈希码检索的级联检索模式。所提方法在大规模知识库问答测评基准KgCLUE和NLPCC2016提供的数据集上进行实验,结果表明：基于深度哈希学习的知识库问答检索框架可以高效地获取高质量的候选项,在适应大规模知识库的同时能够节省一定的时间开销。     

基于BERT模型的知识库问答方法研究

基于知识库的问答是自然语言处理研究热点之一,在针对知识库问答的方法中,传统的字向量和词向量无法很好地表示问句上下文的语义信息、循环神经网络并行计算能力不足和没有考虑句子中周围词对当前词的影响、卷积神经网络不考虑字在问句中位置信息等问题。为了解决上述问题,论文提出了使用BERT模型结合循环神经网络和卷积神经网络模型的研究方法。在开源SimpleQuestion数据集上使用文中提出的方法,可使问句命名实体识别任务中f1-score提升了3%,问句关系分类任务准确率提升1%,最终答案生成任务准确率提升3.5%。实验表明,使用BERT模型可以增强这些传统模型的效果。     

面向知识库问答中复述问句评分的词向量构建方法*

传统的词向量构建方法基于句子内部单词间的共现概率,采用与具体任务无关的无监督训练方法实现。文中提出基于复述关系约束的词向量构建方法,用于改进知识库问答中基于词向量和词袋模型的复述问句评分。首先从复述问句库中按一定规则收集得到满足复述关系的问句对和不满足复述关系的问句对,以问句对之间的相似度不等式表示句子级的语义约束信息,再将该不等式作为约束项加入词向量训练的目标函数中。实验表明,相比传统词向量构建方法,文中方法可以提高问句间复述关系评价的准确度及知识库问答系统中问题回答的准确度。     

Category-specific models for ranking effective paraphrases in community Question Answering

Platforms for community-based Question Answering (cQA) are playing an increasing role in the synergy of information-seeking and social networks. Being able to categorize user questions is very important, since these categories are good predictors for the underlying question goal, viz. informational or subjective. Furthermore, an effective cQA platform should be capable of detecting similar past questions and relevant answers, because it is known that a high number of best answers are reusable. Therefore, question paraphrasing is not only a useful but also an essential ingredient for effective search in cQA. However, the generated paraphrases do not necessarily lead to the same answer set, and might differ in their expected quality of retrieval, for example, in their power of identifying and ranking best answers higher.We propose a novel category-specific learning to rank approach for effectively ranking paraphrases for cQA. We describe a number of different large-scale experiments using logs from Yahoo! Search and Yahoo! Answers, and demonstrate that the subjective and objective nature of cQA questions dramatically affect the recall and ranking of past answers, when fine-grained category information is put into its place. Then, category-specific models are able to adapt well to the different degree of objectivity and subjectivity of each category, and the more specific the models are, the better the results, especially when benefiting from effective semantic and syntactic features.     

问答系统中基于列表类问题的研究

本文简略介绍了中文问答系统的基本结构和实现过程,着重介绍了问答系统中的列表类问题的分析,以及答案抽取时所采取的模式匹配和基于语义相似的抽取方法。     

问答系统中基于列表类问题的研究

本文简略介绍了中文问答系统的基本结构和实现过程，着重介绍了问答系统中的列表类问题的分析，以及答案抽取时所采取的模式匹配和基于语义相似的抽取方法。     

基于表示学习的知识库问答研究进展与展望

面向知识库的问答(Question answering over knowledge base, KBQA)是问答系统的重要组成. 近些年, 随着以深度学习为代表的表示学习技术在多个领域的成功应用, 许多研究者开始着手研究基于表示学习的知识库问答技术. 其基本假设是把知识库问答看做是一个语义匹配的过程. 通过表示学习知识库以及用户问题的语义表示, 将知识库中的实体、关系以及问句文本转换为一个低维语义空间中的数值向量, 在此基础上, 利用数值计算, 直接匹配与用户问句语义最相似的答案. 从目前的结果看, 基于表示学习的知识库问答系统在性能上已经超过传统知识库问答方法. 本文将对现有基于表示学习的知识库问答的研究进展进行综述, 包括知识库表示学习和问句(文本)表示学习的代表性工作, 同时对于其中存在难点以及仍存在的研究问题进行分析和讨论.     

中文问答系统中问题理解的研究

对中文问答系统中的问题理解技术进行了研究。问题理解是问答系统的基础,问题理解的核心内容是问题分类。本文对基于规则和统计方法的问题分类体系做了介绍,提出了基于事件框架的问题语义描述模型,给出了疑问意向的形式化定义。同时借助知网,对问题空间的大小进行评测。     

基于多标签策略的中文知识图谱问答系统研究

现有多数中文知识图谱问答（CKBQA）系统侧重于回答单个三元组查询的简单问题,而不能有效解决涉及多个实体和关系的复杂问题。提出一种基于多标签策略进行答案搜索的CKBQA系统,该系统主要包括问题处理和答案搜索2个部分。在问题处理部分,结合预训练语言模型构建新的模型框架,对问题进行实体提及识别、实体链接和关系抽取处理,通过设置3种分类标签将问题划分为简单问题、链式问题和多实体问题。在答案搜索部分,对上述3种分类问题分别给出不同的解决方法。实验结果表明,该系统在CCKS2019-CKBQA评测数据验证集上的平均F1值可达66.76%。     

利用ASP实现在线答疑系统

介绍了采用ASP技术和SQL Server数据库对在线答疑系统的设计与实现,描述了在线答疑系统的组成与结构,重点剖析了其重要模块的程序设计.     

基于信息匹配方法的中文知识库问答系统

知识库问答任务是自然语言处理领域中的研究热点之一,目前国内外学者对知识库问答方法的研究大多数是基于英文数据,基于中文数据的研究非常少。由于中文存在语言多变性、语法不明确性、语言歧义性等特点,导致很多英文知识库问答研究方法很难应用于中文数据。针对以上问题,该文提出一种基于信息匹配的中文知识库问答研究方法,探索方法在中文数据上的效果。首先对问题进行主语实体识别和属性值识别;其次将问句中的实体链接到知识库中的实体,使用逻辑回归对候选实体进行筛选;再次抽取其两跳内关系作为候选查询路径,将候选查询路径和问题进行相似度匹配得到匹配度最高的候选路径;最后使用实体拼接来得到多实体情况的查询路径,查询知识库获得最终答案。该方法在CCKS2019 CKBQA测试集上的F值达到了75.6%。