融合事实文本的知识库问答方法

在自然语言问题中,由于知识库中关系表达的多样化,通过表示学习匹配知识库问答的答案仍是一项艰巨任务.为了弥补上述不足,文中提出融合事实文本的知识库问答方法,将知识库中的实体、实体类型和关系转换为事实文本,并使用双向Transformer编码器(BERT)进行表示,利用BERT丰富的语义模式得到问题和答案在低维语义空间中的数值向量,通过数值计算匹配与问题语义最相近的答案.实验表明,文中方法在回答常见的简单问题时效果较优,鲁棒性较强.     

基于知识表示的联合问答模型

基于知识库的问答系统旨在通过解析用户的自然语言问句直接在知识库中提取出答案.目前,大多数知识库问答模型都遵循实体检测和关系识别这两个步骤,但是此类方法忽略了知识库本身所蕴含的结构信息以及这两个步骤之间的联系.文中提出了一种基于知识表示的联合问答模型.首先应用知识表示模型将知识库中的实体与关系映射到低维的向量空间,然后通过神经网络将问句也嵌入相同的向量空间,同时检测出问句中的实体,并在此向量空间内度量知识库三元组与问句的语义相似度,从而实现将知识库嵌入和多任务学习引入知识库问答.实验结果表明,所提模型可以极大地提高训练速度,在实体检测和关系识别任务上的准确率达到了主流水平,证明了知识库嵌入及多任务学习可以提升知识库问答任务的性能.     

基于知识库的开放领域问答系统

问答系统能够理解用户问题,并直接返回答案。现有问答系统大多是面向领域的,仅能回答特定领域的问题。文中提出了基于大规模知识库的开放领域问答系统实现方法。该系统首先采用自定义词典分词和CRF模型相结合的方法识别问句中的主体;其次,采用模糊匹配方法将问句中的主体与知识库中实体建立链接;然后,通过相似度计算以及规则匹配等多种方法识别问句中的谓词并与知识库实体的属性建立关联;最后,进行实体消歧和答案获取。该系统平均F-Measure值为0.695 6,表明所提方法在基于知识库的开放领域问答上具有可行性。     

面向水利信息资源的智能问答系统构建与应用

当前特定领域的问答系统主要采用基于关键字匹配的方法完成问答,类似水库大坝的建成时间、坝高等,无法充分理解用户自然语言提问的检索意图并给出准确回答。为此基于知识图谱技术,利用语义解析方法,本文设计并开发面向水利信息资源的智能问答系统。针对语义解析自然语言问句转化为结构化查询语句需要多步操作,容易导致语义鸿沟问题,还为了后续基于知识表示的问答方法,积累用户语料,本文提出一种语料扩展方法构建语料库。     

旅游自动应答语义模型分析与实践

针对常见问答系统采用的以词法分析为基础的浅层语义模型难以有效挖掘用户问句深层语义的问题,本文立足于旅游问答应用领域,采用组合范畴语法对旅游问句进行句法分析,使用Lambda演算式表示问句语义,以此构建旅游领域问句的语义模型,以便于通过精确的问句语义快速查找应答结果.研究首先进行旅游领域数据采集与语料标注的准备性工作,并针对语料对旅游问句的句式句法进行分析;然后采用基于概率的组合范畴语法的监督学习过程,通过训练获得较为可靠的旅游问句语义词典;最后根据语义词典及其他相关知识,学习用户问句语义,构建旅游自动应答语义分析系统,着重于问句解析和相应的语义模型的构建.通过在评测集上的验证,这种语义解析方法在解析效果上有比较明确的提升.     

融入法律知识的问句匹配

问句匹配是问答系统的重要任务,当前方法通常采用神经网络建模两个句子的语义匹配程度.但是,在法律领域中,问句常存在文本表征稀疏、法律词的专业性较强、句子蕴含法律知识不足等问题.因此,通用领域的深度学习文本匹配模型在法律问句匹配任务上效果并不好.为了让模型更好的理解法律问句的含义、建模法律领域知识,首先构建一个法律领域知识库,在此基础上提出一种融合法律领域知识(如法律词汇和法律法条)的问句匹配模型.具体地,构建了合同纠纷、离婚、交通事故、劳动工伤、债务债权等5种法律纠纷类别下的法律词典,并且收集了相关法律法条,构建法律领域知识库.在问句匹配中,首先查询法律知识库检索问句对所对应的法律词汇和法律法条,进而通过交叉关注模型同时建模问句、法律词汇、法律法条三者之间的关联,最终实现更精准的问句匹配,在多个法律类别下的实验表明提出的方法能有效提升问句匹配性能.     

基于概念图的中文FAQ问答系统

提出一种利用概念图计算问句相似度的方法,并在此基础上实现基于概念图的中文FAQ问答系统,在该系统中采用概念图的形式表示用户问句及在FAQ库中找到的候选问句集中的问句,通过改进的概念图语义相似度计算问句相似度,在候选问句集中找到相似的问句并将答案返回给用户。该系统能够自动更新和维护FAQ库。实验结果表明,与基于关键词的句子相似度相比,基于语义的句子相似度提高了问题匹配的准确率。     

融合事件信息的中文问答系统问题语义表征

复杂类问题理解是中文问答系统研究的难点,基于组块的问句分析方法将整个问句转化为若干组块,降低了问句分析的难度和复杂性。针对以含有事件(动作)信息的复杂类问题,提出基于语义组块的中文问答系统问题语义表征模型,采用语义组块的思想将问题的语义成分定义为疑问焦点块、问题主题块和问题事件块三个语义组块,对问句中的事件语义信息,建立了问题事件语义结构,将一个问句表征为一个基于语义组块的问题语义表征结构,用于问答系统的问题理解。通过序列标注学习方法实现问题语义表征中语义组块自动标注。实验结果表明:问题语义组块标注效果较好,问题语义表征模型获取了问题的关键语义信息,为语义层面上的问题理解提供基础。     

基于多维信息融合的知识库问答实体链接

知识库问答实体链接任务需要将问句内容精准链接到知识库中实体.当前方法大多难以兼顾链接实体的召回率和精确率,并且仅能根据文本信息对实体进行区分筛选.因此,文中在合并子步骤的基础上,提出融合多维度特征的知识库问答实体链接模型(MDIIEL).通过表示学习方法,将文本符号、实体和问句类型、实体在知识库中语义结构表达等信息整合并引至实体链接任务中,加强对相似实体的区分,在提高准确率的同时降低候选集的大小.实验表明,MDIIEL模型在实体链接任务性能上具有整体性提升,在大部分指标上取得较优的链接结果.     

融合子图结构的神经推理式知识库问答方法

知识库(或知识图谱)作为一种对现实世界的有效表征模式,引起了学术界和工业界广泛关注.近年来,随着大规模知识库的出现,知识库问答技术作为知识库的基础应用技术同样备受关注.基于语义解析的代表方法通过对查询句的解析将问题转化为图上的答案检索,但知识库中往往存在缺失的链接,导致上述过程无法顺利开展;基于神经推理的代表模型通过对问题进行编码来进行实体相似度排序,但其无法解决动态场景下的实体冷启动问题.针对上述问题,提出了一种融合子图结构的神经推理式知识库问答方法,实现了在问答推理过程中兼顾实体的语义与结构信息,从而进行更充分的推理.首先,通过预训练模型RoBERTa将问句转换为包含语义的向量;其次,根据问句中的实体构建相应的问答子图,并利用图神经网络提取子图的结构信息;再次,基于背景知识库进行实体表示预训练,并与对应的结构表示进行融合;最后,根据融合后的向量对候选答案进行评分,将评分最高的实体作为答案.在WebQuestionsSP数据集上进行了对比测试,实验结果表明,提出的模型优于其他基准模型.     

基于层次化语义框架的知识库属性映射方法

面向知识库的自动问答是自然语言处理的一项重要任务,其旨在对用户提出的自然语言形式问题给出精练、准确的回复。目前由于缺少数据集,存在特征不一致等因素,导致难以使用通用的数据和方法实现领域知识库问答。因此,该文将“问题意图”视作不同领域问答可能存在的共同特征,将“问题”与三元组知识库中“关系谓词”的映射过程作为问答核心工作。为了考虑多种层次的语义并避免重要信息的损失,该文分别将“基于门控卷积的深层语义”和“基于交互注意力机制的浅层语义”通过门控感知机制相融合。在NLPCC-ICCPOL 2016 KBQA数据集上的实验表明,该文方法与现有的CDSSM和BDSSM方法相比,效能有明显提升。此外,该文通过构造天文常识知识库,将问题与关系谓词映射模型移植到特定领域,结合Bi-LSTM-CRF模型构建了天文常识自动问答系统。     

基于知识图谱全局和局部特征的复杂问答方法

近年来,研究者已经提出多种方法来解决知识库问答(KBQA)中的复杂问题,并取得一定成果.然而,由于语义构成的复杂性以及可能存在推理路径的缺失,复杂问题的求解效果依然不佳.为了更好地解决这类问题,提出基于知识图谱全局和局部特征的问答方法——CGL-KBQA.所提方法利用知识嵌入技术提取知识图谱整体的拓扑结构和语义特征作为候选实体节点的全局特征,根据实体表示和问句表示将复杂问答建模为复合的三元组分类任务.同时,将图谱在搜索过程生成的核心推导路径作为局部特征,结合问句的语义相似性来构建候选实体不同维度特征,最终形成混合特征评分器.由于最终推理路径可能缺失,采用基于无监督的多重聚类方法设计了聚类器模块,进而根据候选实体的两类特征表示直接生成最终答案簇,这使得非完全知识图谱问答成为可能.实验结果表明,所提方法在两个常见KBQA数据集上均取得不错的效果,特别是在图谱知识不完全的情况下也具备非常好的效果.     

基于多粒度特征表示的知识图谱问答

近年来,基于知识图谱的问答系统逐渐成为学术界和工业界的研究和应用热点方向,而传统方法通常存在效率不高以及未充分利用数据信息的问题。针对以上问题,本文将中文知识图谱问答分为实体抽取和属性选择2个子任务,采用双向长短期记忆条件随机场（Bi-LSTM-CRF）模型来进行实体识别,并提出一种多粒度特征表示的属性选择模型。该模型采用字符级别以及词级别分别对问句和属性进行嵌入表示并通过编码器进行编码,对于属性同时还引入热度编码的信息。通过不同粒度文本表示的结合,并对问句和属性进行相似度计算,最终该系统在NLPCC-ICCPOL 2016 KBQA数据集上取得了73.96%的F1值,能够较好地完成知识图谱问答任务。     

基于弱依赖信息的知识库问答方法

传统自动问答方法通常依赖谓词等先验信息实现知识库问答,需要耗费较多的人力且泛化能力不佳。提出一种针对弱依赖信息的知识库问答方法,结合BERT与BiLSTM-CRF网络提取问句中的命名实体,定位知识库中与该实体相关的三元组信息,通过答案匹配网络为三元组集合中的答案标上相似度分数,使用阈值选择策略选取符合要求的答案集合,并按照相似度分数由高到纸排序后呈现给用户。实验结果表明,该方法弱化了对先验信息的依赖,在减少人工干预的同时保证了问答质量,并且在NLPCC-ICCPOL-2016KBQA数据集上取得了87.05%的F1分数。     

基于问题与答案联合表示学习的半监督问题分类方法

问题分类旨在对问题的类型进行自动分类,该任务是问答系统研究的一项基本任务。该文提出了一种基于问题和答案联合表示学习的问题分类方法。该方法的特色在于利用问题及其答案作为共同的上下文环境,学习词的分布式表示,从而充分利用未标注样本中问题和答案隐含的分类信息。具体而言,首先,我们引入神经网络语言模型,利用问题与答案联合学习词向量表示,增加问题词向量的信息量;其次,加入大量未标注的问题与答案样本参与词向量学习,进一步增强问题词向量表示能力;最后,将已标注的问题样本以词向量形式表示作为训练样本,采用卷积神经网络建立问题分类模型。实验结果表明,该文提出的基于半监督问题分类方法能够充分利用词向量表示和大量未标注样本来提升性能,明显优于其他基准半监督分类方法。     

A reasoning enhance network for muti-relation question answering

Applied Intelligence - Multi-relation Question Answering is an important task of knowledge base over question answering (KBQA), multi-relation means that the question contains multiple relations...     

多媒体技术研究:2017——记忆驱动的媒体学习与创意

目的 借鉴大脑的工作机理来发展人工智能是当前人工智能发展的重要方向之一。注意力与记忆在人的认知理解过程中扮演了重要的角色。由于"端到端"深度学习在识别分类等任务中表现了优异性能,因此如何在深度学习模型中引入注意力机制和外在记忆结构,以挖掘数据中感兴趣的信息和有效利用外来信息,是当前人工智能研究的热点。方法 本文以记忆和注意力等机制为中心,介绍了这些方面的3个代表性工作,包括神经图灵机、记忆网络和可微分神经计算机。在这个基础上,进一步介绍了利用记忆网络的研究工作,其分别是记忆驱动的自动问答、记忆驱动的电影视频问答和记忆驱动的创意（文本生成图像）,并对国内外关于记忆网络的研究进展进行了比较。结果 调研结果表明：1）在深度学习模型中引入注意力机制和外在记忆结构,是当前人工智能研究的热点;2）关于记忆网络的研究越来越多。国内外关于记忆网络的研究正在蓬勃发展,每年发表在机器学习与人工智能相关的各大顶级会议上的论文数量正在逐年攀升;3）关于记忆网络的研究越来越热。不仅每年发表的论文数量越来越多,且每年的增长趋势并没有放缓,2015年增长了9篇,2016年增长了4篇,2017年增长了9篇,2018年增长了14篇;4）基于记忆驱动的手段和方法十分通用。记忆网络已成功地运用于自动问答、视觉问答、物体检测、强化学习、文本生成图像等领域。结论 数据驱动的机器学习方法已成功运用于自然语言、多媒体、计算机视觉、语音等领域,数据驱动和知识引导将是人工智能未来发展的趋势之一。     

融合全局—局部特征的多粒度关系检测模型

面向知识库问答的关系检测旨在从知识库的候选关系中选出与自然语言问题最匹配的关系路径,从而检索得到问题的正确答案。针对现有关系检测方法中存在的语义信息丢失和注意力交互不充分的问题,提出了一种融合全局—局部特征的多粒度关系检测模型。该模型首先使用双向长短期记忆网络对问题和关系进行编码,从单词级和关系级多种粒度对关系建模;然后使用双向注意力机制实现问题和关系的注意力交互;最后通过聚合操作提取全局特征,通过词级交互提取局部特征,计算问题和候选关系的语义相似度。实验表明,该模型在SimpleQuestions和WebQuestionsSP数据集上分别取得了93.5%和84.13%的精确度,提升了关系检测的效果。