基于问句相似度的中文FAQ问答系统

常见问题(FAQ)问答系统是一种在已有的“问题—答案”对集合中找到与用户提问相匹配的问句,并将其对应的答案返回给用户的问答式检索系统。其关键问题是用户提出问句与FAQ库中问句进行相似度计算,找出FAQ库中最相近的问句,并返回事先存储好的问题答案。通过对常见问句特点的研究,给出一种基于分解的向量空间模型和语义概念的问句相似度计算方法,其主要思想是对一个问句向量进行分解,提取其三个关键部分:问点、主题词和疑问词,表示成三个分向量,然后对每个分向量计算基于《HIT-IRLab同义词词林(扩展版)》的语义相似度,通过线性加权就可以得出两个问句的语义相似度。试验表明,与传统的基于向量空间模型的TF-DF问句相似度计算方法相比,可以提高问句匹配的精度。     

基于HM-SVMs的问句语义分析模型

由于传统的问句语义分析主要针对事实类的简单问句,而对于面向开放域的复杂问句缺少有效的语义分析方法。针对这种情况,提出一种新的问句语义分析模型。该模型将问句从文字空间映射到结构化的语义空间,实现问句的语义分析和表示。通过标注问句中的语义信息,模型实现问句分类、问句主题识别、限制信息识别三项分析工作。使用隐马尔科夫支持向量机(HM-SVMs)序列化标注工具实现了模型的自动标注,取得了86.7%的准确率。实验结果表明,HM-SVMs在标注准确率和效率上好于MEMM、CRF、M3N等模型,达到了预期效果。     

基于知识图谱的生物学科知识问答系统

为提升用户获取生物学科相关知识的准确性和简洁性,设计并实现基于中文知识图谱的生物领域知识问答系统。针对生物学科领域实体的特殊性,基于改进的文档迁移距离算法结合逻辑回归模型实现实体链接;通过构建标注问题库并结合短文本相似度算法,实现问句语义理解。实验结果表明,系统对生物学科领域专有实体识别和问句语义理解两方面都具有较高的准确率,在生物学科领域问答应用中具有应用价值。     

受限领域问答系统的中文问句分析研究

对用户所提问句的理解是受限领域问答系统实现的关键,该文提出一种基于本体和问句句型模板规则的中文问句分析方法,研究如何使用问句语义表征来表示问句分析的结果,将该方法应用于某受限领域问答系统中。实验结果表明,使用该方法进行中文问句分析,准确率达90%以上,可以在实际的问答系统中使用该方法。     

基于自然语言理解的受限领域自动应答系统

提出了一种在受限领域内进行自动应答的系统总体结构，通过构建领域词汇库、领域本体库、领域真实问句语料库及领域知识文本库等领域资源库，并借助于这些领域资源来理解问句和知识文本，在一定程度上降低了理解的难度。文章以银行业务咨询服务为例，分析了系统结构及实现过程，对问句分析、答案析取、问句语料库构建、文本知识标注等功能模块的实现进行了详细介绍。     

一种基于知网语义相似度计算的应用研究

随着常见问题集(FAQ)的积累,问句数量日益增大,逐页浏览的知识获取方式很难满足用户的实际需求,也浪费用户大量的精力和时间,而基于FAQ的自动问答系统是解决该问题的一种有效途径。本文设计了QuickFaq自动问答系统框架,采用基于知网的语义相似度计算模块,找出相似问句并返回答案。实验表明,该方法提高了问答系统的召回率和不匹配率。     

一种基于LDA的社区问答问句相似度计算方法

传统的问答系统(QA)只是直接返回问题的答案,而且没有用户交互特性,而基于社区的问答系统(CQA),含有大量的“问答对”可以利用。该文提出了一种基于LDA的匹配框架来解决相似问句的匹配问题,分别从问句的统计信息、语义信息和主题信息三个方面来计算问句相似度,综合得到整体相似度。实验是在Yahoo! Answers上抽取的真实标注数据集上进行,最终的实验结果表明,该文的方法达到了很好的性能。     

基于最大熵模型的汉语问句语义组块分析

问句分析是问答系统的关键,为降低问句完整语法分析的复杂度,该文应用浅层句法分析理论,采用问句语义组块方式来分析问句。以“知网”知识库为基础,提取和定义了表达汉语问句的6种语义块,定义了语义组块最大熵模型的特征表示,通过最大熵原理实现了语义组块特征抽取和特征选取学习算法,并以模型为基础实现了真实问句的语义块的标注,从而为在语义层面上理解汉语问句奠定了基础。实验结果说明最大熵模型应用于汉语问句语义组块分析具有较好的效果。     

基于Word2vec和句法规则的自动问答系统问句相似度研究

自动问答系统问句相似度计算的准确率直接影响系统返回答案的准确率,对此提出一种基于Word2vec和句法规则的问句相似度计算方法。构造Text-CNN问句分类模型将问句进行分类,再构造Word2vec词向量模型将问句中词与词的空间向量相似度转换成语义相似度,并加入句法规则的分析。随机从搜狗公开问答数据集中抽取200条数据进行测试,结果表明,该方法与TF-IDF方法相比,自动问答系统返回答案的准确率和召回率分别提高了0.259和0.154。     

基于语义空间距离的相似问句识别方法研究

前沿相关研究将相似问句识别转化为二元问句匹配识别并取得很大进展。但是在自动问答系统的实际应用场景中存在大量数据,这些方法受限于二元问句匹配识别模式,导致时效性不高。针对这一问题,受人脸识别相关研究的启发,该文提出基于语义空间距离衡量的相似问句识别方法（Semantic Space Distance Method,SSDM）。该方法将相似问句识别作为多分类问题进行训练,通过利用人脸识别任务中Margin Softmax损失函数得到语义编码模型。该语义编码模型能够将相似问句在语义空间中聚合,不相似问句在语义空间中远离。SSDM方法将相似问句识别转化成语义空间中的向量距离计算,突破二元问句匹配的方式,保证了一定的高时效性,并且仍然能够在深层语义层面对相似问句进行识别。该方法在Biendata的ASQD数据集中实验测试,取得了比基线方法更优的性能,验证了SSDM方法的有效性。     

基于多策略的单文档问答式信息检索技术

单文档问答式信息检索,即是阅读理解(Reading Comprehension,简称RC).该任务的目的在于理解一篇文档并对提出的问题返回答案句.提出了充分利用外部资源采用多策略技术来提高RC系统性能的方法,包括基于Web的答案模式匹配应用、词汇语义关联推理以及上下文辅助等策略.本方法使得RC系统性能在Remedia标准测试集上的性能得到提高.描述了不同策略对提高系统性能的有效性,t-test结果表明,运用答案模式匹配和词汇语义关联推理策略所得到的性能显著提高;同时分析了指代消解策略在系统中的关键作用;最后比较了RC任务和多文档问答式信息检索(Question Answering,简称QA)任务的差异性.     

基于网络的中文问答系统及信息抽取算法研究

问答系统(Question Answering System)能用准确、简洁的答案回答用户用自然语言提出的问题。目前多数问答系统利用大规模文本作为抽取答案的知识库,而网络上丰富的资源为问答系统提供了另外一种良好的知识来源,对于回答简短、基于事实的问题非常有效。本文对基于网络的问答系统研究现状作了简要的介绍,分析了网络信息的特点。我们提出了一种基于语句相似度计算的答案抽取方法,在此基础上实现了一个基于网络的中文问答系统。该系统只利用网络搜索引擎返回结果中的摘要部分作为答案抽取的资源,从而节省了下载、分析网络源文本的时间。实验结果表明该系统对人名、数量及时间类型的问题效果显著,对测试问题集的MRR值达到0.51。     

基于HowNet语义相似度的FAQ研究

FAQ是网站提供在线帮助的主要手段。利用检索机制根据用户提出的问题建立一个候选问句集，利用知网研究了用户问句和候选问句之间的相似度，从中找出最相似的问句，并将相应答案返回给用户。实验表明,该方法提高了问句匹配的准确率。     

改进的VSM算法及其在FAQ中的应用

现有的句子相似度算法的准确率较低。为此,提出一种改进的向量空间模型算法。在传统的向量空间模型中添加语义信息和句法信息,将其运用到句子相似度计算中,设计实现金融领域的FAQ自动问答系统,通过改进算法在FAQ中进行句子相似度计算,获取用户问题的答案。实验结果证明,该算法具有较高的准确率。     

基于注意力机制的改进CLSM检索式匹配问答方法

针对检索式匹配问答模型对中文语料适应性弱和句子语义信息被忽略的问题，提出一种基于卷积神经网络潜在语义模型（CLSM）的中文文本语义匹配模型。首先，在传统CLSM基础上进行改进，去掉单词和字母的N元模型层，以增强模型对中文语料的适应性；其次，采用注意力机制算法，针对输入的中文词向量信息建立实体关注层模型，以加强句中核心词的权重信息；最后，通过卷积神经网络（CNN）有效地捕获输入句子上下文结构方面信息，并通过池化层对获取的语义信息进行降维。基于医疗问答对数据集，将改进模型与传统语义模型、传统翻译模型、深度神经网络模型进行对比，实验结果显示所提模型在归一化折现累积增益（NDCG）方面有4~10个百分点的提升，优于对比模型。     

基于自然语言理解的自动应答系统

自动应答系统(QAS)是一种基于因特网的高性能软件系统。它的核心技术是基于自然语言理解的相关技术,包括知识库和语料库的建设、文本的切分和标注、句子的语法分析和语义分析等。重点论述了自动应答系统中知识信息的语义网络表示和LSF随机化句法分析模型,以及自动应答系统的结构与组成,并对LSF模型进行了参数训练,实践证明这些技术是可行的。通过开发银行的“受限领域自动应答系统”项目,这些技术被证明是高效的、可推广的。     

词义标注一致性检验系统的设计与实现

词义消歧是自然语言处理领域的一个重要研究课题。词义标注的一致性将直接影响语料库的建设质量,进而直接或间接影响到其相关的应用领域。由于语言本身的复杂性与发展性以及算法设计的难点和缺陷,目前各种词义标注的算法与模型还不能百分之百正确地标注词义,即不能保证词义消歧的正确性与一致性。而人工校验在时间、人力方面的投入是个难题。该文在对《人民日报》语料、语句相似度算法和语义资源《知网》研究的基础上,提出了对《人民日报》语料词义标注进行一致性检验的方法。实验结果表明,此方法是有效的。     

Question answering using statistical language modelling

In this paper we present a statistical approach to question answering (QA). Our motivation is to build robust systems for many languages without the need for highly tuned linguistic modules. Consequently, word tokens and web data are used extensively but neither explicit linguistic knowledge nor annotated data is incorporated. A mathematical model for answer retrieval and answer classification is derived. Experiments are conducted by searching for answers in the AQUAINT corpus, as well as in web data. The redundancy inherent in web data outperforms retrieval from a fixed corpus, where there are typically relatively few answer occurrences for any given question. We participated with an implementation of this framework in the TREC 2006 QA evaluations, where we ranked 9th among 27 participants on the factoid task.     

基于网络的中文问答系统的研究

文章设计并实现了一个基于网络的中文问答系统。该系统只利用网络搜索引擎返回结果中的摘要部分作为答案抽取的资源,从而节省了下载、分析网络源文本的时间,提出了一种针对该系统的信息抽取算法,并采用一种基于语句相似度计算的答案抽取算法并且进行了改进。实验结果表明该系统对人名及时间类型的问题效果显著。对测试问题集的MRR值达到0.47。