基于问句语料库的受限领域自动应答系统

自动应答系统中对用户所提问句的理解是系统实现的关键,同样也是一个难点,通过在受限领域内建立问句语料库来协助理解用户问句是一种非常有效的实现方法。文章分析了建行领域业务咨询系统的问句收集、分词和词性标注、语义标注、问句语料统计等问句语料库的建设过程,并详细介绍了采用词向量空间法和语义向量空间法从问句语料库中寻找和目标问句相似问句的计算方法及提取答案的实现过程。     

融入法律知识的问句匹配

问句匹配是问答系统的重要任务,当前方法通常采用神经网络建模两个句子的语义匹配程度.但是,在法律领域中,问句常存在文本表征稀疏、法律词的专业性较强、句子蕴含法律知识不足等问题.因此,通用领域的深度学习文本匹配模型在法律问句匹配任务上效果并不好.为了让模型更好的理解法律问句的含义、建模法律领域知识,首先构建一个法律领域知识库,在此基础上提出一种融合法律领域知识(如法律词汇和法律法条)的问句匹配模型.具体地,构建了合同纠纷、离婚、交通事故、劳动工伤、债务债权等5种法律纠纷类别下的法律词典,并且收集了相关法律法条,构建法律领域知识库.在问句匹配中,首先查询法律知识库检索问句对所对应的法律词汇和法律法条,进而通过交叉关注模型同时建模问句、法律词汇、法律法条三者之间的关联,最终实现更精准的问句匹配,在多个法律类别下的实验表明提出的方法能有效提升问句匹配性能.     

基于知识图谱的生物学科知识问答系统

为提升用户获取生物学科相关知识的准确性和简洁性,设计并实现基于中文知识图谱的生物领域知识问答系统。针对生物学科领域实体的特殊性,基于改进的文档迁移距离算法结合逻辑回归模型实现实体链接;通过构建标注问题库并结合短文本相似度算法,实现问句语义理解。实验结果表明,系统对生物学科领域专有实体识别和问句语义理解两方面都具有较高的准确率,在生物学科领域问答应用中具有应用价值。     

基于语义的保险构件接口匹配研究与实现

描述了基于语义对构件库中构件接口名称进行匹配的一种方法,并结合保险行业的领域知识,探讨了该方法在保险核心业务系统的可复用构件库中的实现.将接口名称的语义信息概括为环境、对象、操作,结合领域知识和领域分析方法,建立匹配度计算必须的原始语料库,利用语料库对接口名称进行语义计算,生成解析构件库,利用解析构件库对用户的查询进行相似度计算.     

面向医疗咨询的复杂问句意图智能理解

在智慧医疗中基于知识图谱的问答系统能够根据结构化的医疗知识自动回答自然语言问句,具有重要的研究意义和实际应用价值。当前的问答系统不能有效地处理包含多种意图的复杂问句,导致意图识别不全面或不正确,难以生成高质量的答案。因此,该文提出了基于语义分析和深度学习的复杂问句意图智能理解方法,首先从问句中提取医疗实体并进行依存句法分析,通过句法成分规范化将多意图复杂问句分解成若干属性类或关系类简单问句的组合,然后构建文本分类深度网络模型对每个简单问句进行意图识别,从而实现复杂问句的意图理解。为了验证该文方法的有效性和实用性,该文构建了包含6类约14万个实体的医疗知识图谱,用所提出的意图理解方法为核心开发了基于知识图谱的医疗咨询智能问答系统,根据问句意图将相应的核心实体和关系谓词转化为知识图谱检索语句,并通过检索到的相关知识生成自然语言答案。对真实医疗咨询问句测试的结果表明,该文方法可以有效地理解复杂问句的多种意图,相应的问答系统能够更全面、准确地回答与疾病、症状、药品等相关的医疗咨询问句。     

受限领域问答系统的中文问句分析研究

对用户所提问句的理解是受限领域问答系统实现的关键,该文提出一种基于本体和问句句型模板规则的中文问句分析方法,研究如何使用问句语义表征来表示问句分析的结果,将该方法应用于某受限领域问答系统中。实验结果表明,使用该方法进行中文问句分析,准确率达90%以上,可以在实际的问答系统中使用该方法。     

基于领域本体智能答疑系统的设计

答疑系统是远程教育系统的重要组成部分,针对传统答疑系统功能相对简单而且无法得到理想的答案等特点,提出一种基于领域本体智能答疑系统的设计。文章首先提出智能答疑系统的模型,并进行领域本体和问句语料库的构建研究,同时利用分词处理和关键词扩展技术进行问句查询的扩展,最后通过语句相似度的匹配方法,提升系统查询的准确率。     

基于语料库的领域词语聚类C#实现

文章介绍了一个领域词语自动聚类的C#系统,系统以词和短语作为聚类对象,在分类系统的大规模语料库中,利用文本分类的特征提取方法进行词语的领域聚类,从而获得大规模的领域知识,用于主题分析。     

受限域FAQ中文问答系统研究

在受限域中采用常问问题(FAQ)实现业务咨询系统是一种较好的问答模式,提出了一种受限域FAQ问答系统模型,借助于本体论的思想,构建了领域知识库,利用KDML语言定义和描述了领域本体及本体之间的关系,并实现了领域知识库"领域知网"与常识库"知网"的融合.在此基础上,提出了一种问句相似度的计算方法,该方法借助领域问句所具有的特点,结合问句中的词法关系、句法依存关系及领域概念关系,实现问句相似度计算.并以相似度计算为基础,从侯选问题集中检索相关问句,提取问题答案.云南旅游FAQ问答原型系统测试结果表明该方法可行,有较好的效果.     

基于荔枝和龙眼病虫害知识图谱的问答系统

病虫害一直以来都是影响农作物生产的重要原因,在该领域构建基于知识图谱的问答系统有助于智慧农业的发展,是人工智能时代下农业信息化的重要举措.该研究针对专家内部作物病虫害数据,编写程序对其进行清洗、知识提取等操作,完成该领域的知识图谱构建任务.对病虫害文本进行序列标注,完成实体识别模型构建用于问句实体识别,并构建文本分类模型对问句进行意图识别,编写模版规则匹配可执行Cypher语句,从知识图谱中得到答案.结合Flask与React前后端分离的Web框架,最终形成完整的基于图谱的问答系统.     

Sentence similarity based on semantic nets and corpus statistics

Sentence similarity measures play an increasingly important role in text-related research and applications in areas such as text mining, Web page retrieval, and dialogue systems. Existing methods for computing sentence similarity have been adopted from approaches used for long text documents. These methods process sentences in a very high-dimensional space and are consequently inefficient, require human input, and are not adaptable to some application domains. This paper focuses directly on computing the similarity between very short texts of sentence length. It presents an algorithm that takes account of semantic information and word order information implied in the sentences. The semantic similarity of two sentences is calculated using information from a structured lexical database and from corpus statistics. The use of a lexical database enables our method to model human common sense knowledge and the incorporation of corpus statistics allows our method to be adaptable to different domains. The proposed method can be used in a variety of applications that involve text knowledge representation and discovery. Experiments on two sets of selected sentence pairs demonstrate that the proposed method provides a similarity measure that shows a significant correlation to human intuition.     

基于网络的中文问答系统及信息抽取算法研究

问答系统(Question Answering System)能用准确、简洁的答案回答用户用自然语言提出的问题。目前多数问答系统利用大规模文本作为抽取答案的知识库,而网络上丰富的资源为问答系统提供了另外一种良好的知识来源,对于回答简短、基于事实的问题非常有效。本文对基于网络的问答系统研究现状作了简要的介绍,分析了网络信息的特点。我们提出了一种基于语句相似度计算的答案抽取方法,在此基础上实现了一个基于网络的中文问答系统。该系统只利用网络搜索引擎返回结果中的摘要部分作为答案抽取的资源,从而节省了下载、分析网络源文本的时间。实验结果表明该系统对人名、数量及时间类型的问题效果显著,对测试问题集的MRR值达到0.51。     

兼语语义类的分类研究

兼语句式即兼语句,是文本知识中一种较为常见又比较特殊的句式,对兼语句进行知识获取方面的研究是文本知识获取的一个重要研究方向。对兼语语义类进行分类是进行兼语知识获取的基础,为了构建一种新的兼语分类体系：首先从句中第一个谓词的角度出发将兼语句式分为八个大类,并在语义分类和描述框架的基础上,对这八个大类进行进一步细分;然后从兼语中第二个谓词发生的时序角度出发进行归纳分类;最后,对于不能充当兼语句式中第一个谓词成分的语义类,从语义类的层级上分析总结了其原因和规律。该分类体系比已有的分类体系更全面更细致,它几乎涵盖了文本知识中所有的兼语句,并且在实现兼语语料的扩充上效果明显。     

一个用于OCR输出的中文文本的拼写校对系统

该文描述了一个处理OCR输出的中文文本的拼写校正系统。使用一个大的正负语料库来建立错误模式库;负语料库中包含OCR识别错误,而正语料库中为对错误进行了编改后的正确文本。首先应用句子匹配算法从正负语料库中提取匹配的句子;然后使用比较算法从匹配的两个句子中提取不同的字符;若两个句子存在不同,则使用错词提取算法来获得错误词和对应的校正词,并以如下三元组的形式保存(校正词, 错词, 出现次数)。用上述算法运行整个正负语料库之后,可获得错误模式的集合,由此建立错误模式库。错误模式可看作是校正规则,用于校正文本中和模式中与“错词”相同形式的错误。根据“错词”的长度将错误模式分为两类,一类为“错词”的长度大于两个字符,可直接应用错误模式规则进行校正;另一类为“错词”的长度等于两个字符,需使用验证算法确定是否当前的模式需要被校正。以上方法是为同方光盘公司开发的THOCR中文校对系统的核心算法,其中正负语料库来自公司在期刊网建设中的积累。由于算法所获得的错误模式均来自真实的OCR识别文本,所以校对效果较好。结尾部分给出了本校对系统的实验结果。     

语法和语义相结合的中文对话系统问题理解研究

针对中文口语问句的表达多样性对对话系统问题理解带来的挑战,该文采用“在语法结构之上获取语义知识”的设计理念,提出了一种语法和语义相结合的口语对话系统问题理解方法。首先人工编制了独立于领域和应用方向的语法知识库,进而通过句子压缩模块简化复杂句子,取得结构信息,再进行问题类型模式识别,得到唯一确定问题的语义组织方法、查询策略和应答方式的句型模式。另一方面,根据领域语义知识库,从源句子中提取相应的语义信息,并根据识别到的句型模式所对应的知识组织方法进行语义知识组织,完成对问句的理解。该文的方法被应用到开发的中文手机导购对话系统。测试结果表明,该方法能有效地完成对话流程中的用户问题理解。     

基于DOP的汉语句法分析技术

本文提出一种以DOP技术作为基本框架,同时利用基于相似的概率评估技术,实现汉语句法分析的方法。其中,对于输入语句,首先需要经过词汇层与词性层两层初选。然后,基于已构建知识源,获取输入语句的片段组合形式。最后,对输入语句与初选结果进行相似性评估,完成输入语句的组合分析过程。为论证方法有效性,基于包含1000个语句的真实汉语语料构建知识源,并采用包含100个语句的真实汉语语料作为测试集。实验表明,句法分析的各项指标都比较令人满意,可有效地实现汉语句法分析。     

The IAM-database: an English sentence database for offline handwriting recognition

In this paper we describe a database that consists of handwritten English sentences. It is based on the Lancaster-Oslo/Bergen (LOB) corpus. This corpus is a collection of texts that comprise about one million word instances. The database includes 1,066 forms produced by approximately 400 different writers. A total of 82,227 word instances out of a vocabulary of 10,841 words occur in the collection. The database consists of full English sentences. It can serve as a basis for a variety of handwriting recognition tasks. However, it is expected that the database would be particularly useful for recognition tasks where linguistic knowledge beyond the lexicon level is used, because this knowledge can be automatically derived from the underlying corpus. The database also includes a few image-processing procedures for extracting the handwritten text from the forms and the segmentation of the text into lines and words. Received September 28, 2001 / Revised October 10, 2001     

基于语义依存关系的汉语语料库的构建

语料库是自然语言处理中用于知识获取的重要资源。本文以句子理解为出发点,讨论了在设计和建设一个基于语义依存关系的汉语大规模语料库过程中的几个基础问题,包括:标注体系的选择、标注关系集的确定,标注工具的设计,以及标注过程中的质量控制。该语料库设计规模100万词次,利用70个语义、句法依存关系,在已具有语义类标记的语料上进一步标注句子的语义结构。其突出特点在于将《知网》语义关系体系的研究成果和具体语言应用相结合,对实际语言环境中词与词之间的依存关系进行了有效的描述,它的建成将为句子理解或基于内容的信息检索等应用提供更强大的知识库支持。     

BFS-CTC汉语句义结构标注语料库

句义结构分析是汉语语义分析中不可逾越的重要环节,为了满足汉语句义结构分析的需要,基于现代汉语语义学理论构建了一种层次化的汉语句义结构模型,定义了标注规范和标记形式,建设了一个汉语句义结构标注语料库BFS-CTC(Beijing Forest Studio-Chinese Tagged Corpus)。标注内容方面,基于句义结构模型的定义标注了句义结构句型层、描述层、对象层和细节层中所包含的各个要素及其组合关系,包括句义类型、谓词及其时态、语义格类型等信息,并且提供了词法和短语结构句法信息,便于词法、句法、句义的对照分析研究;语料库组织结构方面,该语料库包括四个部分,即原始句子库、词法标注库、句法标注库和句义结构标注库,可根据研究的需要,在词法、句法、句义结构标注的基础上进行深加工,在核心标注库的基础上添加更多具有针对性的扩展标注库,利用句子的唯一ID号进行识别和使用;语料来源和规模方面,语料全部来自新闻语料,经过人工收集、整理,合理覆盖了主谓句、非主谓句、把字句等六种主要句式类型,规模已达到10 000句。同其他语义标注库相比,BFS-CTC基于现代汉语语义学,提供了多层次的句义结构标注信息,兼容进行了词法和语法标注,各类标注既可以单独使用也可综合使用进行横向分析,可用于自然语言处理多方面的研究,进一步推动汉语语义分析的研究和发展。