AUTOMATIC TEXT SUMMARIZATION BASED ON TEXTUAL COHESION

This paper presents two different algorithms that derive the cohesion structure in the form of lexical chains from two kinds of language resources HowNet and TongYiCiCiLin. The re-search that connects the cohesion structure of a text to the derivation of its summary is displayed. A novel model of automatic text summarization is devised,based on the data provided by lexical chains from original texts. Moreover,the construction rules of lexical chains are modified accord-ing to characteristics of the knowledge database in order to be more suitable for Chinese summa-rization. Evaluation results show that high quality indicative summaries are produced from Chi-nese texts.     

基于知网的中文问题自动分类

问答系统应能用准确、简洁的答案回答用户用自然语言提出的问题。问题分类是问答系统所要处理的第一步,分类结果的正确率直接影响后续工作的进行。本文提出了一种使用知网作为语义资源选取分类特征,并使用最大熵模型进行分类的新方法。该方法以问题的疑问词、句法结构、疑问意向词、疑问意向词在知网中的首义原作为分类特征。实验结果表明,在知网中选取的首义原能很好的表达问题焦点词的语义信息,可作为问题分类的一个主要特征。该方法能显著地提高问题分类的精度,大类和小类的分类精度分别达到了92.18%和83.86%。     

中文本体映射研究与实现

本体间的异构是语义网建设亟待解决的问题,本体映射则是解决本体异构的有效手段。中文资源是信息网络的重要组成部分,实现中文本体间以及中文与其他本体的映射是实现知识共享重用的一个重要组成部分。本文从元素层的角度对中文本体映射进行了研究,提出利用知网,结合多种技术计算词汇相似度,利用词汇的相似度计算概念匹配的可信度,实现元素层本体映射的算法,并根据此算法实现了ELOMC(Element Level Ontology Matching for Chinese)系统。     

基于HowNet的词语相关度计算模型

提出了词语相关度模型,作为在数据空间中发现数据源内容关联的一个基础。本模型基于HowNet,可以计算同种词性以及不同词性之间的相关度,融合了词语的相似度、关联度和实例因素,综合获得词语的内在相关性。通过对比实验发现,本模型所计算的词语相关度值更加符合人们主观上对词语相关性的认识。     

基于语义特征抽取的文本聚类研究

基于向量空间模型(VSM)的文本聚类会出现向量维度过高以及缺乏语义信息的问题,导致聚类效果出现偏差。为解决以上问题,引入《知网》作为语义词典,并改进词语相似度算法的不足。利用改进的词语语义相似度算法对文本特征进行语义压缩,使所有特征词都是主题相关的,利用调整后的TF-IDF算法对特征项进行加权,完成文本特征抽取,降低文本表示模型的维度。在聚类中,将同一类的文本划分为同一个簇,利用簇中所有文本的特征词完成簇的语义特征抽取,簇的表示模型和文本的表示模型有着相同的形式。通过计算簇之间的语义相似度,将相似度大于阈值的簇合并,更新簇的特征,直到算法结束。通过实验验证,与基于K-Means和VSM的聚类算法相比,文中算法大幅降低了向量维度,聚类效果也有明显提升。     

一种基于HowNet的词语语义相似度计算方法

目前基于How Net的词语语义相似度计算多是根据上下位关系计算语义距离的方法,其结果与人的主观认识存在差异。提出了一种词语语义相似度计算的改进方法,在原有方法基础上,同时考虑影响词语相似度的多种因素,如How Net中义原的深度和密度等,进而挖掘义原间关系,改进原有计算方法。实验结果表明,利用所提出的改进方法计算的词语语义相似度更加贴合人的主观认识。     

基于知网的矛盾问题语义二义性研究

提出了利用知网的相关知识,结合分词、词语相关度计算的方案解决可拓策略生成系统对矛盾问题的界定与建模时的语义二义性的问题,尝试提高计算机语言表达用户信息的准确度和可拓策略生成系统解决矛盾问题的成功率.通过实验表明,知网与可拓策略生成系统的综合应用,可提高可拓策略生成系统解决矛盾问题的准确性和效率.     

融合外部语义知识的中文文本蕴含识别

基于神经网络的文本蕴含识别模型通常仅从训练数据中学习推理知识,导致模型泛化能力较弱。提出一种融合外部语义知识的中文知识增强推理模型(CKEIM)。根据知网知识库的特点提取词级语义知识特征以构建注意力权重矩阵,同时从同义词词林知识库中选取词语相似度特征和上下位特征组成特征向量,并将注意力权重矩阵、特征向量与编码后的文本向量相结合融入神经网络的模型训练过程,实现中文文本蕴含的增强识别。实验结果表明,与增强序列推理模型相比,CKEIM在15%、50%和100%数据规模的CNLI训练集下识别准确率分别提升了3.7%、1.5%和0.9%,具有更好的中文文本蕴含识别性能和泛化能力。     

中文农业网页去重及相似度判断研究

随着信息技术的飞速发展,互联网中的网页急剧增长,在这海量、繁杂的网页中却呈现出一定比例的重复网页及近似网页。为了减少农业领域中近似及重复网页对农业垂直搜索引擎性能的影响,文中首先使用MD5算法去除网页集合中完全相同的网页,再利用向量空间模型(VSM)、基于知网的语义相似度模型及潜在语义分析(LSA)三种相似度判断方法对其余网页的相似度进行计算。实验结果显示,当相似度阈值r=60%、维数K=250时,潜在语义分析( LSA)的综合评价F1测度最高,且准确率达到了90.5%。     

基于知识图的汉语基本名词短语分析模型

本文提出了一种基于知识图的汉语baseNP分析模型。它以知识图为知识表示方法,利用《知网》为语义知识资源,采用以语义为主、语法为辅的策略,先为短语中的每一个实词构造“词图”,然后合并“词图”而组成“短语图”,最后得到一个关于汉语baseNP结构信息和语义信息的知识图。因此它不仅分析了汉语baseNP结构的内部句法关系,而且分析了汉语baseNP结构成分间的语义关系并以知识图的形式表示出了这种语义关系。实验结果表明这个模型对于汉语baseNP的分析是有效的。