借重于人工知识库的词和义项的向量表示: 以HowNet为例

该文旨在以HowNet为例,探讨在表示学习模型中引入人工知识库的必要性和有效性。目前词向量多是通过构造神经网络模型,在大规模语料库上无监督训练得到,但这种框架面临两个问题: 一是低频词的词向量质量难以保证;二是多义词的义项向量无法获得。该文提出了融合HowNet和大规模语料库的义原向量学习神经网络模型,并以义原向量为桥梁,自动得到义项向量及完善词向量。初步的实验结果表明该模型能有效提升在词相似度和词义消歧任务上的性能,有助于低频词和多义词的处理。作者指出,借重于人工知识库的神经网络语言模型应该成为今后一段时期自然语言处理的研究重点之一。     

基于知识库的汉语未登录词语义预测

该文基于知识库的语素构词知识,采用了分阶段的算法自动预测未登录词的语素构词知识,以此实现对未登录词的语义预测。基本思路是通过语素义组合或语素义类组合的匹配,先预测语义层面的知识,再确定相应语素项,最终获得未登录词多层面的语素构词知识。该算法简单、直观、合理,在首素性类、首素义类、首素义、尾素性类、尾素义类、尾素义、构词方式这七项预测内容全部正确的标准下,实验结果的预测正确率为62.32%,召回率为61.72%。     

基于领域知网的垃圾邮件过滤方法

垃圾过滤技术的一个重要指标是误判率。把用户的一封正常邮件误判为垃圾邮件,其损失更大。领域知网是某领域内的知识库。提出为常见垃圾邮件类别建立领域知网,当遇到难判别的邮件时,使用基于领域知网的过滤技术,可以降低垃圾邮件的误判率。还介绍了构建领域知网的方法,以及其他关键技术。     

基于实例的汉语句法结构分析歧义消解

本文论述了一种基于实例的汉语句法结构分析的消歧方法。本文首先提出了这种方法的总体思路,并对其语义知识资源—《知网》作了简要的介绍。然后详细地描述了基于实例的排歧法的主要算法。最后给出的算法实验结果例子证明,这种方法是对汉语的结构分析排歧是有效的。     

一种高效中文文本聚类算法

文本聚类算法面临着文本向量高维和极度稀疏的问题,传统降维方法多数是在假设关键词相互独立的前提下,通过统计的方法进行特征提取,这种方法往往忽略了文本在上下文语境中的语义关系,导致文本语义大量丢失。利用《知网》知识库,通过计算语义类相似度,构建了带权值的多条词汇链,根据权值大小,从中选取权值最大和次大的前两个词汇链组成代表文本的关键词序列,在此基础上提出了基于主题词汇链的文本聚类算法—TCABTLC,不但可以解决文本向量高维和稀疏导致的聚类算法运行效率低的问题,而且得到了较好的聚类效果。实验表明,在保持较好准确率下,该聚类算法的时间效率得到了大幅度提高。     

EOSentiMiner: an opinion-aware system based on emotion ontology for sentiment analysis of Chinese online reviews

With the growing availability and popularity of online reviews, consumers' opinions towards certain products or services are generated and spread over the Internet; sentiment analysis thus arises in response to the requirement of opinion seekers. Most prior studies are concerned with statistics-based methods for sentiment classification. These methods, however, suffer from weak comprehension of text-based messages at semantic level, thus resulting in low accuracy. We propose an ontology-based opinion-aware framework – EOSentiMiner – to conduct sentiment analysis for Chinese online reviews from a semantic perspective. The emotion space model is employed to express emotions of reviews in the EOSentiMiner, where sentiment words are classified into two types: emotional words and evaluation words. Furthermore, the former contains eight emotional classes, and the latter is divided into two opinion evaluation classes. An emotion ontology model is then built based on HowNet to express emotion in a fuzzy way. Based on emotion ontology, we evaluate some factors possibly affecting sentiment classification including features of products (services), emotion polarity and intensity, degree words, negative words, rhetoric and punctuation. Finally, sentiment calculation based on emotion ontology is proposed from sentence level to document level. We conduct experiments by using the data from online reviews of cellphone and wedding photography. The result shows the EOSentiMiner outperforms baseline methods in term of accuracy. We also find that emotion expression forms and connection relationship vary across different domains of review corpora.     

一种基于词汇链的关键词抽取方法

关键词在文献检索、自动文摘、文本聚类/分类等方面有十分重要的作用。词汇链是由一系列词义相关的词语组成,最初被用于分析文本的结构。本文提出了利用词汇链进行中文文本关键词自动标引的方法,并给出了利用《知网》为知识库构建词汇链的算法。通过计算词义相似度首先构建词汇链,然后结合词频与区域特征进行关键词选择。该方法考虑了词汇之间的语义信息,能够改善关键词标引的性能。实验结果表明,与单纯的词频、区域方法相比,召回率提高了7.78%,准确率提高了9.33%。     

一种基于语义和统计特征的中文文本特征表示方法

基于关键词集的中文文本特征表示方法难以准确表示文本语义信息,从而导致聚类质量较差.为了解决这个问题,本文将本体论和词共现模型的思想引入到中文文本的特征表示中,并在此基础上提出了一种基于语义和统计特征的中文文本特征表示方法.本方法在统计特征的基础上加入了基于知网和特征项共现的语义特征,实验结果表明该方法更加准确地表示了中文文本的语义信息,使得中文文本自动聚类的质量提高了近18%.     

基于类别概念的特征选择方法

基于中文文本分类的定义和向量空间模型,本文分析了正确分类文本的关键所在.通过对传统的特征选择方法的分析,提出了新的特征选择方法.通过支撑向量机对中等规模语料库的实验,验证了此方法的有效性.     

基于句式结构的评论倾向性识别方法

网络评论的倾向性识别是一种重要的网络舆情分析技术。针对网络评论的特点,提出了基于句式结构的网络评论倾向性识别方法。该识别方法主要思想是先对已进行倾向性识别的网络评论集进行分词并提取句式结构,形成各种句式结构的基准句集;再对待判别的网络评论提取句式结构,并比较其与相应句式结构的基准句集的相似度,从而判别出待识别的评论的褒贬倾向性。实验表明：该方法的准确率为80%以上,具有良好的实用性。