基于向量空间模型的词共现研究及其在文本分类中的应用

文中提出了一种基于向量空间模型的词共现模型算法,通过选取整篇文档为窗口单元,统计中高频特征词的共现信息,改进了模型的效果,并将得到的词共现资源应用于文本分类的研究中.实验证明其使分本分类系统的性能得到了一定程度的提高.     

中文分词对中文信息检索系统性能的影响

中文分词作为中文信息处理最重要的预处理手段被广泛应用,该文从两个方面(检索精度和召回率)深入研究了中文分词精度和分词算法对中文信息检索性能的影响。此外,提出了两个假设,并在此基础上给出了一种提高中文信息检索系统性能的方法。实验表明,新方法能够取得很好的结果,证实了这两个假设。     

统计与规则结合的一种新词识别方法

一种新的基于统计的窗口移动扩展法,即把未登录词的子串当作一个窗口,在未登录词串中移动和扩展窗口并记录每个窗口的状态。该方法可以有效识别大部分新词。