统计模型中附加语言学规则的蒙古语词法分析

蒙古词法分析是蒙古语信息处理的基础性问题,是蒙古语信息处理工作的第一步。通过对统计模型和蒙古语构词规则进行深入研究,提出了一种融合统计和规则技术的蒙古语词切分和词性标注的方法。该方法以统计模型作为基本框架,采用树形结构描述系统的解空间,并加入了蒙古语语言学规则和词干、词缀词典。实验结果表明,该系统分词和词性标注的词级准确率为95.1%,词干/词缀级准确率为94.6%,较已有蒙古语词法分析系统的准确率有所提高。     

ECMail:基于实体发现、查找和管理的中文邮件管理系统

随着个人用户的数据和信息级数增长,个人信息管理的研究成为热点.电子邮件作为个人信息的重要载体在个人信息业务中占据着重要的地位.随着个人信息的增加,用户在对邮件进行查询时经常遇到遗忘关键字的困扰,对此普通的邮件工具很难为用户组织和管理个人信息提供帮助.提出了一个基于实体发现、查找和管理的中文邮件管理系统--ECMail,有效改善了以上问题,同时对关键技术-中文分词、实体挖掘和实体关联管理的实现提出了自己的想法和处理机制,最终达到了提高用户邮件管理效率的目的.     

课程本体自动构建技术研究

课程本体是课程知识组织的一种重要技术,在智能学习系统中得到广泛应用。针对人工建立课程本体依赖专家经验和效率较低等问题,提出课程本体自动构建技术。该技术以丰富的Web课程资源为数据源,集成网络爬虫、中文分词和关联规则挖掘等技术,实现课程本体自动构建。实验结果表明,该技术建立的课程本体不仅具有较好的质量,而且执行效率较高。     

基于高斯词长特征的中文分词方法

中文分词是中文信息处理的基础,在语音合成、中外文翻译、中文检索、文本摘要等方面均有重要应用。在中文分词的任务中,存在的主要问题在于可用有效特征较少,分词准确率较低,如何有效的获取和使用分词特征是关键。该文从中文文本生成的过程出发,基于词长噪声的高斯分布特性,提出利用上下文的词长特征作为分词特征。实验表明,在封闭测试中,采用条件随机场模型,使用该特征对现有的实验结果有提高作用。
     

农业搜索引擎中文分词工具对比

中文分词是中文语言处理技术中最关键的部分,被作为其中最重要的预处理手段广泛应用.本文主要分析和比较了ASPSeek、ICTCLAS、Paoding、MMseg、IK与JE六种分词工具对农业搜索引擎的影响.结果表明:在农业搜索引擎的应用效果中,分词准确性最优的是ICTCLAS分词工具,而F1测度最高的是JE分词工具.     

汉英-泰互译有声语料的数据库研究

“汉英-泰互译有声语料库”的开发,在泰文舆情分析领域,解决了词典分词算法中训练语料缺乏的问题. 本文采用计算机化信息处理技术,对大量的收集来的泰文语料进行整理、规范、加工与存储,统计出泰文词汇8000多个. 然后利用词典翻译和人工校对其进行语料对齐. 最后,结合泰文语言语法特征以及句法的语义特点,分类归纳和规范标注泰语语料,构建了5万条左右的的汉英-泰语料数据库.     

基于CRFs和歧义模型的越南语分词

通过对越南语词法特点的研究,把越南语的基本特征融入到条件随机场中(Condition random fields,CRFs),提出了一种基于CRFs和歧义模型的越南语分词方法。通过机器标注、人工校对的方式获取了25 981条越南语分词语料作为CRFs的训练语料。越南语中交叉歧义广泛分布在句子中,为了克服交叉歧义的影响,通过词典的正向和逆向匹配算法从训练语料中抽取了5 377条歧义片段,并通过最大熵模型训练得到一个歧义模型,并融入到分词模型中。把训练语料均分为10份做交叉验证实验,分词准确率达到了96.55%。与已有越南语分词工具VnTokenizer比较,实验结果表明该方法提高了越南语分词的准确率、召回率和F值。     

利用word2vec对中文词进行聚类的研究

文本聚类在数据挖掘和机器学习中发挥着重要的作用,该技术经过多年的发展,已产生了一系列的理论成果。本文在前人研究成果的基础上,探索了一种新的中文聚类方法。本文先提出了一种中文分词算法,用来将中文文本分割成独立的词语。再对处理后的语料使用Word2Vec工具集,应用深度神经网络算法,转化为对应的词向量。最后,将词向量之间的余弦距离定义为词之间的相似度,通过使用K-means聚类算法将获取的词向量进行聚类,最终可以返回语料库中同输入词语语意最接近的词。本文从网络上抓取了2012年的网络新闻数据,应用上述方法进行了实验,取得了不错的实验效果。     

基于二进制串的Trie索引树分词词典机制的研究

分词词典是信息处理系统的一个基本组成部分,其查询效率将直接影响信息处理系统的性能。根据信息在计算机内都是以二进制编码存放的原理,本文把对字符串的处理转化成对二进制串的处理(支持任何语言的字符串),建立基于Trie索引树的分词词典机制。可以根据不同应用系统需求,自动调整二进制串的长度,建立不同的Trie树结构,便于在存储空间和查询效率之间寻找合适的平衡点。这种基于索引的查询速度与词库中词的多少无关,只与词本身的长度有关系;并且公共的前缀索引值随着词汇量的增大而节省大量内存空间。     

网页特征描述算法探讨

基于WEB个性化服务的主要目的是根据用户访问过并且感兴趣的网页进行准确描述,以满足用户对针对性、可定制性、主动性、智能性服务的要求。本文从网页特征描述中涉及到的个性化词典引入、网页特征词权重改进计算两个方面进行分析研究,提出了新的算法描述。