汉语分词索引字数与分词效率的对比研究

针对汉语分词词典中双字哈希索引机制未能充分利用索引分词,而分词效率又明显优于首字哈希索引机制的问题,在充分分析汉语构词特点的基础上,提出了基于三字哈希索引的分词词典机制,并通过将字串的三态标记与下一索引指针的乘积作为哈希值的链地址法,简化了词典结构,节省了内存空间。理论分析和真实语料仿真均证明了三字哈希索引机制与不同字数的其他索引机制相比,具有更好的分词效率。     

一种中文分词词典新机制——四字哈希机制

词典是中文自动分词的基础,分词词典机制的优劣直接影响到中文分词的速度和效率。本文首先分析了分词词典在中文信息处理中的作用和已有的三种典型的词典机制,并在此基础上根据中文词语中双字词语较多,并且三字词、四字成语也较多这一特点提出了一种新的分词词典机制-四字哈希机制,充分发挥了现代计算机内存大空间的优势,提高了分词的速度和效率。     

一种中文分词词典新机制——双字哈希机制

汉语自动分词是汉语信息处理的前提,词典是汉语自动分词的基础,分词词典机制的优劣直接影响到中文分词的速度和效率。本文首先分析了分词词典机制在中文分词中的重要性及已有的三种典型词典机制,并在此基础上根据汉语中双字词语较多的特点提出了一种新的分词词典机制——双字哈希机制,在不提升已有典型词典机制空间复杂度与维护复杂度的情况下,提高了中文分词的速度和效率。     

单数组全映射分词词典

通过研究和分析目前几种典型的分词词典机制：整词二分、TRIE索引树、逐字二分及双字哈希,提出并实现了新的单数组全映射（SAFM）分词词典。该词典具有构造简单,分词速度快,占用空间小的优点。     

基于双哈希结构的整词二分词典机制

为提高逆向最大匹配分词算法的速率,分析传统的整词二分词典机制,针对哈希结构尾字词典的不足,提出一种基于双哈希结构的整词二分词典机制,并改进对应的逆向最大匹配算法。利用记录词长的尾字词典机制,使用双哈希结构保存词条,降低词典的词条匹配时间复杂度。实验结果表明,该词典机制将逆向最大匹配算法的分词速率提高近一倍。     

汉语自动分词词典新机制—词值哈希机制

汉语词典查询是中文信息处理系统的重要基础部分, 对系统效率有重要的影响. 国内自80年代中后期就开展了中文分词词典机制的研究, 为了提高现有基于词典的分词机制的查询效率, 对于词长不超过4字的词提出了一种全新的分词词典机制——基于汉字串进制值的拉链式哈希机制即词值哈希机制. 对每个汉字的机内码从新编码, 利用进制原理, 计算出一个词语的词值, 建立一个拉链式词值哈希机制, 从而提高查询匹配速度.     

改进的基于词典的中文分词方法

为了能够快速、准确地进行中文分词,在传统分词词典构造及相应算法的基础上,提出了改进的基于词典中文分词方法.该方法结合双字哈希结构,并利用改进的正向最大匹配分词算法进行中文分词,既提高了分词速度,同时解决了传统最大匹配分词算法中的歧义问题.实验结果表明,该方法在一定程度上提高了中文词语切分的准确率,同时大大缩短了分词时间.     

中文分词词典机制:次字拼音首字母哈希机制

为了提高现有基于词典的分词机制的次字查询效率,提出了一种全新的分词词典机制一次字拼音首字母哈希机制.首字查询仍使用成熟的基于逐字二分机制,在首字哈希表中增加该字的拼音首字母字段,次字按其拼音首字母散列到26个子表,子表中记录以首字开头的词组个数并设置次字索引表指针,第3字及其后的字串的匹配仍然采用目前成熟的词典机制.在次字查询时,可大大地缩小查询范围,从而加速了次字查询过程.实验测试表明,该机制在增加少量的存储空间情况下,时间效率提升了15%.     

基于关键词筛选分词算法的企业级搜索引擎

随着计算机技术与数据库学科不断发展,数字化信息已经成为当今存储数数据的首要选择,并且借助大型搜索引擎,使用户可以快速找到对应信息。应用于企业级的高效搜索引擎成为当前研究的重要课题。本文提出了基于关键词筛选KWS（Key Word Selection）的搜索引擎机制,针对电网与大型发电厂智能管理系统的数据结构,通过构建双字哈希词典和双字耦合消歧分词与结果的语义筛选,将筛选后的分词结果放入Sphinx和MySQL数据库进行全文搜索并加以缓存,既提高了搜索速度又提高搜索的准确度。     

基于memcached的动态四字双向词典机制*

词典是汉语机械分词的一个重要组成部分,分词词典机制的优劣直接影响到中文分词的速度和效率。在分析了几种典型的词典机制优缺点的基础上,提出一种基于memcached的动态四字双向词典机制。该词典机制有效减少了文章分词过程中对词典的访问次数,同时具有维护方便及快速添加和删除临时词等优点,适合在Web上采用双向最大匹配算法进行中文分词。     

基于Lucene的中文分词器的设计与实现

针对Lucene自带中文分词器分词效果差的缺点,在分析现有分词词典机制的基础上,设计了基于全哈希整词二分算法的分词器,并集成到Lucene中,算法通过对整词进行哈希,减少词条匹配次数,提高分词效率。该分词器词典文件维护方便,可以根据不同应用的要求进行定制,从而提高了检索效率。     

基于Lucene.Net的知识检索系统的设计与实现

在Lucene.Net的基础上,设计并实现了一种知识检索系统--基于奥运知识库的检索系统,该系统对Lucene.Net的中文分词功能进行了改进,即采用双字哈希机制的中文分词器,提高了对中文分词的支持度,并增加了新增生词的功能,能提高检索的准确度.     

汉语文本自动分词算法的研究

分析了中文分词词典的机制,提出了一种改进的整词分词字典结构,并针对机械分词算法的特点,将其与概率算法相结合,探讨了一种中文自动分词概率算法。采用哈希及二分法对词典进行分词匹配。实验表明,该算法具有较高的分词效率和准确率,对于消去歧义词也有较好的性能。     

基于神经网络的预警领域分词仿真算法

分词是中文信息处理的第一步,但由于预警信息的领域性较强,直接将现有分词方法应用于预警领域,算法效率和分词结果的准确性都急剧下降.采用神经网络领域纠正器框架,在通用粗分阶段引入权重信息,改进了双字哈希词典的构造方法,有效降低了最大匹配分词算法的迭代次数.在领域纠正阶段,构建合法预警人工分词语料,利用双向GRU模型设计神经网络预警领域纠正器,提高领域适应性.仿真证明了算法在有效提高分词速度的同时,取得了更加优秀的准确率、召回率和P值,能够满足预警信息快速、准确切分的需求.     

中文垃圾邮件的索引分词法的研究与设计

为了提高中文垃圾邮件预处理阶段的性能，加快查找分词的速度，基于哈希函数的算法思想创造性的构造了索引词典，设计了一种针对中文垃圾邮件的中文索引分词方法。通过实验，表明该方法提高了传统机械分词法的效率和准确率，改善了邮件预处理阶段的性能，并且可以广泛地应用于中文分词领域。     

多级索引的藏语分词词典设计

藏语分词词典是藏语自动分词系统的重要基础,词典规模大小和算法设计的优劣直接影响着分词的效率.本项目首先收集了多部藏语字、词典的所有词条及藏语标点符号,形成了约10万词条的大型藏语分词词库;根据藏字不同长度的特点,建立了藏语特有的多级索引分词词典机制,分析设计藏语整词二分法进行藏语分词.实验结果表明该藏语分词词典具有结构简单,分词速度快和查询性能高等优点.     

基于最大匹配的中文分词概率算法研究

结合顺序表和跳跃表的快速查询特性,提出一种改进的整词分词词典结构,主要采用哈希法和二分法进行分词匹配,并针对机械分词算法的特点,引入随机数,探讨一种基于最大匹配的分词概率算法。实验表明,该算法具有较高的分词效率和准确率,对消去歧义词也有较好的性能。     

基于改进Trie树结构的正向最大匹配算法

提出一种改进的Trie树结构,树节点记录了字符串与构词的位置信息,子节点采用哈希查找机制,在此基础上优化了中文分词的正向最大匹配算法。分词过程中利用自动机机制判断是否构成最长词,解决了正向最大匹配算法需要根据词长调整字符串的问题。算法时间复杂度为1.33,对比试验结果表明有较快的分词速度。基于改进Trie树结构的正向最大匹配算法提高了中文分词速度,尤其适用于词典结构需要实时更新的场合。     

多次Hash自动分词算法

词典是自动分词基础,分词词典机制的优劣直接影响到中文分词速度和效率.本文在对中文编码体系和中文分词的算法进行研究的基础上,设计一种新的分词词典,以及基于该词典结构上的一种多次Hash自动分词算法.分析表明,该算法的时间复杂度有很大的改善.     

基于Hash结构词典的逆向回溯中文分词技术研究

为了提高现有的中文分词效率,提出了基于Hash结构词典的逆向回溯中文分词方法.针时首字Hash结构词典的不足,设计了能够记录词长的Hash结构尾字词典,然后对逆向最大匹配分词算法进行了分析,为了解决其存在的中文分词歧义问题,设计出一种逆向回溯最大匹配算法,该改进算法采用的回溯机制能够有效消除分词中可能存在的一些歧义问题.实验结果表明,该方法实现了提高中文分词速度并减少交集型歧义字符串切分错误的设计目标.