中文文本中外国人名与中国人名同步识别方法

根据中国人名和外国人名的构成特点产生潜在中国人名和外国人名，然后把它们作为节点词加入到句子的分词有向图中，利用上下文信息对有向图的边赋值．使有向图最短路径对应句子正确切分．在确定句子正确切分时识别出句子中的外国人名和中国人名，该方法可以避免由分词结果造成的人名不能被召回的现象，提高了人名识别的召回率．通过对真实语料的测试，在封闭测试中该方法对中国人名和外国人名识别的综合指标F值为97．30％．     

运用有向图进行中文分词研究

首先说明了分词在中文信息处理中的作用,然后介绍了分词系统中的关键技术。提出了一种基于有向图的中文分词算法,该算法首先构造中文分词有向图,然后计算中文分词有向图中所有可能的切分路径,最后利用了最少分词原则、汉字之间的互信息和词语的频率等信息给中文分词有向图中的每条切分路径打分,分数最高的路径就对应正确的切分结果。开放测试结果表明分词精确率可达90%以上。     

基于动态规划的最小代价路径汉语自动分词

基于最长次长匹配的方法建立汉语切分路径有向图，将汉语自动分词转换为在有向图中选择正确的切分路径，其中有向图中的节点代价对应单词频度，而边代价对应所连接的两个单词的接续频度；运用改进后Dijkstra最小代价路径算法，求出有向图中路径代价最小的切分路径作为切分结果．在切分歧义的处理上采用分步过滤逐步解消的方法，并引入了基于未知词特征词驱动的机制，对未知词进行了前处理，减少了因未知词的出现而导致的切分错误．实验结果表明，该方法有效地提高了汉语分词的精确率和召回率．     

一种利用统计语义单元识别中文人名的方法

从语义语言的角度提出一种利用统计语义单元识别中文人名的方法.在该方法中没有词的概念,一切单位都是语义单元,语义单元有参数和类型等属性.通过语义单元对句子进行语义切分,获得句子的语义单元图,并利用联合概率模型求得语义单元图中概率最大的路径,然后根据人名模式集在该路径上识别人名.初步实验表明,该方法是一种值得探索的新方法.     

基于有向图的双向匹配分词算法及实现

在分析了现有各种汉语分词算法及其优缺点的基础上,提出以句子覆盖率和分词覆盖率作为评价分词方法的指标,详细介绍了基于网络有向图的双向匹配分词算法的设计与实现,该算法对经典的最大匹配分词算法进行了改进,通过带覆盖歧义标志的有向图生成多候选分词序列。与最大匹配算法和全切分算法的比较实验显示,基于有向图的双向匹配算法以低复杂度实现了高覆率盖。     

一种基于条件随机场的人名识别方法

本文提出了一种基于统计的中文人名识别方法，此方法使用最大概率分词模型对源句子进行粗切分，将粗切分信息融入到条件随机场模型中进行模型的训练。运用此方法分别对来自同一源语料的测试集和非同源语料的测试集进行了测试，F-值分别达到了91．3％和90．6％，证明了此方法的有效性。     

提高汉语自动分词精度的多步处理策略

汉语自动分词在面向大规模真实文本进行分词时仍然存在很多困难。其中两个关键问题是未登录词的识别和切分歧义的消除。本文描述了一种旨在降低分词难度和提高分词精度的多步处理策略,整个处理步骤包括7个部分,即消除伪歧义、句子的全切分、部分确定性切分、数词串处理、重叠词处理、基于统计的未登录词识别以及使用词性信息消除切分歧义的一体化处理。开放测试结果表明分词精确率可达98%以上。     

基于贝叶斯算法的中国人名识别

在常规的使用概率统计人名方法的基础上，提出了使用贝叶斯分类法识别句子中中国人名的方法。通过使用贝叶斯分类算法计算汉字串分别成为中国人名的概率和成为非中国人名的概率，可以有效地识别出汉语句子中的中国人名。该方法的识别公式简单，并且具有一定的学习能力，在与其他一些辅助技术结合起来的情况下，可以获得比较好的中国人名识别效果。     

中文分词切分技术研究

本文分析了现有的基于词典的分词算法,在比较各种算法优缺点的基础上提出了将正向匹配算法与逆向匹配算法所得到的结果集进行叠加,生成粗分结果集的新观点,再对生成的粗分结果集构造非负权有向图,最后应用最短路径算法求解有向图。通过Nutch实验验证,该算法较Nutch原始搜索系统提高了其汉语切分的准确性以及切分速度,同时部分解决了交集型歧义切分问题。     

藏文自动分词中未登录词处理方法研究

藏文中后接成份出现频率较高,分词中未登录词的后缀单切现象会影响分词的正确率,为此,采用词(语素)+缀归并的方法,将藏文后接成份与前一词(语素)归并为一个切分单位输出。针对藏文中大量人名、地名、单位名等未登录词在分词时出现的碎片切分现象,使用分词碎片整合方法,将多次出现的词条碎片整合为一个切分单位输出。实验结果表明,2种方法能提高藏文自动分词的识别正确率。     

基于分解与动态规划策略的汉语未登录词识别

未登录词的识别是汉语自动分词中的主要问题。本文以对中国人名,中国地名和外国译名进行整体识别为目标,采用分解处理策略降低了整体处理难度,并使用动态规划方法实现了最佳路径的搜索,较好地解决了未登录词之间的冲突问题。通过对真实语料识别的测试,证明该方法可以全面提高未登录词识别的正确率和召回率。     

HENU汉语分词系统中的中文人名识别算法

论文介绍在HENU汉语自动分词系统中对中文人名的自动识别算法。该算法在常用的规则和统计相结合方法基础之上,采用了局部回溯分词的思想,较好地解决了同姓异名对的冲突问题。在开放测试中,该方法取得了90.9%的准确率和95.9%的召回率。     

一种改进的基于二元统计的HMM分词算法

中文分词是中文信息处理的基础。基于二元统计的HMM中文分词算法表现良好,但也存在易将包含常用介、副词的词进行误拆分的问题。改进的分词算法运用逆向最大匹配的思想,在计算粗分集权重的过程中,考虑了分词的词长及词序对正确切分的有利影响。该算法首先计算出二元统计粗分模型有向边的权值,然后根据词长修定权值,最后运用最短路径法求出分词结果。实验结果表明,该算法有效的解决了过分拆分的问题,分词效果良好。     

基于统计的中文姓名识别方法研究

该文在大规模标注语料的基础上统计分析了中文姓名前置词频率、中文姓氏用字频率、中文名字用字频率、中文姓名后置词频率。利用这些统计数据在词语粗分的基础上实现了中文姓名的自动识别,实验测试结果:准确率93.82%、召回率89.37%。     

中文姓名的自动辨识

中文姓名的辨识对汉语自动分词研究具有重要意义。本文提出了一种在中文文本中自动辨识中文姓名的算法。我们从新华通讯社新闻语料库中随机抽取了300个包含中文姓名的句子作为测试样本。实验结果表明, 召回率达到了99.77%。     

汉语智能接口的自动分词研究

讨论了在旅游信息库汉语接口中的自动分词问题,基于系统的情况提出了模糊切分及形式分词与语法分析辅助分词相结合解决歧义切分、未登录词切分的方法,实验表明,该方法是可行的和令人满意的。     

基于语料库的中文姓名识别方法研究

本文在大规模语料基础上提取和分析了中文姓氏和名字用字的使用频率,研究了中文姓名识别的评价函数,动态地建立了姓名识别统计数据表和姓名阈值。提出了在不作分词处理的原始文本中进行中文姓名识别的方法。经开放测试,召回率为95.23%;精确率为87.31% 。     

基于词性探测的中文姓名识别算法

本文提出了一种新的基于统计和规则相结合的中文姓名识别方法,即词性探测算法。该方法的特点是在对文本进行分词和词性标注一体化处理的基础上,通过探测候选中文姓名后的词性和比较单字的相对成词能力,能够对分词碎片中的姓名进行有效识别。