信息处理用藏文分词单位研究

分词单位作为分词系统的基本单位,是研究分词理论的基础,要确立分词单位就必须有相应的理论体系。该文结合藏文已有的语法著作和汉语语义分类体系建立与分词单位相应的词类划分体系;参照《资讯处理用中文分词规范》和《信息处理用现代汉语分词规范》等标准,从藏文文本语料出发,建立切分分词单位的九项基本原则和三项辅助原则,以此词类划分体系和切分原则为理论依据对藏文的分词单位进行详细说明。     

面向信息处理的藏文分词规范研究

自动分词是藏文信息处理领域的一项基础课题,也是智能化藏文信息处理的关键所在。 在藏文信息处理“字词处理”层面上,需要解决词的切分问题,而词类划分的标准和词的正确切分是进行藏文文本处理的必要条件。为了便于计算机对自动分词、词性标注的辨认,该文首先要确定满足藏文信息处理中词类的需求,并根据藏文自身的词汇特点与构词规律,提出了较为系统、适用的分词规范。     

一种中文分词词典新机制——双字哈希机制

汉语自动分词是汉语信息处理的前提,词典是汉语自动分词的基础,分词词典机制的优劣直接影响到中文分词的速度和效率。本文首先分析了分词词典机制在中文分词中的重要性及已有的三种典型词典机制,并在此基础上根据汉语中双字词语较多的特点提出了一种新的分词词典机制——双字哈希机制,在不提升已有典型词典机制空间复杂度与维护复杂度的情况下,提高了中文分词的速度和效率。     

一种基于双哈希二叉树的中文分词词典机制

汉语自动分词是汉语信息处理的前提,词典是汉语自动分词的基础,分词词典机制的优劣直接影响到中文分词的速度和效率。详细介绍汉语自动分词的三种方法及五种词典机制,提出一种简洁而有效的中文分词词典机制,并通过理论分析和实验对比说明几种词典机制的效率差异来证明所提出分词词典机制的有效性。     

央金藏文分词系统

藏文分词是藏文信息处理的一个基本步骤,该文描述了我们将一个基于HMM的汉语分词系统Segtag移植到藏文的过程,取得了91%的准确率。又在错误分析的基础上,进行了训练词性的取舍、人名识别等处理,进一步提高了准确率。     

分词技术在信息处理中的研究综述

在信息处理中,自然语言理解的基础是词语的切分,由于汉语本身的特点,分词技术显得尤为重要.本文首先提出了分词中的歧义现象,然后对分词技术中所用到的方法作分析研究,最后阐述了国内几种分词系统并作比较.     

也谈汉语书面语的分词问题——分词连写十大好处

单词的切分对现代汉语的运用、研究和计算机信息处理等都具有相当重要的意义。本文阐述书面汉语分词连写的十大好处, 并讨论一些实施方面的问题。文章全文分词连写。     

基于隐马尔科夫模型的中文分词研究

一直以来,汉语自动分词是公认的汉语信息处理瓶颈.反思现有汉语自动分词技术,发现均有隐含两大假设:语言是规律的、词具有确定边界.这与语言的复杂性、组合性、动态性、模糊性特征不符.本文采用一种基于隐马尔科夫模型(HMM)的算法,通过CHMM(层叠形马尔科夫模型)进行分词,再做分层,既增加了分词的准确性,又保证了分词的效率.     

书面汉语自动分词综述

汉语分词是汉语言处理有别于拼音文字语言处理的特点之一。本文回顾了汉语自动分词的研究历史;对现有的四种计算机自动分词方法进行了评介;介绍了当前的研究现状和存在的困难。     

基于隐马尔科夫模型的中文分词研究

一直以来，汉语自动分词是公认的汉语信息处理瓶颈。反思现有汉语自动分词技术，发现均有隐舍两大假设：语言是规律的、词具有确定边界？这与语言的复杂性、组合性、动态性、模糊性特征不符。本文采用一种基于隐马尔科夫模型（HMM）的算法．通过CHMM（层叠形马尔科夫模型）进行分词，再做分层，既增加了分词的；隹确性，又保证了分词的效率。     

汉语处理的基础工程——现代汉语词频统计

汉语词领统计是汉语言处理的一项基础工程。汉语词汇量巨大, 人工统计精度上难以保证。由于存在编码输入、分词等方面的困难, 直到八十年代初期, 我国才开始利用计算机进行汉语分词、统计的研究。“ 现代汉语词预统计” 是由北京航空学院等个单位研制成功的、规模巨大的汉语基础工程。它选取汉语材料约三亿字, 从中抽样输入了二千余万汉字, 并对之进行了计算机自动分词和频度统计。它首次实现了一个汉语自动分词系统一CDWS, 建立了一个有十三余万词条的计算机词典, 研制了一个有五十二个属性的汉字信息库。     

书面汉语自动分词的“生成——测试”方法

词链现象是书面汉语自动分词的困难所在, 本文针对词链现象的复杂性, 提出了一种“生成—测试”分词法。这种方法以知识为基袖, 它通过词典的动态化、分词知识的分布化、分词系统和句法语义系统的协同工作等手段实现了词链的有效切分和汉语句子切分与理解（生成格结构）的并行。“生成—测试”方法反映了人的分词和理解过程。     

汉语自动分词中的歧义处理

歧义处理是影响分词系统切分精度的重要因素，是自动分词系统设计中的一个核心问题。本文介绍了一种新的分词算法，利用汉语句内相邻字之间的互信息及t-信息差这两个统计量，解决汉语自动分词中的歧义字段的切分问题。试验结果表明，该方法可以有效地提高歧义处理的正确率。     

神经网络的发展及其在汉语言处理方面的应用

神经网络研究从40年代信息科学的开创时期诞生到现在走过了半个世纪的曲折历程后,迎来了一个空前活跃的新的发展时期,成为现代脑神经科学、数理科学及信息科学等综合研究领域的共同科学前沿之一。 自然语言自动分词与处理的研究在国外发端于50年代末,现已获得很大进展,我国汉语自动分词的研究起步较晚,始于80年代初,近几年来取得明显成效。但由于汉语结构上的复杂性和分词理论与技术等诸多原因的影响,使得汉语自动分词未能取得重大的实质性突破。 采用包括神经网络、专家系统在内的人工智能技术进行汉语自动分词研究,是当前中文信息处理领域的热门话题,也是该领域的一个重要发展方向。 为帮助广大读者了解汉语自动分词的研究进展以及神经网络等人工智能技术在汉语言处理方面的应用情况,本刊约请尹锋和林亚平同志撰写了《神经网络的发展及其在汉语言处理方面的应用》、《汉语自动分词技术的现状及发展趋势》、《神经网络汉语自动分词技术》和《神经网络专家系统集成式汉语自动分词技术》等四篇文章。尹锋和林亚平同志多年从事计算机科研与教学工作,发表了一系列成果和论文,近年来,致力于神经网络和汉语自动分词研究,这几篇文章反映了他们的部分研究成果。 《神经网络的发展及其在汉语言处理方面的应用》     

基于汉语句模的中文分词算法

讨论了在汉语信息计算机处理中的中文分词问题。综合考虑可行性和准确性，提出了旨在降低分词难度和提高分词精度的基于汉语句模理论的处理策略。实验表明，该方法是可行的和具有广阔发展空间的。     

汉语计算机自动分词知识

汉语分词是汉语言计算机处理的一项不可缺少的工作。使用自动分词知识可以进一步提高自动切分精度, 满足高标准的需求。本文在[1][2][3]的研究基础上, 介绍了一些行之有效的自动分词知识。根据对48092 个汉字的语言材料统计结果表明统计材料分社会科学和自然科学两部分, 这些自动分词知识可以处理左右的歧义切分字段。     

提高汉语自动分词精度的多步处理策略

汉语自动分词在面向大规模真实文本进行分词时仍然存在很多困难。其中两个关键问题是未登录词的识别和切分歧义的消除。本文描述了一种旨在降低分词难度和提高分词精度的多步处理策略,整个处理步骤包括7个部分,即消除伪歧义、句子的全切分、部分确定性切分、数词串处理、重叠词处理、基于统计的未登录词识别以及使用词性信息消除切分歧义的一体化处理。开放测试结果表明分词精确率可达98%以上。     

书面汉语自动分词方法研究

回顾了书面汉语自然分词的研究历史,提出了一种新的汉语分词设想——综合匹配法,并且给出了处理流程。     

汉语交集型歧义切分字段关于专业领域的统计特性

交集型分词歧义是汉语自动分词中的主要歧义类型之一。现有的汉语自动分词系统对它的处理能力尚不能完全令人满意。针对交集型分词歧义,基于通用语料库的考察目前已有不少,但还没有基于专业领域语料库的相关考察。根据一个中等规模的汉语通用词表、一个规模约为9亿字的通用语料库和两个涵盖55个专业领域、总规模约为1.4亿字的专业领域语料库,对从通用语料库中抽取的高频交集型歧义切分字段在专业领域语料库中的统计特性,以及从专业领域语料库中抽取的交集型歧义切分字段关于专业领域的统计特性进行了穷尽式、多角度的考察。给出的观察结果对设计面向专业领域的汉语自动分词算法具有一定的参考价值。     

有关“理解和分词孰先孰后”的反思

“中文分词十年回顾”一文中有“理解和分词孰先孰后”这一节,专门讨论NLPwin中文系统的分词。作为该系统的开发者之一,我觉得有必要对这个问题作一反省。
作为一门科学,语言学的目标之一是了解人类语言处理的机制。对我而言,计算语言学的最高境界是做出一套能反映人脑语言机制真实状况的, 具有心理学价值的电脑系统。从心理语言学的角度看,“理解和分词孰先孰后”这个问题是不存在的。人脑分析句子的过程显然是一个分词和理解互动的过程,理解依赖于分词,分词也依赖于理解。NLPwin中文系统的设计理念就是要反映人脑的这一分析过程。我们没有做一个专用于分词的系统,因为孤立的分词不是一种自然的人类语言行为。
从工程的角度看,分词和理解是完全可以分开的。对于工程来说,切分一个汉语的字串和切分任何其他字串没有太大的区别。我们可以把最好的、具有通用性的切分技术用于汉语分词。在此过程中我们不需要知道所切汉语字串所表达的意义。这里所要解决的主要是一个数学问题,而不是语言理解问题。把理解插入分词过程会大大增加计算的复杂度,其结果往往是得不偿失。所以如果我们的目的仅仅是分词,理解是没有必要的。