中文信息处理的词法问题——以句本位语法图解树库构建为背景

该文对比了句本位语法图解树库与中文信息处理现行词法规范在分词单位和词类标注两方面的差异,指出目前自动词法分析与句法分析的若干脱节之处,梳理了图解树库中关于临时造词、惯用语等特殊结构的标注策略和语言学理据,并探讨了“依句辨品”和“指称化”等汉语词类相关理论在中文信息处理中的实现方式。     

基于实例的隐喻理解与生成

语言中的明喻可以看作是带标记的隐喻,比较容易识别,为隐喻的理解和生成提供了很好的知识源.利用web搜索引擎大规模获取明喻实例,自动构建明喻知识库.基于明喻知识库,考察了汉语隐喻的源域分布情况;提出了一个基于实例的隐喻自动理解和生成方法.实验结果表明,隐喻的理解和生成均取得了较高的准确率.该方法具有很好的可扩展性.明喻知识库中所表达的概念之间的组合关系也可以用于其他多种自然语言处理任务.     

《现汉》与《语法信息词典》词类对应分析

词类标注问题历来受到中文信息处理、汉语语法和词汇学界的共同关注,学者们已提出多种词类标记体系,彼此间存在较大差异,但迄今尚无人对大规模词类标注工程进行系统比较。该文以《现代汉语词典》第5版和《现代汉语语法信息词典》两个大型词典词类标注工程为比较对象,基于所提出的词类对应算法,自动找出两部词典词类标注上的差异,进而对形成差异的原因进行分析。分析结果表明,两部词典词类标注一致性较高(83.5%完全相同),而存在差异的地方可归结为三类主要原因: 词类迁移;词类判断标准不一致;收录义项不同。     

统计句法分析建模中基于信息论的特征类型分析

统计句法分析利用概率评价模型评价每棵选句法树存在的可能性,选择概率值最高的候选句法树作为最终的句法分析结果。因此,统计句法分析的核心是一个概率评价模型,而各种概率评价模型的本质区别主要在于它们分别是根据上下文中的哪些特征来赋予句法树概率的。在统计句法分析研究领域,虽然已经提出了大量的概率评价模型,然而,不同的模型用得到了不同类型的特征,如何评价这些特征类型对于句法分析的作用呢？针对以上的问题,本研究为统计句法分析提出了一种特征类型的分析模型,该模型可以从信息论的角度量化地分析不同类型的上下文特征对于句法结构的预测作用。其基本思想是利用信息论中熵与条件熵的度量来显示一个特征类型是否抓住了预测句法结构的主要信息。如果加入某个特征类型之后当前句法结构的不确定性（熵）明显下降,则认为该特征类型抓住了上下文中影响句法结构的某些主要信息。特征类型分析的信息论模型利用预测信息量、预测信息增益、预测信息关联度以及预测信息总量四种度量从不同的仙量化地分析各种特征类型及特征类型组合对于当前目标的预测作用。实验以Penn TreeBank为训练集,将上下文中不同的特征类型对于句法分析规则的预测作用进行了系统的量化分析,得出了一系列有关不同特征类型及特征类型组合对句法结构的预测作用的结论。     

藏文自动分词系统的设计与实现

藏文自动分词系统的研制目前在国内仍是空白。本文从四个方面详细报告了书面藏文自动分词系统的具体实现过程,内容包括系统结构、分词知识库的组织与实现以及分词策略、算法设计及其详细的自动分词过程实例。文章最后给出了实验结果,结果表明系统具有较高的切分精度和较好的通用性。     

面向EBMT的汉语单句谓语中心词识别研究

在基于实例的汉英机器翻译( EBMT) 系统中,为计算语句相似度,需要对句子进行适当的分析。本文首先提出了一种折中的汉语句子分析方法———骨架依存分析法,通过确定谓语中心词来把握句子的整体结构,然后,提出了一种根据汉英例句集中英语例句的谓语中心词来识别相应的汉语例句的谓语中心词的策略。实验结果是令人满意的。     

北京大学现代汉语语料库基本加工规范(续)

北京大学计算语言学研究所已经完成了一个有2700万汉字的现代汉语语料库的基本加工。加工项目除词语切分和词性标注外,还包括专有名词(人名、地名、团体机构名称等)标注、语素子类标注以及动词、形容词的特殊用法标注。这项大规模语言工程的顺利完成得益于事先制订并不断完善的规范。发表《北京大学现代汉语语料库基本加工规范》是为了抛砖引玉,更广泛地向专家、同行征询意见,以便进一步修订。     

简易日汉兼容系统MCDOS的设计与应用

根据对中日两国汉字的编码体系及字形的调查, 论述了用中国汉字字模作为日本汉字模的代用品的可行性。将CCDOS稍加改造, 使之成为一种简易的日汉兼容系统MCDOS, 为日汉机器翻译系统的研究提供了一个接近实际的环境。已经利用MCDOS开发了日汉机器词典, 并解决了MCDOS和科学院计算中心开发 的KJDD中日英处理系统之间的信息转换问题。