基于扩展Viterbi路径的概率Earley算法

概率Earley句法分析算法采用Viterbi路径构造输入序列的句法树,由于文法限制,存在空树问题。提出了扩展启始状态、省略未覆盖句首和补充未覆盖子树等方法来对Viterbi路径进行扩展,解决了绝大多数空树问题,并有效提高了Earley算法的整体性能。     

基于依存句法的网页内容防火墙设计

针对目前内容过滤方法较少从句法分析的层次进行过滤的问题,提出了一种基于依存句法分析的内容过滤方法,并根据该算法设计了一个基于Netfilter框架的网页内容过滤防火墙系统。通过HTTP压缩还原、重组HTML网页等步骤还原出网页文本文件,对文本进行预处理操作后,在知网(Hownet)的支持下,对句子进行依存句法分析,得到句子的依存句法树和有效搭配,计算出有效搭配与用户模板间的相似度,再计算出全局相似度,与阈值比较即得到过滤结果。通过实例验证了该算法的有效性。     

基于依存树的中文语义角色标注

现有中文语义角色标注主要集中在基于短语结构句法树的标注。基于此,提出一种基于依存树的中文语义角色标注方法。将中文句子转化为标准的依存树,作为实验数据集,特征选取时结合知网,将语义信息引入特征集,以提高系统的召回率,并采用最大熵分类器进行实验,获得90.68%的F值。结果表明,在标准的句法树上,当基于依存关系的标注系统中加入新特征时,该中文语义角色标注取得了比基于句法成分标注更好的成绩。     

统计句法分析建模中基于信息论的特征类型分析

统计句法分析利用概率评价模型评价每棵选句法树存在的可能性,选择概率值最高的候选句法树作为最终的句法分析结果。因此,统计句法分析的核心是一个概率评价模型,而各种概率评价模型的本质区别主要在于它们分别是根据上下文中的哪些特征来赋予句法树概率的。在统计句法分析研究领域,虽然已经提出了大量的概率评价模型,然而,不同的模型用得到了不同类型的特征,如何评价这些特征类型对于句法分析的作用呢？针对以上的问题,本研究为统计句法分析提出了一种特征类型的分析模型,该模型可以从信息论的角度量化地分析不同类型的上下文特征对于句法结构的预测作用。其基本思想是利用信息论中熵与条件熵的度量来显示一个特征类型是否抓住了预测句法结构的主要信息。如果加入某个特征类型之后当前句法结构的不确定性（熵）明显下降,则认为该特征类型抓住了上下文中影响句法结构的某些主要信息。特征类型分析的信息论模型利用预测信息量、预测信息增益、预测信息关联度以及预测信息总量四种度量从不同的仙量化地分析各种特征类型及特征类型组合对于当前目标的预测作用。实验以Penn TreeBank为训练集,将上下文中不同的特征类型对于句法分析规则的预测作用进行了系统的量化分析,得出了一系列有关不同特征类型及特征类型组合对句法结构的预测作用的结论。     

基于《知网》的中文信息结构抽取研究

文章提出了一种在真实文本中抽取中文信息结构的方法—利用大规模基于语义依存关系的语料库对《知网》的中文信息结构模式进行训练,用这些带概率的模式作为规则建立部分依存分析器,从而从真实文本中最大限度地抽取符合知网中文信息结构定义的短语。该研究除了对将要建立的基于语义依存关系的语言模型是个有益的补充外,对于文本理解、对话系统甚至语音合成中的重音预测、韵律建模等等方面都有十分广阔的应用前景。     

基于转移的神经网络哈萨克语句法分析

为了进一步提高哈萨克语句法分析的准确率,为哈萨克语自然语言处理奠定良好基础,对基于转移的哈萨克语句法分析进行研究,采用改进后的基于转移的方法对句法树进行处理,即中序遍历句法树的方法将句法树转换为动作序列。使用神经网络构建句法分析器框架,分别使用三个长短期记忆网络（LSTM）表示堆栈信息、缓冲区信息以及动作历史信息对模型进行训练,根据所得到的概率预测动作序列,从而得到句法分析的结果。改进后的转移方法得到的句法分析准确率为74.37%。     

基于基元和知网的问题相关度计算

通过对可拓学的基元和复合元与知网的研究,利用Hownet中的词语相似度的计算方法改进词语相关度的计算方法,建立基元相关度计算方法,进而建立目标相关度和条件相关度的计算机方法,形成问题相关度的计算。改进了相关度算法,传统方法只通过上下位关系计算词语相关度,将知网描述的其他15个关系也考虑进来,并提出了负相关的概念,将相关度的取值范围定在[-1,1],对应了关联函数的值域。通过对基元中特征与特征的对应关系,计算出基元的相关度,进而计算问题的相关度。通过对数据库里的上千个矛盾问题进行测试,证实了这种方法可有效增加策略生成途径,使矛盾问题解决的概率大大提高。     

面向机器翻译的藏语短语句法研究

针对现代藏语句法,在参照宾大中文树库的基础上,构建藏语短语句法树库,并建立了树库编辑工具,为藏汉机器翻译服务。在短语句法树库的基础上,提出一种融合藏语句法特征的藏汉机器翻译方法。实验分析结果表明,该方法可以很好地应用于藏汉机器翻译系统。     

基于二元关系的句法树生成算法

句法分析的研究是自然语言处理领域的一个重要组成部分。本文提出并实现了一个基于二元关系的句法树生成算法。该算法通过引入二元关系的优先级概念,巧妙借鉴了算术表达式的求解方法,从根本上解决了句法树生成过程中的层次问题。通过对大量的真实文本进行实验,结果表明,该算法是正确的,且具有较高的分析效率。     

基于树核函数的中英文代词消解?

基于树核函数,提出了从使用中心理论、集成竞争者信息和融入语义角色相关信息这3个方面对结构化句法树进行动态扩展来提升中英文代词消解的性能。首先探索了3种基本结构化句法树捕获方案,并使用SVMLight中提供的卷积树核函数直接进行基于结构化句法树的相似度计算,从而完成指代消解任务;其次,在分析3种结构化句法树捕获方案的基础上,从中心理论、竞争者信息和语义角色相关信息等几方面对捕获的结构化句法树进行了扩展;最后,通过ACE 2004 NWIRE英文语料和ACE 2005 NWIRE中文语料上的实验,说明了这些扩展能够提升代词消解的性能。     

Disambiguating Japanese compound verbs

The purpose of this study is to disambiguate Japanese compound verbs (JCVs) using two methods: (1) a statistical sense discrimination method based on verb-combinatoric information, which feeds into a first-sense statistical sense disambiguation method and (2) a manual rule-based sense disambiguation method which draws on argument structure and verb semantics. In evaluation, we found that the rule-based method outperformed the statistical method at 94.6% token-level accuracy, suggesting that fine-grained semantic analysis is an important component of JCV disambiguation. At the same time, the performance of the fully automated statistical method was found to be surprisingly good at 82.6%, without making use of syntactic or lexical semantic knowledge.     

一种基于优先关系的LSD分析算法

句法分析是机器翻译中的一个重要环节,首先介绍了基于LSD方法进行句法分析的基金概念,然后提出了一种苦于优先关系的确定性LSD算法,主要讨论了基于名法结构信息优先关系和基于词谍统计优先关系的句法结构歧义消解策略,并给出了具体实现方法和复杂性分析,实验结果表明,该方法在保持确定性算法分析效率的前提下,提高了分析结果的正确率和规则应用的召回率。     

句法信息指导的汉语词义消歧

词义消歧要解决如何让计算机理解多义词在上下文中的具体含义,对信息检索、机器翻译、文本分类和自动文摘等自然语言处理问题有着十分重要的作用。通过引入句法信息,提出了一种新的词义消歧方法。构造歧义词汇上下文的句法树,提取句法信息、词性信息和词形信息作为消歧特征。利用贝叶斯模型来建立词义消歧分类器,并将其应用到测试数据集上。实验结果表明：消歧的准确率有所提升,达到了65%。     

基于《知网》的中文信息结构消歧研究

《中文信息结构库》是《知网》的重要组成部分之一,可以作为中文语义分析的规则库,对其进行消歧是实际应用的基础之一。因此,该文首先对中文信息结构进行了形式化描述;接着对其进行优先级划分;然后根据其构成形式提出了四种不同的消歧方法 即词性序列消歧法、图相容匹配消歧法、图相容度计算消歧法、基于实例的语义相似度计算消歧法;最后针对不同优先级的中文信息结构集设计了不同消歧流程。实验结果证明消歧正确率达到了90% 以上。     

基于实例的汉语句法结构分析歧义消解

本文论述了一种基于实例的汉语句法结构分析的消歧方法。本文首先提出了这种方法的总体思路,并对其语义知识资源—《知网》作了简要的介绍。然后详细地描述了基于实例的排歧法的主要算法。最后给出的算法实验结果例子证明,这种方法是对汉语的结构分析排歧是有效的。     

半监督中文事件抽取中的模板过滤和转换方法

事件模板是指导事件抽取工作的依据,半监督方法下模板的准确性显得尤为重要.目前,基于双视图的“触发词-论元”模板的中文信息事件抽取系统不能有效地解决触发词一词多义的现象和模板稀疏现象.提出了一种借助论元进行触发词语义消歧的方法,并利用该方法进行模板过滤以消除无效模板的影响.另外,针对几种特殊的中文句型,根据句法结构提出了模板转换规则,从而提高了模板的适用性.在ACE2005中文语料上的测试表明,该方法可有效地提高半监督中文信息事件抽取系统的性能.     

Evaluation of Linguistic Features for Word Sense Disambiguation with Self-Organized Document Maps

Word sense disambiguation automatically determines the appropriate senses of a word in context. We have previously shown that self-organized document maps have properties similar to a large-scale semantic structure that is useful for word sense disambiguation. This work evaluates the impact of different linguistic features on self-organized document maps for word sense disambiguation. The features evaluated are various qualitative features, e.g. part-of-speech and syntactic labels, and quantitative features, e.g. cut-off levels for word frequency. It is shown that linguistic features help make contextual information explicit. If the training corpus is large even contextually weak features, such as base forms, will act in concert to produce sense distinctions in a statistically significant way. However, the most important features are syntactic dependency relations and base forms annotated with part of speech or syntactic labels. We achieve 62.9% ± 0.73% correct results on the fine grained lexical task of the English SENSEVAL-2 data. On the 96.7% of the test cases which need no back-off to the most frequent sense we achieve 65.7% correct results.     

基于概率上下文无关文法的句法分析歧义消解新模式

基于自然语言句法歧义消解常用的一种概率模型-概率上下文无关文法，融入上下文相关的概率信息，提出一种新的歧义消解计算模式，该模式经测试可以有效地提高句法分析中歧义消解的正确率。     

基于规则的多义疑问词“怎么”的词义排歧模型研究

在自然语言处理中,多义疑问词的词义识别尚存改进空间。以“怎么”为例,其可表全称解读(任指)、存在解读(虚指)和疑问解读(询问状况、性状、方式和原因)。目前主流机器翻译系统在处理“怎么”的识别情况上仍需改进。该文从词义排歧的角度出发,尝试总结“怎么”的三类解读所处的句法环境的特征,确立复杂句法环境中其语义表现,进而构建一个基于规则的词义排歧模型,制定词义排歧决策表,为提高机器对该类词的识别率提供一种思路。最后,通过实验验证该决策表,并对其改进。