基于GLR算法的维吾尔语句法分析研究

采用GLR算法对维吾尔语句子进行句法分析,并且与平行LR算法进行比较,比较它们的分析过程,针对于维吾尔语在单词集上进行句法分析。分析结果采用最优规则,选取最优的句法分析树,对下一步的句法分析研究提供很大的帮助。     

现代维吾尔语句子分类系统

在自然语言处理中,文本通常由多个句子组成。句子边界识别、句子分类和分析在其中具有十分重要的地位,因为它们处理的精度直接影响到后续处理,包括句法分析和语义分析等。本文研究现代维吾尔语句子分类方法。首先介绍维吾尔语句子构造规则和自动分类简单句和复合句规则;其次探讨维吾尔语句子划分原则、划分规则和分类算法;接下来对实现的现代维吾尔语句子分类系统进行功能描述、数据描述和系统设计与实现过程描述;最后,对系统实验的结果进行分析并对全文进行总结。     

基于感知器算法的维吾尔语词性标注研究

维吾尔语自动标注是维吾尔语信息处理后续句法分析、语义分析及篇章分析必不可少的基础工作。词性是词的重要的语法信息,假如一个词的词性无法确定或一个词给予错误的词性,对后续句法分析造成直接的影响。本文使用感知器训练算法和viterbi算法对维吾尔语进行词性标注,并在词性标注时利用词的上下文信息作为特征。实验结果表明,该方法对维吾尔语词性标注有良好的效果。     

统计与规则相结合的维吾尔语句子边界识别

句子边界识别是词性标注和句法分析等自然语言处理系统的基础问题。提出了一种统计与规则相结合的维吾尔语句子边界识别方法,首先利用歧义段落分类算法分类段落,第二步对无歧义段落进行基于规则的句子边界识别,最后使用最大熵模型对有歧义段落进行句子边界识别。该方法有效利用规则弥补最大熵模型因数据稀疏而误判不存在任何歧义情况的不足,使用最大熵模型有效地消除歧义,提高算法的鲁棒性,召回率达到了98.77%。     

维吾尔语KP短语的句法分析研究

维吾尔语句法分析是维吾尔文信息处理领域一个重要的基础性课题,同时也是一个公认的难题,在机器翻译、文本     

基于规则的汉语句法分析方法研究

该文从汉语的句法结构特点出发对基于规则的汉语句法分析方法进行讨论,从中总结出这类方法的一般特征,提出实用化的基于规则的汉语句法分析器必须引入其它辅助分析手段才能提高性能和可靠性。     

LL(1)文法句法分析程序自动生成的研究及实现

文中分析了对LL(1)文法采用递归子程序的方法进行句法分析的特点,讨论了递归子程序自动生成的一般规则,最后根据这些规则给出了递归子程序自动生成的算法及其实现.     

基于词缀库的非监督维吾尔语词切分方法

在维吾尔语中,词缀的数量有限且构词具有一定的规律性。为了提高维吾尔语词切分算法的性能,在一个词缀库的基础上,通过分析维吾尔语的基本构词规则,提出了一种改进的非监督维吾尔语词切分方法。该方法对词进行规则切分,采用MAP切分评价模型对规则切分打分,选取得分最高的规则切分作为该词的最终切分形式。在一个5000词的测试语料上进行了实验,实验结果表明,使用该方法进行维吾尔语词切分具有更高的准确率。     

维-汉统计机器翻译中维吾尔语预处理研究

为有效降低维-汉统计机器翻译中语料质量对翻译质量的影响,对维吾尔语文本预处理技术进行研究,结合维吾尔语文本语料的语言特征和多样性,提出基于语法规则和词法规则结合的维吾尔语文本预处理方法。在对维吾尔语文本中的语义单元、对偶词和标点符号进行特征分析的基础上,导出维吾尔语文本词例化和标点符号规范化的规则和处理流程。实验结果表明,该研究有效降低了词对齐阶段的单词数量、缓解了数据稀疏,提高了翻译质量。     

一种基于优先关系的LSD分析算法

句法分析是机器翻译中的一个重要环节,首先介绍了基于LSD方法进行句法分析的基金概念,然后提出了一种苦于优先关系的确定性LSD算法,主要讨论了基于名法结构信息优先关系和基于词谍统计优先关系的句法结构歧义消解策略,并给出了具体实现方法和复杂性分析,实验结果表明,该方法在保持确定性算法分析效率的前提下,提高了分析结果的正确率和规则应用的召回率。     

现代维吾尔语句子成分分析技术研究

句子成分分析是自然语言处理研究中的重点和难点。首先陈述现代维吾尔语短语和句子之间的关系、语类间的相互关系等现代维吾尔语单句成分划分问题;其次讨论现代维吾尔语语料库的预处理、短语标记集、句子成分划分基本思路、句子成分分析算法;探索现代维吾尔语谓语的识别算法设计、其他句子成分的识别、自动界定预测算法等研究现代维吾尔语句子成分分析问题;解决现代维吾尔语句子成分分析系统实现、实验数据分析等现代维吾尔语句子成分分析问题。     

基于词缀的维吾尔谚语识别关键技术研究

在自然语言理解、机器翻译、舆情分析等自然语言处理领域中,维吾尔谚语识别是整个文本实体识别的重要组成部分。为满足维吾尔谚语信息化的需求,本文构建了比较完善的维吾尔谚语语料库。同时,从传统语言学角度对维吾尔谚语的语法、语义结构进行分析,构建了一个由维吾尔谚语功能语类（词缀）组成的、专属维吾尔谚语规则的知识库,并将此知识库与自然语言处理技术相结合,实现一个既能够从文本中识别出维吾尔谚语,又能提供维汉互译等功能的信息软件系统。该系统也为开展计算机理解与处理维吾尔文字奠定了一个崭新的基础。     

维吾尔语形态分析研究综述

维吾尔语具有形态丰富性、黏着性和数据稀疏性等特点,处理技术和英汉等热门语言有着较大差距并且未能满足新疆地区发展需求。形态分析是自然语言处理的重要组成部分,研究维吾尔语形态分析对于推动维吾尔语信息处理技术发展有着重要意义。简述了维吾尔语语法,描述了维吾尔语自然语言处理、形态分析及其相关基本资源研究现状,将常见方法分为基于规则、基于词典、基于统计、基于深度学习和基于混合5大类并分析了各种方法的优劣,介绍了维吾尔语形态分析后续研究,借鉴了先进的词法分析方法,总结了维吾尔语形态分析面临的挑战和机遇,并对其未来发展趋势进行展望。     

基于条件随机场的维吾尔文组块分析

该文对维吾尔语树库标注体系进行分析,根据组块划分原则,在短语标记集的基础上制定了维吾尔语组块标记集,从已完成标注的3 000句语料库构建组块库。根据维文语言的特点,在英汉组块识别特征基础上,增加了词干、词缀、同义词标记等特征。该文中的性能评价指标采用了国际通用的准确率,召回率和F值,3 000个标注句子作为训练和测试语料库用,实验采用了交叉验证法,训练和测试语料库的比例分别为9∶1,8∶2,2∶1,召回率分别为80.34%,76.87%,66.76%。实验表明,语料库规模对模型性能影响较大。
     

基于形态分析的现代维吾尔语名词词干识别研究

现代维吾尔语名词词干识别是自然语言处理领域的重要基础性研究,主要目的是从句子中提取名词词干,提高名词识别效率。首先陈述形态分析概念,通过这些形态特征可以准确地识别其词性的意义;其次讨论维吾尔语的词类划分标准、名词的形态特征分析,总结词缀歧义及消解规则;该文提出研究总体思路,设计现代维吾尔语新词中名词识别算法,其中包括特征选择及参数估计、词内部特征、前后依存词特征等;最后将初中、高中物理维吾尔语教材作为验证对象,对名词词干进行统计与分析。     

维吾尔语清塞音的声学特征分析

根据语音合成与识别等语音应用研究的需求,从文本分析模块入手,选择“维吾尔语语音声学参数库”中包含清塞音p、t、k、q的单音节及多音节词,对它们的声学参数采取统计分析方法,归纳其嗓音起始时间、共振峰、音强和时长分布模式。同时,为提高语音合成的自然度,探讨嗓音起始时间对清塞音声学特征的决定性作用问题。     

A survey of discourse parsing

Discourse parsing is an important research area in natural language processing (NLP), which aims to parse the discourse structure of coherent sentences. In this survey, we introduce several different kinds of discourse parsing tasks, mainly including RST-style discourse parsing, PDTB-style discourse parsing, and discourse parsing for multiparty dialogue. For these tasks, we introduce the classical and recent existing methods, especially neural network approaches. After that, we describe the applications of discourse parsing for other NLP tasks, such as machine reading comprehension and sentiment analysis. Finally, we discuss the future trends of the task.     

自然语言句子抽象语义表示AMR研究综述

句子的语义处理是自然语言处理的重要难题与挑战。抽象语义表示(Abstract meaning representation, AMR)是近几年国际上新兴的句子级语义表示方法,突破了传统的句法树结构的限制,将一个句子语义抽象为一个单根有向无环图,很好地解决了论元共享问题,成为语言资源建设和句子语义解析的研究热点。本文从AMR概念与规范、解析算法和应用等方面对AMR相关研究进行系统的梳理,特别对AMR的各种解析算法进行了比较深入的分析和比较,指出了现有算法存在的问题和不足,同时介绍了中文AMR的开发进展,最后展望了AMR未来的研究方向。     

信息处理用维语词汇标注标记集的确定

介绍了研究和制定信息处理用维语标注标记集的研究进展。讨论了研究与制订“维语标注标记集”必要性,说明了只靠语法角度提出的词汇一级“维语标注标记集”的有限性,论述国内外英语、汉语层次分析研究的最新成果,结合维语的本身特点研究维语语义分类体系迫切性,给出了“维语标注标记集”的工作思路、标记集制定的原则和语法语义词汇一级词性标记集的内容,比较了标记集两个版本的特点,展望了其发展。