维吾尔文初中数学教材词干分析研究

该文将初中数学维吾尔文教材作为研究对象,根据维吾尔语的特点和统计学原理理论,从计算语言学角度调查初中数学维吾尔文教材用词干情况。该文主要研究维吾尔语词干、教材概貌、数据处理技术相关概念及其算法及现代维吾尔语语料处理工具,获取教材中词干基本情况、新增词干、初中数学教材高频词干,开展了初中数学维吾尔文教材词干调查,为维吾尔语研究、维吾尔文数学教学与教材编纂等提供参考依据,从而更加积极有效地促进维吾尔语语言本身研究及其信息处理的发展。     

基于机器学习的维吾尔文文本分类研究

随着Internet上维吾尔文信息的迅速发展,维吾尔文文本分类成为处理和组织这些大量文本数据的关键技术。研究维吾尔文文本分类相关技术和方法,针对维吾尔文文本在向量空间模型（VSM）表示下的高维性,采用词干提取和IG相结合的方法对表示空间进行降维。采用基于机器学习的分类算法（kNN和Na?ve Bayes）对维吾尔文文本语料进行了分类实验并分析了实验结果。     

基于SVM的维吾尔文文本分类研究

文本自动分类技术在提高文本信息利用的有效性和准确性上具有重要的现实意义和广阔的应用前景。随着Internet上维吾尔文信息的迅速发展,维吾尔文文本分类成为处理和组织这些大量文本数据的关键技术。研究维吾尔文文本分类相关技术和方法,针对维吾尔文文本在向量空间模型表示下的高维性,本文采用词干提取和χ2统计量相结合的方法对表示空间进行降维。采用SVM算法构造了维吾尔文文本分类器。针对维吾尔文文本分类语料进行的实验结果表明,SVM分类器的MacroF1值达到了84.6%,明显好于kNN方法。     

基于网站用词调查的现代维吾尔语词长研究

首先陈述调查使用的语料媒体来源、应用领域、采集的语料时间跨度与统计方法;其次按词长排序的前20个最长的词情况,介绍词语长度分布;在此基础上分析词干长度分布、常用纯词干长度分布及常用去尾词干长度分布;最后介绍平均词干、词长统计与分析结果。     

现代维吾尔语词干词类标注标记集验证性研究

以维吾尔语小学语文教材语料为验证对象,利用从语法语义相结合角度制定的《现代维吾尔语词干词类标注标记集》,对维吾尔语小学语文教材词干进行了词性标注,验证该标记集规范的可行性、适应性和可靠性。首先介绍小学语文教材电子语料库;其次讨论《信息处理用现代维吾尔语词干词类标注标记集》的基本情况和多策略现代维吾尔语词干标注系统模型设计与算法;最后分析现代维吾尔语词性标注标记集验证结果,并验证《信息处理用现代维吾尔语词干词类标注标记集》的科学性,补充和改正部分词类的语义分类及标注代码,提出了规范的扩充建议。     

面向维吾尔文的敏感信息过滤方法研究

在这个信息量爆炸性增长的时代,网络不良信息充斥在日常生活当中。为了构建洁净的网络环境,实现对网络维吾尔文中敏感信息的检测与过滤,通过分析维吾尔文的特点,将维吾尔文进行词干提取和编码化处理,再结合DFA和决策树提出了针对维吾尔文敏感信息过滤的相应方法。维吾尔文经过词干提取、编码化处理解决了维吾尔文书写顺序和形式多样、存储易出现乱码等问题。再结合决策树的特点,将转码后的维吾尔文信息存储于决策树节点上,将决策树的子节点按照特定编码进行顺序排列。这样维吾尔文文本信息进行敏感信息过滤时可以缩小检测范围,提高算法效率。     

现代维吾尔语常用词统计关键技术研究

本文研究了构建现代维吾尔语语料库的关键技术与方法,特别是现代维吾尔语语料库的构建,并对现代维吾尔语语料预处理技术,现代维吾尔语语料统计技术,现代维吾尔语词干提取技术,现代维吾尔语数据分析技术进行了研究;研制了现代维吾尔语常用词候选表, 从词语的使用频度和词语的分布两方面对词语进行了基本考察,将维吾尔语词语的“词种数、频次、频率、文本数、词长”作为常用词候选表的依据。     

基于形态分析的现代维吾尔语名词词干识别研究

现代维吾尔语名词词干识别是自然语言处理领域的重要基础性研究,主要目的是从句子中提取名词词干,提高名词识别效率。首先陈述形态分析概念,通过这些形态特征可以准确地识别其词性的意义;其次讨论维吾尔语的词类划分标准、名词的形态特征分析,总结词缀歧义及消解规则;该文提出研究总体思路,设计现代维吾尔语新词中名词识别算法,其中包括特征选择及参数估计、词内部特征、前后依存词特征等;最后将初中、高中物理维吾尔语教材作为验证对象,对名词词干进行统计与分析。     

带后缀印刷体维吾尔文映射关系检索

目的 维吾尔文属于黏着性语言，其组成方式是在词干上添加词缀来实现不同的语义，在添加词缀的过程中词干的尾部会发生一定的形态变化，而且词干添加词缀的时候也可能会发生弱化、脱落、增音等音变现象导致进一步的形态变化，所以利用目前的图像文字检索（word spotting）技术只能检索到某一具体的维吾尔文词汇，却不能以某一词干为检索词，检索出其对应的带后缀的词语。为此，提出了基于映射关系的带后缀印刷体维吾尔文词语检索技术。方法 首先利用局部特征对维吾尔文词图像进行特征提取，其次将获得的特征用快速最近邻搜索（fast library for approximate nearest neighbors，FLANN）双向匹配来获得特征匹配集，最后将特征匹配集进行单应性变换和透视变换到待检索维吾尔文词图像上，把特征匹配集转化为空间关系，经过映射匹配对特征匹配集的空间关系进行后缀词检索，从而实现印刷体维吾尔文图像带后缀词检索的需求。结果 实验数据选取190幅维吾尔文印刷体文本图像中的17 648幅切割词图像，并对其中30幅词图像的167幅后缀词图像进行后缀检索，采用不同的局部特征算法进行后缀检索对比，结果表明，尺度不变特征变换（scale-invariant feature transform，SIFT）算法的后缀检索效果优于SURF（speeded up robust features）算法，精确率和召回率分别达到了94.23%和88.02%，在印刷体文档图像中，可以高效地检索到词干组成的后缀词，能够满足用户的不同检索需求，具有普适性。在弱化、脱落、增音和多种音变同时出现以及词干尾部发生变化的不同情况下进行后缀检索对比实验，实验结果表明在弱化和词干尾部变化而导致的形态变化中，检索效率最佳。结论 本文提出的基于映射关系进行后缀词图像检索的方法，是第一次对维吾尔文带后缀词检索方式的一种实现，利用匹配集之间的空间关系，对维吾尔文带后缀词图像实现了高效检索的目的。     

中小学维吾尔语文教材用词数据分析方法研究

随着社会的发展变化,语言生活也在不断地发展变化。为了切实掌握中小学维吾尔语文教材中用词情况,以中小学维吾尔语文教材作为研究对象,对用词概况进行研究。陈述研究使用的语料;介绍统计系统研究概况;中小学维吾尔语文教材用词研究包括研究总词次、总词种数、总词干种数;讨论与分析词频与词种、词种覆盖率、词种。     

现代维吾尔文网络媒体用词研究

随着社会的发展,语言也在不断地发展变化。为了切实掌握维吾尔语当前使用情况,及时把握维吾尔语年度用词的第一手资料,对网络媒体的现代维吾尔语用词进行研究。首先对现代维吾尔语词语的结构进行分析,并给出描述现代维吾尔语词法的结构模型;然后介绍调查使用的语料媒体来源、应用领域、采集的语料时间跨度与统计方法以及统计结果讨论。     

维吾尔语广播新闻连续语音敏感词检索系统

首先介绍语音信号来源于新疆人民广播电台维吾尔语新闻的敏感词语音语料库的建设。然后用该语料库进行基于HMM的模型训练。模型训练中详细介绍识别基元端点检测、特征提取、矢量量化、码本构建、HMM模型训练过程和结果。最后用该语料库和HMM训练模型对维吾尔语广播新闻连续语音信号进行敏感词检索,并对检索结果进行分析。     

维吾尔文情感语料库的构建与分析

针对维吾尔文情感语料库标注体系不规范、语料库规模小、没有合适的标注平台等问题,分析英文和中文比较著名情感语料库的优点,结合维吾尔语文本的特点,建立维吾尔文情感语料标注规范,利用Python语言构建集数据采集与标注为一体的情感标注平台,最后构建在舆情分析和舆情监控中可以应用的维吾尔文情感语料库。实验结果表明,该标注规范具有可扩展性和实用性,标注平台可以有效地减轻标注人员的工作量,提高情感语料库的质量,情感语料库可以用于舆情分析任务。      

限定领域的汉语-维吾尔语句子级对齐研究

针对政府文献的汉语维吾尔语语料库特点,充分利用汉语和维吾尔语的句子特性,提出一种汉维句子级别的对齐方法。该方法重点分析政府领域的汉语和维吾尔语的句型,分别对汉语和维吾尔语的语料进行边界识别,避免了复杂句型对汉语-维吾尔语句子对齐的影响,使得该方法取得句子对齐达到97%与99%之间的正确率。对齐的汉语-维吾尔语句子对可以充实语料库的规模,为汉语-维吾尔语短语对齐以及汉维机器翻译提供翻译语料。     

一种针对维汉的跨语言远程监督方法

远程监督是关系抽取领域重要的语料扩充技术,可以在少量已标注语料的基础上快速生成伪标注语料。但是传统的远程监督方法主要应用于单语种文本,维吾尔语等低资源语言并不能使用这类方法得到伪标注语料。针对上述问题,提出一种针对维汉的跨语言远程监督方法,在无语料的情况下利用现有的汉语语料进行维语语料的自动扩充。将远程监督视为文本语义相似度计算问题而不是简单的文本查找,从实体语义和句子语义2个层面判断维语和汉语句子对是否包含同一关系,若为同一关系则将已有的汉语标注转移到维语句子上,实现维语语料从零开始的自动扩充。此外,为有效捕获实体的上下文和隐藏语义信息,提出一种带有门控机制的交互式匹配方法,通过门控单元控制编码层、注意力层之间的信息传递。人工标记3 500条维语句子和600条汉语句子用于模拟远程监督过程并验证模型的性能。实验结果表明,该方法 F1值达到73.05%,并且成功构造了包含97 949条维语句子的关系抽取伪标注数据集。     

现代维吾尔语句子成分分析技术研究

句子成分分析是自然语言处理研究中的重点和难点。首先陈述现代维吾尔语短语和句子之间的关系、语类间的相互关系等现代维吾尔语单句成分划分问题;其次讨论现代维吾尔语语料库的预处理、短语标记集、句子成分划分基本思路、句子成分分析算法;探索现代维吾尔语谓语的识别算法设计、其他句子成分的识别、自动界定预测算法等研究现代维吾尔语句子成分分析问题;解决现代维吾尔语句子成分分析系统实现、实验数据分析等现代维吾尔语句子成分分析问题。     

基于Web语料库的知识发现设计与研究

提出了Web语料库的概念，并且通过讨论Web信息的抽取、分类及语料的标注等来讲述语料库的构建。在此基础上，进一步阐述了基于Web语料库的知识发现的实现原理及具体设计思想，分析了应用实例的架构、算法及其局限性。阐述了用于挖掘语料库信息的索引设计、知识发现过程及知识的表现等。     

关于维吾尔语口语语料的三音子选取方法研究

在大词汇量连续语音识别应用中,优质的语音训练语料是所有识别工作的基础和前提, 能否挑选出覆盖更多语音现象的语料是提高语音识别性能的关键。该文在多种维吾尔文口语化传播平台中采集了大量口语句子语料,并考虑协同发音的影响和常用词的适用性,根据评估函数对语料筛选。经过筛选后的语料包含的三音子更加均衡和高效,囊括的语音现象更加全面,为训练准确而牢靠的语音模型打下了稳固的根基。     

维文版Office设计中关键技术的研究与实现

维吾尔文,汉文和英文等多文种办公套件,对少数民族地区信息化的发展,起着重要作用。该文首先介绍了维吾尔文的特点,然后分析并实现了永中集成Office维吾尔文版设计中的自动选形、按音节断行和自动拉长等处理维吾尔文的关键技术。这些关键技术在维吾尔文版Office中应用后,通过测试能使维吾尔文排版非常规整。同时这些关键技术对维吾尔文文字处理,对其他维吾尔文软件的开发都有普遍地指导作用。     

维吾尔语的词性标注校对初探

近些年来语料库语言学的发展较为迅速,语料库的建设成为一项重要的工作。在对语料加工的过程中,保证词性标注的一致性也成为建设高质量语料库的首要问题.本文首先概要介绍了一种维吾尔语的标注方法,并受一些文献的启发,根据维吾尔语的特点对其进行词性标注自动校对的研究,进而提高维语词性标注的正确率。