Quantitative analysis of effective range of context in Chinese word segmentation based on word-position tagging

在利用条件随机场进行基于词位标注的汉语分词时,特征窗口的宽度是决定条件随机场学习效果的重要参数.针对特征窗口最佳宽度的选择问题,设计了一组特征模板,并选取Bakeoff2005中的测试语料,使用CRF++0.53工具包进行了对比实验,定量分析了影响分词效果的有效上下文范文.通过实验得出以下结论:下文对分词性能贡献要大于上文;影响分词性能的特征窗口的宽度不超过五,以四字或五字窗口为宜.     

汉语分词中上文和下文重要性比较

上下文是统计语言学中获取语言知识和解决自然语言处理中多种实际应用问题必须依靠的资源和基础。近年来基于字的词位标注的方法极大地提高了汉语分词的性能,该方法将汉语分词转化为字的词位标注问题,当前字的词位标注需要借助于该字的上下文来确定。为克服仅凭主观经验给出猜测结果的不足,采用四词位标注集,使用条件随机场模型研究了词位标注汉语分词中上文和下文对分词性能的贡献情况,在国际汉语分词评测Bakeoff2005的PKU和MSRA两种语料上进行了封闭测试,采用分别表征上文和下文的特征模板集进行了对比实验,结果表明,下文对分词性能的贡献比上文的贡献高出13个百分点以上。     

基于字矩阵交运算的n-grams特征选择加权算法

中文文本中,传统的n-grams特征选择加权算法（如滑动窗口法等）存在两点不足：在将每个词进行组合、生成n-grams特征之前必须对每篇文本调用分词接口。无法删除n-grams中的冗余词,使得冗余的n-grams特征对其他有用的n-grams特征产生干扰,降低分类准确率。为解决以上问题,根据汉语单、双字词识别研究理论,将文本转化为字矩阵。通过对字矩阵中元素进行冗余过滤和交运算得到n-grams特征,避免了n-grams特征中存在冗余词的情况,且不需对文本调用任何分词接口。在搜狗中文新闻语料库和网易文本语料库中的实验结果表明,相比于滑动窗口法和其他n-grams特征选择加权算法,基于字矩阵交运算的n-grams特征选择加权算法得到的n-grams特征耗时更短,在支持向量机（Support Vector Machine,SVM）中的分类效果更好。     

词位标注汉语分词中特征模板定量研究

基于字的词位标注的方法能极大地提高汉语分词的性能,该方法将汉语分词转化为字的词位标注问题,词位标注汉语分词中特征模板的设定至关重要,为了更加准确地设定特征模板,从多个角度进行了定量分析,并在国际汉语分词评测Bakeoff2005的PKU和MSRA两种语料上进行了封闭测试,得到如下结论:同等条件下,训练出的模型大小与扩展出的特征数成正比;不同的单字特征模板在同一语料中扩展出的特征数基本相同,单字特征模板对分词性能的贡献要比双字特征模板小得多;增加B特征模板之后,训练时间大大增加,模型大小基本不变,对分词性能都是正增长.     

基于表示学习的中文分词

为提高中文分词的准确率和未登录词（OOV）识别率,提出了一种基于字表示学习方法的中文分词系统。首先使用Skip-gram模型将文本中的词映射为高维向量空间中的向量;其次用K-means聚类算法将词向量聚类,并将聚类结果作为条件随机场（CRF）模型的特征进行训练;最后基于该语言模型进行分词和未登录词识别。对词向量的维数、聚类数及不同聚类算法对分词的影响进行了分析。基于第四届自然语言处理与中文计算会议（NLPCC2015）提供的微博评测语料进行测试,实验结果表明,在未利用外部知识的条件下,分词的F值和OOV识别率分别达到95.67%和94.78%,证明了将字的聚类特征加入到条件随机场模型中能有效提高中文短文本的分词性能。     

一种融合字词信息的中文情感分析模型

中文情感分析模型的文本表示通常只采用词粒度信息，这会导致模型在特征提取时丧失字粒度的特性，同时常用的分词方法的分词结果过于精简，也一定程度上限制了文本表示的丰富度。对此，提出了一种融合字粒度特征与词粒度特征的中文情感分析模型，采用全模式分词得到更丰富的词序列，经词嵌入后将词向量输入Bi-LSTM中提取全文的语义信息，并将隐层语义表示与对应字向量进行初步融合，增强词级信息的鲁棒性；另一方面将字向量输入多窗口卷积，捕捉更细粒度的字级特征信息。最后将字词粒度特征进一步融合后输入分类器得到情感分类结果，在2个公开数据集上的性能测试结果表明，该模型相比同类模型有更好的分类性能。     

基于BLSTM-CRF的领域知识点实体识别技术

传统的中文分词方法是一种基于单词标注的传统机器学习方法,但学习方法需要人工配置和提取中文文本的特征。缺点是同义词库维度较高且CPU训练模型较长。本文针对以上问题进行了研究,构建了内嵌条件随机场的长短时神经网络模型,使用长短时神经网络隐含层的上下文向量作为输出层标注的特征,使用内嵌的条件随机场模型表示标注之间的约束关系采用双向LSTM和CRF相结合的训练方法进行特定领域知识点的中文分词。对中文分词测试常用语料库的实验比较表明,基于BLSTM和CRF网络模型的方法可以获得比传统机器学习方法更好的性能;使用六字标记并添加预训练的字嵌入向量可以实现相对较好的分词性能;BLSTM-CRF网络模型方法更易于推广并应用于其他自然语言处理中的序列标注任务。     

面向军事领域的中文分词技术研究

在分词模型跨领域分词时,其性能会有明显的下降。由于标注军队遗留系统开发文档语料的工作比较复杂,本文提出n-gram与词典相结合的中文分词领域自适应方法。该方法通过提取目标语料的n-gram特征训练适应特征领域的分词模型,然后利用领域词典对分词结果进行逆向最大匹配的校正。实验结果表明,在军队遗留系统相关文档语料上,该方法训练的分词模型将F值提高了12.4%。     

基于链式条件随机场的中文分词改进方法

基于链式条件随机场模型的序列标注中文分词方法随着中文分词评测Bakeoff的展开得到广泛应用。词位标注集和特征模板集对该模型的学习至关重要,但当前的研究大多采用单一的标注集和特征模板集进行实验,缺乏标注集和特征模板集结合的尝试,使得中文分词中未登录词识别率不高,从而影响互联网领域语料的分词效果。首次采用六词位标注集结合TMPT-10和TMPT-10`特征模板,并与常见标注集和特征模板集的组合在Bakeoff语料上进行实验对比,结果表明,改进的方法 6tag-tmpt10取得更好的未登录词召回率,在互联网领域中文分词能取得很好的效果;同时在F值上也与其他最好结果相当。     

基于字词分类的层次分词方法研究

中文分词是自然语言处理的基础性问题。条件随机场模型分词过程中出现的切分粒度过小和多字粘连造成的错分问题,是影响分词结果的两个主要原因。提出了一个基于字词分类的层次分词模型,该模型采用多部有效词典进行处理,在外层分词系统中解决切分粒度过小问题;在内层核心层,条件随机场分词后再处理多字粘连问题。实验结果表明,采用加入多词典的字词结合层次分类模型F-测度值有较大的提高,有助于得到好的分词结果。     

基于Word2vec的文档分类方法

文档的特征提取和文档的向量表示是文档分类中的关键,本文针对这两个关键点提出一种基于word2vec的文档分类方法.该方法根据DF采集特征词袋,以尽可能的保留文档集中的重要特征词,并且利用word2vec的潜在语义分析特性,将语义相关的特征词用一个主题词乘以合适的系数来代替,有效地浓缩了特征词袋,降低了文档向量的维度;该方法还结合了TF-IDF算法,对特征词进行加权,给每个特征词赋予更合适的权重.本文与另外两种文档分类方法进行了对比实验,实验结果表明,本文提出的基于word2vec的文档分类方法在分类效果上较其他两种方法均有所提高.     

利用上下文信息解决汉语自动分词中的组合型歧义

组合型歧义切分字段一直是汉语自动分词研究中的一个难点。该文将之视为与WordSenseDisambiguation(WSD)相等价的问题。文章借鉴了WSD研究中广泛使用的向量空间法,选取了20个典型的组合型歧义进行了详尽讨论。提出了根据它们的分布“分而治之”的策略,继而根据实验确定了与特征矩阵相关联的上下文窗口大小、窗口位置区分、权值估计等要素,并且针对数据稀疏问题,利用词的语义代码信息对特征矩阵进行了降维处理,取得了较好的效果。笔者相信,这个模型对组合型歧义切分字段的排歧具有一般性。     

Adaptive Window Based 3-D Feature Selection for Multispectral Image Classification Using Firefly Algorithm

Feature extraction is the most critical step in classification of multispectral image. The classification accuracy is mainly influenced by the feature sets that are selected to classify the image. In the past, handcrafted feature sets are used which are not adaptive for different image domains. To overcome this, an evolutionary learning method is developed to automatically learn the spatial-spectral features for classification. A modified Firefly Algorithm (FA) which achieves maximum classification accuracy with reduced size of feature set is proposed to gain the interest of feature selection for this purpose. For extracting the most efficient features from the data set, we have used 3-D discrete wavelet transform which decompose the multispectral image in all three dimensions. For selecting spatial and spectral features we have studied three different approaches namely overlapping window (OW-3DFS), non-overlapping window (NW-3DFS) adaptive window cube (AW-3DFS) and Pixel based technique. Fivefold Multiclass Support Vector Machine (MSVM) is used for classification purpose. Experiments conducted on Madurai LISS IV multispectral image exploited that the adaptive window approach is used to increase the classification accuracy.     

Lagrangian Duality with ELM for Word Sense Multiprototype Discovery

ABSTRACT

Homonymy and polysemy are major issues in word sense disambiguation. Combining with multilayer neural network, word sense multiprototyping tackles the issues by defining multiple feature embedding representations for each word which are based on the average feature weight of the word’s different context windows called prototypes. The complexity of parameter estimation of neural network regression as well as the fixed context window size are the restrictions on the implementation of word sense multiprototyping. We propose approximating the least absolute deviation (LAD) between pair-wise word frequency covariance and pair-wise word semantic relatedness by Extreme Machine Learning (ELM) with less-constraint parameter estimation. Lagrangian duality proves the method’s feasibility. An in-cluster closeness calculation is performed to extract a variable context window to contextually identify multiprototypes of word senses based on Kmeans clustering. The higher accuracy of the discovered multiprototypes is verified by our experiments.     

基于条件随机场的汉语分词系统

汉语分词是自然语言处理的首要的基本工作。本文提出了一个基于条件随机场(简称CRF)的汉语分词模型,CRF模型作为一个判别模型,可以容纳任意的非独立的特征信息。我们首先将分词看作是一个标记的过程,然后利用CRF模型对每个汉字进行标记,最后转换为相应的分词结果。系统采用感知机(Perceptron)算法进行参数训练。跟以前利用CRF进行分词的模型相比,本系统定义并使用了不同的特征函数,取得了更好的切分结果。在1st SIGHAN分词比赛PK测试集上封闭测试,F值为95.2%。     

基于词语距离的网络图词义消歧

传统的基于知识库的词义消歧方法,以一定窗口大小下的词语作为背景,对歧义词词义进行推断.该窗口大小下的所有词语无论距离远近,都对歧义词的词义具有相同的影响,使词义消歧效果不佳.针对此问题,提出了一种基于词语距离的网络图词义消歧模型.该模型在传统的网络图词义消歧模型的基础上,充分考虑了词语距离对消歧效果的影响.通过模型重构、优化改进、参数估计以及评测比较,论证了该模型的特点:距离歧义词较近的词语,会对其词义有较强的推荐作用;而距离较远的词,会对其词义有较弱的推荐作用.实验结果表明,该模型可以有效提高中文词义消歧性能,与SemEval-2007:task#5最好的成绩相比,该方法在MacroAve(macro-average accuracy)上提高了3.1％.     

基于深度学习和迁移学习的领域自适应中文分词

为了提高专业领域中文分词性能,以及弥补专业领域大规模标注语料难以获取的不足,该文提出基于深度学习以及迁移学习的领域自适应分词方法。首先,构建包含词典特征的基于深度学习的双向长短期记忆条件随机场(BI-LSTM-CRF)分词模型,在通用领域分词语料上训练得到模型参数;接着,以建设工程法律领域文本作为小规模分词训练语料,对通用领域语料的BI-LSTM-CRF分词模型进行参数微调,同时在模型的词典特征中加入领域词典。实验结果表明,迁移学习减少领域分词模型的迭代次数,同时,与通用领域的BI-LSTM-CRF模型相比,该文提出的分词方法在工程法律领域的分词结果F1值提高了7.02%,与预测时加入领域词典的BI-LSTM-CRF模型相比,分词结果的F1值提高了4.22%。该文提出的分词模型可以减少分词的领域训练语料的标注,同时实现分词模型跨领域的迁移。     

基于特征融合的多尺度窗口产品外观检测方法

为提高产品外观质量的检测精度和实时性,提出一种基于特征融合的多尺度滑动窗口机器视觉检测方法;在训练阶段,首先提取图像的HOG特征和Lab颜色特征,并采用典型相关分析法(CCA)进行特征融合;接下来,采用支持向量机(SVM)对融合的特征进行训练,生成分类器;在检测阶段,产品外观不同区域对精度的要求不同,为提高检测效率,生成不同尺度的滑动窗口,在每个窗口中都进行图像的特征提取与特征融合;最后,对采集的图像序列进行匹配,实现产品外观划痕的实时检测;实验中,选取不同的特征提取方法进行对比,并分别生成大小不同的滑动窗口,通过分析实验结果,结合检测时间与精度,确定各个区域的窗口尺度;实验表明,与传统的检测方法相比,所提方法在检测精度和实时性上具有显著提高。     

条件随机场模型的场景描述

提出一种基于条件随机场模型的场景描述方法,条件随机场模型直接对描述目标的后验概率建模,不但能融合多类特征,还具有联系上下文信息的能力,这使得CRF模型在场景描述中能获得更准确的描述结果.将图像分成m×n大小的矩形块,通过多类特征提取,分别提取图像中每一矩形块的颜色特征、纹理特征、位置特征,通过K-means算法对特征进行聚类,并按照矩形块的位置组成特征向量,用CRF模型对特征向量建模,通过训练获取模型的参数估计,最终利用MPM算法进行模型推断,获取场景描述.实验结果表明本文方法能较准确地进行场景描述.     

基于图像多小波变换的煤岩界面识别

针对现有煤岩界面识别方法存在普适性差、可靠性差等问题,提出了一种基于图像多小波变换的煤岩界面识别方法。对煤岩图像进行多小波变换,提取不同频带多小波系数在固定窗口大小下的标准差作为纹理测度并生成归一化多频带特征向量,利用朴素贝叶斯分类器对纹理特征进行识别。实验结果表明,对于分辨率为128×128的图像,当窗口大小为9,选择频带F5—F16构造特征向量时,识别率可达96.14%。