基于上下文相关字向量的中文命名实体识别

命名实体识别(NER)旨在识别出文本中的专有名词,并对其进行分类。由于用于监督学习的训练数据通常由人工标注,耗时耗力,因此很难得到大规模的标注数据。为解决中文命名实体识别任务中因缺乏大规模标注语料而造成的数据稀缺问题,以及传统字向量不能解决的一字多义问题,文中使用在大规模无监督数据上预训练的基于上下文相关的字向量,即利用语言模型生成上下文相关字向量以改进中文NER模型的性能。同时,为解决命名实体识别中的未登录词问题,文中提出了基于字语言模型的中文NER系统。把语言模型学习到的字向量作为NER模型的输入,使得同一中文汉字在不同语境中有不同的表示。文中在6个中文NER数据集上进行了实验。实验结果表明,基于上下文相关的字向量可以很好地提升NER模型的性能,其平均性能F1值提升了4.95%。对实验结果进行进一步分析发现,新系统在OOV实体识别上也可以取得很好的效果,同时对一些特殊类型的中文实体识别也有不错的表现。     

一种基于马尔可夫模型的汉语语音识别后处理中的音字转换方法

为了提高汉语语音识别率, 本文根据一种基于马尔可夫模型的统计语言模型去实现汉语音字转换, 在实现过程中, 提出了它的简化模型, 该模型不仅保证了实时性,而且也为以后的工作打下伏笔; 同时对训练文本的稀疏问题提出了一种新的解决方案。利用以上模型的模拟实验表明, 前向-后向的马尔可夫模型具有较好的识别性能; 且以词为输出单元的模型识别性能优于以字符为输出单元的模型。     

基于多特征融合的双通道医疗实体识别

针对医疗实体识别中词向量特征单一和忽略文本中局部特征的问题，提出一种基于多特征融合的双通道医疗实体识别模型。对医疗文本字形特征和卷积神经网络进行研究，发现构造的外部特征和挖掘的内部特征进行差异融合能够丰富词向量的特征信息；利用注意力机制改进的卷积神经网络实现特征优化选择，区分不同特征的重要性；设计CNN和BiLSTM并行的双通道神经网络，充分考虑文本的局部特征和上下文特征。在CCKS2017数据集上的实验结果表明，该模型能有效提高医疗实体识别的准确率。     

基于无监督学习算法的推特文本规范化

推特文本中包含着大量的非标准词,这些非标准词是由人们有意或无意而创造的。对很多自然语言处理的任务而言,预先对推特文本进行规范化处理是很有必要的。针对已有的规范化系统性能较差的问题,提出一种创新的无监督文本规范化系统。首先,使用构造的标准词典来判断当前的推特是否需要标准化。然后,对推特中的非标准词会根据其特征来考虑进行一对一还是一对多规范化;对于需要一对多的非标准词,通过前向和后向搜索算法,计算出所有可能的多词组合。其次,对于多词组合中的非规范化词,基于二部图随机游走和误拼检查,来产生合适的候选。最后,使用基于上下文的语言模型来得到最合适的标准词。所提算法在数据集上获得86.4%的F值,超过当前最好的基于图的随机游走算法10个百分点。     

中文分词及词性标注一体化模型研究

本文应用N-最短路径法，构造了一种中文自动分词和词性自动标注一体化处理的模型，在分词阶段召回N个最佳结果作为候选集，最终的结果会在未登录词识别和词性标注之后，从这N个最有潜力的候选结果中选优得到，并基于该模型实现了一个中文自动分词和词性自动标注一体化处理的中文词法分析器。初步的开放测试证明，该分析器的分词准确率和词性标注准确率分别达到98．1％和95．07％。     

融合多粒度信息的文本分类研究

目前对中文文本分类的研究主要集中于对字符粒度、词语粒度、句子粒度、篇章粒度等数据信息的单一模式划分，这往往缺少不同粒度下语义所包含的信息特征。为了更加有效提取文本所要表达的核心内容，提出一种基于注意力机制融合多粒度信息的文本分类模型。该模型对字、词和句子粒度方面构造嵌入向量，其中对字和词粒度采用Word2Vec训练模型将数据转换为字向量和词向量，通过双向长短期记忆网络（bi-directional long short-term memory,BiLSTM）获取字和词粒度向量的上下文语义特征，利用FastText模型提取句子向量中包含的特征，将不同种特征向量分别送入到注意力机制层进一步获取文本重要的语义信息。实验结果表明，该模型在三种公开的中文数据集上的分类准确率比单一粒度和两两粒度结合的分类准确率都有所提高。     

基于N联字的汉字识别后处理研究

为了提高汉字识别率, 本文提出了在单个汉字的初级识别后, 利用N联字的上下文关系, 对初级识别中拒识或不确定的汉字语段作进一步确认的一种方法, 阐明了N联字后处理方法的基本思想, 给出了实现此方法的数据库的结构设计方案和理论算法, 分析了理论上可提高的识别率, 最后给出了一个N联字汉字识别后处理系统模型。     

面向短文本的增强上下文神经主题模型

目前的主题模型大多数基于自身文本的词共现信息进行建模，并没有引入主题的稀疏约束来提升模型的主题抽取能力，此外短文本本身存在词共现稀疏的问题，该问题严重影响了短文本主题建模的准确性。针对以上问题，提出了一种增强上下文神经主题模型（enhanced context neural topic model,ECNTM）。ECNTM基于主题控制器对主题进行稀疏性约束，过滤掉不相关的主题，同时模型的输入变成BOW向量和SBERT句子嵌入的拼接，在高斯解码器中，通过在嵌入空间中将单词上的主题分布处理为多元高斯分布或高斯混合分布，显式地丰富了短文本有限的上下文信息，解决了短文本词共现特征稀疏问题。在WS、Reuters、KOS、20 NewsGroups四个公开数据集上的实验结果表明，该模型在困惑度、主题一致性以及文本分类准确率上相较基准模型均有明显提升，证明了引入主题稀疏约束特性以及丰富的上下文信息到短文本主题建模的有效性。     

基于词性特征的CNN_BiGRU文本分类模型

传统词嵌入通常将词项的不同上下文编码至同一参数空间,造成词向量未能有效辨别多义词的语义;CNN网络极易关注文本局部特征而忽略文本时序语义,BiGRU网络善于学习文本时序整体语义,造成关键局部特征提取不足.针对上述问题,提出一种基于词性特征的CNN_BiGRU文本分类模型.引入词性特征构建具有词性属性的词性向量;将词性向量与词向量交叉组合形成增强词向量,以改善文本表示;采用CNN网络获取增强词向量的局部表示,利用BiGRU网络捕获增强词向量的全局上下文表示;融合两模型学习的表示形成深度语义特征;将该深度语义特征连接至Softmax分类器完成分类预测.实验结果表明,该模型提高了分类准确率,具有良好的文本语义建模和识别能力.     

一种基于BERT的文本实体链接方法

实体链接是明确文本中实体指称的重要手段，也是构建知识图谱的关键技术，在智能问答、信息检索等领域中具有重要作用，但由于中文文本的多词一义或者一词多义等问题，现有的文本实体链接方法准确率较低。针对这些问题，本文提出了一种基于BERT(Bidirectional Encoder Representations from Transformers)的文本实体链接方法命名为STELM模型，通过将每一对指称上下文和对应的候选实体描述分别输入BERT模型，将输出的结果拼接起来通过一个全连接层然后取得分最高的候选实体作为最终结果。在CCKS2020(2020全国知识图谱与语义计算大会)数据集上的实验结果表明本文提出的模型准确率相较于其他模型有一定的提升，准确率达到了0.9175。     

Postprocessing statistical language models for handwritten Chinesecharacter recognizer

Two statistical language models have been investigated on their effectiveness in upgrading the accuracy of a Chinese character recognizer. The baseline model is one of lexical analytic nature which segments a sequence of character images according to the maximum matching of words with consideration of word binding forces. A model of bigram statistics of word-classes is then investigated and compared against the baseline model in terms of recognition rate improvement on the image recognizer. On the average, the baseline language model improves the recognition rate by about 7% while the bigram statistics model upgrades it by about 10%     

联机手写体汉字识别后处理技术的研究

文中提出了一种规则和统计相结合的计算语言模型应用于联机手写体汉字识别后处理的技术,把基于统计的大词表Ｍａｒｋｏｖ语言模型与语言规则量化模型,通过词网格技术集成在一个语言解码器,这种后处理方法由３个阶段组成,词网格生成,语言解码,基于Ｃａｃｈｅ的自学习机制,语言解码器采用Ｖｉｔｅｒｂｉ搜索算法求解最优语句候选,该项技术已应用于ＨＰＣ（手持机）手写电脑的联机汉字手写体识别系统中,汉字识别率为９１．３％     

一种利用校对信息的汉字识别自适应后处理方法

后处理技术是汉字识别系统的重要组成部分。传统的识别后处理技术在很大程度上依赖于所训练的统计语言模型,没有考虑所处理文本的特殊性;而且没有利用识别器的动态识别特性。本文利用部分校对过的正确本文信息,一方面可以构建自适应语言模型,及时发现所处理文本的语言特点;另一方面可以利用识别器的动态识别特性,以修正候选字集;从而使得后续文本的识别后处理具有自适应性。40 万字的数据测试表明:这种方法的文本平均错误率较传统的后处理方法下降35.24%了,可以大大减轻数据录入人员的工作量,具有较高的实用价值。     

现代汉语计算语言模型中语言单位的频度—频级关系

Zipf定律是一个反映英文单词词频分布情况的普适性统计规律。我们通过实验发现,在现代汉语的字、词、二元对等等语言单位上,其频度与频级的关系也近似地遵循Zipf定律,说明了Zipf定律对于汉语的不同层次的语言单位也是普遍适用的。本文通过实验证实了Zipf定律所反映的汉语语言单位频度-频级关系,并进而深入讨论了它对于汉语自然语言处理的各项技术,尤其是建立现代汉语基于统计的计算语言模型所具有的重要指导意义。     

Discovering similar Chinese characters in online handwriting with deep convolutional neural networks

A primary reason for performance degradation in unconstrained online handwritten Chinese character recognition is the subtle differences between similar characters. Various methods have been proposed in previous works to address the problem of generating similar characters. These methods are basically comprised of two components—similar character discovery and cascaded classifiers. The goal of similar character discovery is to make similar character pairs/sets cover as many misclassified samples as possible. It is observed that the confidence of convolutional neural network (CNN) is output by an end-to-end manner and it can be understood as one type of probability metric. In this paper, we propose an algorithm by leveraging CNN confidence for discovering similar character pairs/sets. Specifically, a deep CNN is applied to output the top ranked candidates and the corresponding confidence scores, followed by an accumulating and averaging procedure. We experimentally found that the number of similar character pairs for each class is diverse and the confusion degree of similar character pairs is varied. To address these problems, we propose an entropy- based similarity measurement to rank these similar character pairs/sets and reject those with low similarity. The experimental results indicate that by using 30,000 similar character pairs, our method achieves the hit rates of 98.44 and 98.05 % on CASIA-OLHWDB1.0 and CASIA-OLHWDB1.0–1.2 datasets, respectively, which are significantly higher than corresponding results produced by MQDF-based method (95.42 and 94.49 %). Furthermore, recognition of ten randomly selected similar character subsets with a two-stage classification scheme results in a relative error reduction of 30.11 % comparing with traditional single stage scheme, showing the potential usage of the proposed method.     

利用汉字二元语法关系解决汉语自动分词中的交集型歧义

本文提出了一种利用句内相邻之间的互信息及ｔ－测试差这两个统计量解决汉语自动分词中交集型歧义切分字段的方法。初步的实验结果显示，可以正确处理９０．３％的交集字段。     

A Computer System for Chinese Character Speech Input

In this paper,we introduce a speaker-dependent isolated word recognizer which isdedicated for Chinese character input.The method presented here offers an effective solution tothe large-vocabulary recognition problem by carrying out recognition hierachically.Thevocabulary consists of 800 to 1000 words.The average recognition rate is 90% whenmonosyllable words takes up one third of the vocabulary.Recognition rate can reach 95% byselecting from the top 20 candidates.     

基于矩阵约束法的中文分词研究

分词识别和歧义消除是影响信息检索系统准确度的重要因素，该文提出了一种基于语法和语义的使用约束矩阵的中文分词算法。该算法建立在语法和句法的基础上，从语境角度分析歧义字段，提高分词准确率。系统可以将输入的连续汉字串进行分词处理，输出分割后的汉语词串，并得到一个词典。再用《现代汉语语法信息词典》进行处理，实验结果显示分词准确率能提高10%左右。     

A new linguistic decoding method for online handwritten Chinese character recognition

This paper presents a new linguistic decoding method for online hadwritten Chinese character recognition.The method employs a hybrid language model which combines N-gram and linguistic rules by rule quantification technique,The linguistic decoding algorithm consists of three stages:word lattice construction,the optimal sentence hypothesis search and self-adaptive learning mechanism.The technique has been applied to palmtop computer‘s online handwritten chinese character recognition.Samples containing millions of characters were used to test the acter recognition,Samples containing millions of characters were used to test the linguistic decoder.In the open experiment,accuracy rate up to 92% is acieved.and the error rate is reduced by 68%.