一种基于逐层扫描的频繁字串快速提取算法

串频统计是一种简便有效的抽取未登录词方法.本文提出了一种快速的频繁字串提取和计频方法,通过逐层扫描快速发现频繁字串,修正字串有效出现频次,最后抽取平均互信息量达到阈值的字串.实验结果显示该方法有效可行.     

基于大规模语料库的高频汉字串互信息分布规律分析

基于互信息的词典构建和自动分词是典型的基于统计的中文信息处理技术。通过计算大规模中文文本语料库的高频二字串、三字串、四字串的互信息发现:第一,高频词的互信息并不是很高,词和短语之间的互信息分布不存在明显界限;第二,高频无效汉字串的互信息与词和短语的互信息也没有明确界限,词、短语、无效汉字串互信息的夹杂分布,使得仅凭汉字串的互信息或频率很难高效地自动标注词、短语以及无效串。以上规律说明:单纯依赖对大规模真实文本语料库进行统计来实现高效的中文词典构建、自动分词处理等会面临极大挑战。     

利用串匹配技术实现网上新闻的主题提取

从文本中提取主题串是自然语言处理的重要基础之一.传统的提取方法主要是依据" 词典加匹配"的模式.由于词典的更新速度无法同步于网上新闻中新词汇涌现的速度,而且词典的内容也无法完全涵盖网上新闻的范围, 因此这种方法不适用于网上新闻的主题提取. 提出并实现了一种不用词典即可提取新闻主题的新方法.该方法利用网上新闻的特殊结构,在标题和正文间寻找重复的字串.经过简单地处理,这些字串能够较好地反映新闻的主题.实验结果显示该方法能够准确、有效地提取出绝大部分网上新闻的主题,满足新闻自动处理的需要.该方法同样适用于其它亚洲语言和西方语言.     

基于字串切分统计词典的繁体中文拼写检错方法*

针对繁体中文拼写检错的问题进行了研究,提出一种基于字串切分统计词典的检错方法。利用语料库中字串出现的频率信息作为检错依据,根据字串及其频率信息来建立统计词典,并设计了基于统计规则评判的检错算法。以SIGHAN7会议中文拼写校验任务中用于检错评测的1000句测试集作为实验测试集,并与此会议提交的结果进行比较,实验结果表明,与基于复杂语言模型的检错方法相比,该方法在实现简单的同时也有很好的检错效果,获得了较高的准确率和精确率以及较低的误报率。     

基于PAT TREE统计语言模型与关键词自动提取

未登录关键词的识别是中文信息处理中的一个关键问题。文章利用PAT TREE实现了一种可变长统计语言模型,由于不存在n元统计语言模型的截断效应,从而对待提取的关键词的长度没有限制。在该模型的基础上,通过相关性检测,从540M汉语语料中自动提取出了12万个关键词候选字串。最后,经过分析和筛选,候选字串的准确度由82．3％上升到96．1％。实验表明,基于PAT TREE的统计语言模型是实现未登录词提取的有力工具。     

基于逐层剪枝的中文高频重复模式快速提取算法

为了从大规模语料中快速提取高频重复模式,以递增n-gram模型为基础,使用散列数据结构提取重复串,并提出了一种基于低频字符和层次剪枝的逐层剪枝算法,用于过滤低频垃圾字串,减少I/O读写次数。在此基础上,应用改进的字串排序算法,使字符串排序可在O(n)时间内完成,从而有效提高重复模式的提取效率。实验表明,该算法是一种有效的重复模式提取算法,其I/O读写次数同语料规模呈线性关系,远小于使用首字符进行语料划分的方法,能快速有效地从规模远大于内存容量的文本语料中提取重复模式,特别适合于大规模语料的高频重复模式提取,对以重复模式为基础的新词识别、术语抽取等具有重要的支撑作用。     

无需设定阈值的图像边缘检测

针对提取图像边缘经常需要设定阈值,而对于光照不均的图像又难以设定合适阈值的问题提出了一种新的边缘检测方法。该方法首先根据对数把图像分解为高频与低频信息,并把对数图像减去其经最大值滤波后的图像提取高频信息,然后根据认知心理学上的Stevens定理,把高频信息转换为心理量。经非最小值抑制细化边缘后,应用Pillar K-means算法提取图像边缘。该方法不需要设定阈值,且对光照不均的图像边缘提取有较好的效果。实验结果证明了该方法的有效性,也表明把图像亮度转换为心理量可以较好地统一不同亮度下的边缘取值。     

基于统计的行业中文文本关键词提取方法

本文针对垂直搜索引擎对中文文本关键词提取方法的需要,提出一种基于统计的行业中文文本关键词提取方法。该方法是将词语的位置信息、词跨度信息等指标融入到传统的基于统计特征的关键词提取方法之中,并采用一些方法对指标的权重进行校准,以达到垂直搜索引擎需要的提取的准确率和效率。实验表明,该方法能够有效提高对行业文本的关键词提取的准确率,具有良好的时间效率和稳定性。     

基于统计和规则的未登录词识别方法研究

介绍了一种基于统计和规则的未登录词识别方法.该方法分为2个步骤:(1)对文本进行分词,对分词结果中的碎片进行全切分生成临时词典,并利用规则和频度信息给临时词典中的每个字串赋权值,利用贪心算法获得每个碎片的最长路径,从而提取未登录词;(2)在上一步骤的基础上,建立二元模型,并结合互信息来提取由若干个词组合而成的未登录词(组).实验证明该方法开放测试的准确率达到81.25%,召回率达到82.38%.     

基于统计和规则的末登录词识别方法研究

介绍了一种基于统计和规则的未登录词识别方法。该方法分为2个步骤：（1）对文本进行分词，对分词结果中的碎片进行全切分生成临时词典，并利用规则和频度信息给临时词典中的每个字串赋权值，利用贪心算法获得每个碎片的最长路径，从而提取未登录词；（2）在上一步骤的基础上，建立二元模型，并结合互信息来提取由若干个词组合而成的未登录词（组）。实验证明该方法开放测试的准确率达到81．25％，召回率达到82．38％。     

基于位置标签与词性结合的组合词抽取方法

现有分词系统不能及时收录新词语,因而不能有效识别领域组合词。针对此问题,提出一种位置标签与词性相结合的组合词抽取方法。首先对语料进行文本预处理、添加位置标签、加权词频过滤等建立词条的位置标签集;然后依据位置标签集计算词条在句子中的相邻度判定组合词;最后制定反规则对抽取结果进行过滤,并对垃圾串进行两端逐步消减再判定进一步识别组合词。通过在不同语料库上进行实验,表明本方法具有更高的准确率。     

多语种网络文本快速新词抽取

从网络文本中提取新词是网络信息处理中的一个重要问题,在信息检索、文本挖掘、词典编纂、中文分词等领域中都有重要应用。本文提出了一种与语言无关的快速新词提取算法,首先针对后缀树的数据结构将多语言文本进行统一编码,然后使用改进的统计方法在双后缀树上以线性时间统计重复串与邻接类别,并计算字符串的整体度,同时通过剪枝大幅度减少计算量,在中、英文语料上较好地实现了新词的抽取及排序。     

基于数据增强的地质文本主题模型

直接利用主题模型对地质文本进行聚类时会出现主题准确性低、主题关键词连续性差等问题, 本文采取了相关改进方法. 首先在分词阶段采用基于词频统计的重复词串提取算法, 保留地质专业名词以准确提取文本主题, 同时减少冗余词串数量节约内存花销, 提升保留词的提取效率. 另外, 使用基于TF-IDF和词向量的文本数据增强算法, 对原始分词语料进行处理以强化文本主题特征. 之后该算法与主题模型相结合在处理后的语料上提取语料主题. 由于模型的先验信息得到增强, 故性能得以提高. 实验结果表明本文算法与LDA模型相结合的方法表现较好, 在相关指标及输出结果上均优于其他方法.     

提高汉语自动分词精度的多步处理策略

汉语自动分词在面向大规模真实文本进行分词时仍然存在很多困难。其中两个关键问题是未登录词的识别和切分歧义的消除。本文描述了一种旨在降低分词难度和提高分词精度的多步处理策略,整个处理步骤包括7个部分,即消除伪歧义、句子的全切分、部分确定性切分、数词串处理、重叠词处理、基于统计的未登录词识别以及使用词性信息消除切分歧义的一体化处理。开放测试结果表明分词精确率可达98%以上。     

基于渐进式丰富词典的分词方法研究

由于现代社会飞速发展,一些新的名词不断出现,在已有的字符串匹配的分词方法中,大部分的词典是固定的,如果出现新的词,那么就不能被正确识别出来。由此该文提出了渐进式丰富词典的分词方法,把那些不能正确分出来的字符串,利用统计词频的方法记录下来,如果词频达到一定阈值,就可以把它认为是新词,可以把它加入到词典中,使得词典动态的增加。实验证明,该方法在保证分词速度不受影响的基础上,可以提高分词的精度。     

计算大规模语料中四字词串互信息的算法设计

中文信息处理中 ,判断哪些词串该入选《分词词表》一直是一个难题。互信息作为一种衡量手段 ,在一定程度上体现了词串的各组成部分之间结合的紧密程度 ,以北京大学 1998年 1月《人民日报》标注语料为试验料 ,通过互信息的计算分析四字词串成词的可能性 ,为判断能否把其收入词表给出依据     

一个基于非法文本用词特征分析的文本分类器

针对互联网中的不健康内容,通过对这类文本中用词特征的形式及出现频率的统计与分析,提出一种基于符号密度计算的特殊的自动识别算法。首先通过对训练文本的统计,得到初始特殊词表作为识别的基础。在进行文本分类时,利用包含两次筛选的特殊词自动识别算法动态更新特殊词表及其权值,从而将特殊词信息与二分文本分类器相结合,提高对不健康文本的识别精度。结果表明,加入特殊词自动识别及判断,有效地提高了非法文本的识别精度。     

彝文网页文本分词平台

在机器翻译、自动分类、搜索引擎等技术中,彝文分词具有很重要的作用,同时也是彝文信息处理至关重要的环节.本文以当前的彝文分词技术为基础,通过构建彝文词库,并用彝文网页获取平台抓取彝文网页文本,结合彝文特有的优势,从分词词库、分词算法、结构流程、系统界面和模块、实验结果等方面进行了详细的分析,最终实现彝文网页文本分词平台.最后的结果表明,本平台分词准确率较高,实用性和通用性也较好.     

串频统计和词形匹配相结合的汉语自动分词系统

本文介绍了一种汉语自动分词软件系统,该系统对原文进行三遍扫描:第一遍,利用切分标记将文本切分成汉字短串的序列;第二遍,根据各短串的每个子串在上下文中的频度计算其权值,权值大的子串视为候选词;第三遍,利用候选词集和一部常用词词典对汉字短串进行切分。实验表明,该分词系统的分词精度在1.5%左右,能够识别大部分生词,特别适用于文献检索等领域。     

一种新的彩色图象文字提取算法

文字信息在描述图象内容时起着重要的作用,因此文字提取及识别是基于内容视频检索的关键技术。提出了一个从彩色图象背景中提取文字的快速而有效的算法。由于文本字符串的对比度较高,首先用一个改进的sobel算子将彩色图象变换为二值的边缘图象,再对该边缘图象进行涂抹处理,然后基于候选文本区的特征从不同复杂度的彩色图象中提取文本信息,最后将提取出的文本输入到文字识别(OCR)引擎,识别结果证明了此方法的有效性。