一种面向中文敏感网页识别的文本分类方法

提出了一种面向中文敏感网页识别的文本分类方法,主要包括中文分词、停用词表的建立、特征选择、分类器等4个部分.为丰富中文分词词库,提出了一种以词频统计为主、以人工判决为辅并标注词性的新词识别算法;提出了一种停用词表的建立算法,据此建立了含300个停用词的停用词表;采用开方拟合检验统计量方法作为特征选择方法,并确定了400...     

网络舆情热点信息自动发现方法

根据公共安全网络舆情研究的需求,将中文分词技术应用于突发事件应急管理中,提出基于ICTCLAS分词技术的网络舆情热点信息的自动发现方法。该方法读入新闻文本并进行分词和词频统计,从词频表中去除停用词,合并多单位关键词得到突发事件热点信息关键词列表,对网络信息及时进行检索,为突发事件应急决策提供技术支持。通过1个突发事件的实例验证了该方法的实用性和可靠性。     

基于文本情报的数据挖掘

文章介绍了适合于军事领域中进行情报数据的挖掘方法,建立了军事情报中非结构化文本情报数据处理方法,结合军孥睛报的特点,提出了军事情报中数据挖掘的框架模型,探讨了军事情报挖掘中文文本的方法。实现了对情报文本数据的分词、关键字提取、词频分析、关联分析等。     

面向中文全文索引的中文分词策略

中文分词是中文信息化处理的基础环节。在中文全文索引中,中文分词更起着举足轻重的作用。该文首先比较了常见的中文分词算法,最后选用了综合性能较优的分词算法—基于词频统计的匹配分词,引入全文索引的开源项目Lucene中。通过与传统的机械分词对比,发现使用基于词频统计的匹配分词的全文索引,不但大大节省索引空间,而且显著地提高了检索的质量。     

基于词典和词频的中文分词方法

汉语分词是中文信息处理的前提和基础.由于中文句子中,词与词之间没有明显的分隔标志,且存在多音多义词,因此不可避免的存在切分歧义.汉语分词已成为中文信息处理的"瓶颈".本文通过使用带有词频的词典,采用逐词分解实现了中文自动分词,并使用词频计算、歧义消除等方法提高了分词的准确率.     

病理镜检文本数据的结构化处理方法

目前医疗文本数据的结构化处理大多依赖通用分词工具或医学知识库,而通用分词工具对专业术语的识别效果并不理想,且国内的中文医学术语标准化进程不足。针对此问题,提出一种基于统计信息对镜检文本数据进行结构化处理的方法。该方法以聚类文本为基础,基于断点词与重合串分词,利用分词词串的统计信息获取关键词以及词语类别信息,并进行词语扩充,从而得到最终词库作为字典。利用基于字典的双向最大匹配分词算法,对文本数据进行分词,并通过添加否定检出的规则,获取结构化数据。实验结果表明,该方法获取的医学词库的准确率达到了80%,实现了不依赖分词工具获得结构化数据的功能。     

面向电子病历中文医学信息的可视组织方法

针对当前大量电子病历信息无法充分利用的问题,研究了面向电子病历中文医学信息的主题建模及可视组织方法.首先基于电子病历数据和医疗问答数据,进行预处理并转换为纯文本语料,然后采用基于Mallet的LDA主题模型训练算法进行主题建模,并结合主题模型分析的需求进行可视组织与呈现,最后构建了面向中文医学信息的可视分析系统.实例验证表明该系统可以有效的辅助用户进行主题模型的构建与分析,并有利于进一步的诊断.     

基于朴素贝叶斯的中文海事文本多分类器研究

设计一个有效地基于朴素贝叶斯的中文海事文本多分类器。在文本分类的预处理步骤中,在中文分词上选取领域词典和停用词典有效地降低特征维数、选取IG特征提取方法、改进的TF-IDF公式中特征词权重的计算方法,以建立词频矩阵等,最后用选取的海事样本数据进行训练建立分类库。实验数据表明,本文的基于朴素贝叶斯的中文海事文本多分类器具有很好的高效性和准确性。     

基于词图的最大概率分词方法

中文分词的方法主要可分为基于规则和基于统计两大类:前者一般借助于词图的方法,将分词问题转化为最优路径问题,通常切分结果不惟一;后者利用统计模型对语料库进行统计,计算量较大,但准确率较高.对词图和N元语法进行了介绍,并结合两者实现了一种中文分词方法.该方法将词图中的最大概率路径作为中文句子分词的结果,其中涉及对语料库进行二元词频统计,设计了一个多级哈希结构的分词词典,实验数据表明该方法能有效地进行自动分词.     

基于多词汇特征增强的中文事件检测方法

事件检测主要研究从非结构化文本中自动识别事件触发词,实现所属事件类型的正确分类。与英文相比,中文需要经过分词才能利用词汇信息,还存在“分词-触发词”不匹配问题。针对中文语言特性与事件检测任务的特点,本文提出一种基于多词汇特征增强的中文事件检测模型,通过外部词典为字级别模型引入包含多词汇信息的词汇集,以利用多种分词结果的词汇信息。同时采用静态文本词频统计与自动分词工具协同决策词汇集中词汇的权重,获取更加精确的词汇语义。在ACE2005中文数据集上与现有模型进行实验对比分析,结果表明本文方法取得了最好的性能,验证了该方法在中文事件检测上的有效性。     

基于机器学习的剧本角色情感识别研究

针对DataFountain平台举办竞赛所提供的剧本角色情感数据集,采用中文分词、去停用词和绘制词云图等工具对数据进行预处理,利用词频-逆向文档频率(TF-IDF)算法提取文本特征,分别建立了基于支持向量机和朴素贝叶斯算法的机器学习分类识别模型。将建立的新模型应用于剧本角色情感的识别和分析研究,结果表明,朴素贝叶斯分类模型的识别效果要优于支持向量机分类模型;并且,当拉普拉斯平滑系数α=0.2时,朴素贝叶斯算法的分类准确率接近于80%。     

针对战场态势时空数据的中文查询技术研究

战场态势时空数据引擎是基于时空数据库技术实现的,面向战场时空数据查询的战场态势辅助分析系统.针对时空数据库查询语言的复杂性,设计了战场态势时空数据引擎的中文查询系统,研究了中文查询任务到时空查询语句的映射过程,设计了时空查询词库,研究了分词算法,查询文法以及STQL生成方法.通过原型系统验证了中文查询技术的可行性,提高了时空数据库查询的可用性和易用性.     

基于注意力和字嵌入的中文医疗问答匹配方法

针对当前的分词工具在中文医疗领域无法有效切分出所有医学术语,且特征工程需消耗大量人力成本的问题,提出了一种基于注意力机制和字嵌入的多尺度卷积神经网络建模方法。该方法使用字嵌入结合多尺度卷积神经网络用以提取问题句子和答案句子不同尺度的上下文信息,并引入注意力机制来强调问题和答案句子之间的相互影响,该方法能有效学习问题句子和正确答案句子之间的语义关系。由于中文医疗领域问答匹配任务没有标准的评测数据集,因此使用公开可用的中文医疗问答数据集（cMedQA）进行评测,实验结果表明该方法优于词匹配、字匹配和双向长短时记忆神经网络（BiLSTM）建模方法,并且Top-1准确率为65.43%。     

自动答疑系统中文自动分词模块设计与实现

中文自动分词模块是自动答疑系统的一个重要功能模块.在分析自动答疑系统中问句特点的基础上,提出一种面向课程答疑的中文自动分词算法和分词词典设计方案,并探讨运用Visual-Prolog开发基于该算法的中文自动分词模块的关键技术,包括词的表示、构建分词词典、检索分词词典和分词谓词的实现.     

结合CRFs的词典分词法

逐字分词法是以汉语词典为基础对中文语句通过匹配进行切分的方法。该方法在分词中无法解决交叉歧义与组合歧义带来的问题。本文以词典分词为基础,从序列标注的角度,在逐字匹配过程中使用CRFs标注模型提供辅助决策,由此来处理歧义问题。经实验和分析,该方法较传统的CRFs模型分词法和词典分词,更适合对分词速率及正确率都有一定要求的系统。     

SegT一个实用的藏文分词系统

在分析现有藏文分词方法的基础上,该文重点研究了藏文分词中的格助词分块、临界词识别、词频统计、交集型歧义检测和消歧等问题并提出了相应的方法。应用这些方法,设计实现了一个藏文分词系统SegT。该系统采用格助词分块并识别临界词,然后采用最大匹配方法分词,并进行紧缩词识别。系统采用双向切分检测交集型歧义字段并使用预先统计的词频信息进行消歧。实验结果表明,该文设计的格助词分块和临界词识别方法可以将分词速度提高15%左右,但格助词分块对分词效果没有明显提高或降低。系统最终分词正确率为96.98%,基本达到了实用的水平。     

基于SVM的词频统计中文分词研究

本文详细介绍SVM（支持向量机）在词频统计中文分词中的应用。可将输入的连续字串进行分词处理，输出分割后的汉语词串，一般为二字词串，并得到一个词典。词典中不重复地存储了每次处理中得到的词语，以及这些词语出现的频率。选用了互信息原理进行统计。并采用SVM算法，分词的准确性与传统相比有了很大的提高，并具有一定的稳定性。     

运用有向图进行中文分词研究

首先说明了分词在中文信息处理中的作用,然后介绍了分词系统中的关键技术。提出了一种基于有向图的中文分词算法,该算法首先构造中文分词有向图,然后计算中文分词有向图中所有可能的切分路径,最后利用了最少分词原则、汉字之间的互信息和词语的频率等信息给中文分词有向图中的每条切分路径打分,分数最高的路径就对应正确的切分结果。开放测试结果表明分词精确率可达90%以上。     

支持中文医疗问答的基于注意力机制的栈卷积神经网络模型

当前的中文问答匹配技术大多都需要先进行分词,中文医疗文本的分词问题需要维护医学词典来缓解分词错误对后续任务影响,而维护词典需要大量人力和知识,致使分词问题一直具有极大的挑战性。同时,现有的中文医疗问答匹配方法都是对问题和答案分开建模,并未考虑问题和答案中各自包含的关键词汇间的关联关系。因此,提出了一种基于注意力机制的栈卷积神经网络（Att-StackCNN）模型来解决中文医疗问答匹配问题。首先,使用字嵌入对问题和答案进行编码以得到二者各自的字嵌入矩阵;然后,通过利用问题和答案的字嵌入矩阵构造注意力矩阵来得到二者各自的特征注意力映射矩阵;接着,利用栈卷积神经网络（Stack-CNN）模型同时对上述矩阵进行卷积操作,从而得到问题和答案各自的语义表示;最后,进行相似度计算,并利用相似度计算最大边际损失以更新网络参数。所提模型在cMedQA数据集上的Top-1正确率比Stack-CNN模型高接近1个百分点,比Multi-CNNs模型高接近0.5个百分点。实验结果表明,Att-StackCNN模型可以提升中文医疗问答匹配效果。     

一种基于语境的中文分词方法研究

汉语不同于英语，词之间没有间隔标记．而汉语分词是文本分析的第一步，且存在歧义切分，因此分词问题成为汉语分析的首要难题，通过中文切分过程的本质分析，推导并提出基于马尔可夫链的语境中文切分理论．进而提出一种语境中文分词方法．该方法建立在词法和句法基础上，从语境角度分析歧义字段，提高分词准确率．