基于KNN算法的医药信息文本分类系统的研究

针对目前医药信息文本分类领域的现状,设计并实现了一种基于KNN算法的医药信息文本分类系统.该系统充分利用了向量空间模型在表示方法上的优势和快速KNN算法的特点,并采用逆向最大匹配分词方法进行分词,可有效提高医药信息分类的准确性和信息处理效率.此外,构建了一个医药信息数据集,该数据集包含582篇医药类文本,其中训练文本433篇,测试文本149篇,并在该数据集上对医药信息文本分类系统进行了测试,得到了74.83%的F1值.实验证明,该系统可以较好地实现医药信息文本分类.     

三种中文文本自动分类算法的比较和研究

网络信息规模随着互联网与信息技术的发展而不断增大,在这些信息中,各种类型的文本信息占据了相当大的比重。因此,高效、快速地对文本信息进行分类是网络信息处理中一个关键问题。本文分析比较了SVM算法、朴素Bayes算法和KNN算法3种算法,并通过实验证明了这3种算法在中文文本分类中的效果。实验结果表明:SVM算法比KNN算法和朴素Bayes算法更优,SVM算法是一种较好的中文文本分类算法。     

RealCC在文本信息检索的个性化推荐中的应用研究

为实现文本信息检索中的个性化推荐，本文以用户焦点作为用户个性特征的描述，设计了适用于快速分类的混合前向角分类神经元网络RealCC。以用户焦点作为样本数据训练该网络后，可以通过该网络对用户查询结果进行快速分类以获得每务查询结果的推荐优先级。给出了使用用户焦点训练该网络的算法。实验表明，RealCC可以在保持分类精度的同时快速的完成对数据的分类，同时，基于用户焦点的个性化推荐，可以有效地减轻用户因从包含大量无关信息的查询结果中筛选感兴趣信息而产生的负担，较好地满足了用户对文本信息检索的时间要求。     

基于加权补集的朴素贝叶斯文本分类算法研究

朴素贝叶斯分类方法由于其简单快速的特点,被广泛应用于文本分类领域。但是当训练集中各个类别的样本数据分布不均匀时,朴素贝叶斯方法分类精度不太理想。针对此问题,提出一种基于加权补集的朴素贝叶斯文本分类算法,该算法利用某个类别的补集的特征来表示当前类别的特征,且对特征权重进行归一化处理。通过实验对比了该方法与传统的朴素贝叶斯方法对文本分类效果的影响,结果表明,基于加权补集的朴素贝叶斯算法具有较好的文本分类效果。     

基于非迭代训练层次循环神经网络的快速文本分类算法

基于神经网络的文本分类算法需要较长的训练时间,难以满足在线文本分类的需求.针对这种情况,提出基于非迭代训练层次循环神经网络的快速文本分类算法.为循环神经网络设计了对抗训练模型,缓解层次注意力网络的过拟合问题.给出一种循环神经网络的非迭代训练算法,对激活函数进行线性逼近,快速地学习网络连接的权重.实验结果表明,在英文和中文文本的情况下,采用该算法均获得了理想的分类准确率,并且大幅度地减少了训练时间.     

基于模糊粗糙集的Web文本分类

网络信息的多样性和多变性给信息的管理和过滤带来极大困难,为加快网络信息的分类速度和分类精度,提出了一种基于模糊粗糙集的Wdb文本分类方法.采用机器学习的方法:在训练阶段,首先对Web文本信息预处理,用向量空间模型表示文本,生成初始特征属性空间,并进行权值计算;然后用模糊粗糙集算法来进行信息过滤,用基于模糊租糙集的属性约简算法生成分类规则:最后利用知识库进行文档分类.在测试阶段,对未经预处理的文本直接进行关键属性匹配,经模糊粗糙因子加权后,用空间距离法分类.通过试验比较,该方法具有较好的分类效果.     

Bayes文本分类器的改进方法研究

在文本分类领域，Bayes分类器是一种常用且效果较好的、基于概率的分类器，具有较严密的理论基础。该文对朴素Bayes文本分类器进行了分析，提出了利用权值调整机制改善其分类性能的方法，以及在缺乏大量训练文本的情况下，利用EM算法进行非监督Bayes分类的方法，并讨论了如何运用启发式方法确定Bayes网络结构，在更贴近真实环境的情况下进行文本分类。     

使用概念描述的中文短文本分类算法

针对短文本特征较少而导致使用传统文本分类算法进行分类效果并不理想的问题,提出了一种使用了概念描述的短文本分类算法,该方法首先构建出全局的语义概念词表;然后,使用概念词表分别对预测短文本和训练短文本概念化描述,使得预测短文本在训练集中找出拥有相似概念描述的训练短文本组合成预测长文本,同时将训练集内部的短文本也进行自组合形成训练长文本;最后,再使用传统的长文本分类算法进行分类。实验证明,该方法能够有效挖掘短文本内部隐含的语义信息,充分对短文本进行语义扩展,提高了短文本分类的准确度。     

一种基于关联分析的KNN文本分类方法

KNN算法在数据挖掘的分支-文本分类中有重要的应用。在分析了传统KNN方法不足的基础上,提出了一种基于关联分析的KNN改进算法。该方法首先针对不同类别的训练文本提取每个类别的频繁特征集及其关联的文本,然后基于对各个类别文本的关联分析结果,为未知类别文本确定适当的近邻数k,并在已知类别的训练文本中快速选取k个近邻,进而根据近邻的类别确定未知文本的类别。相比于基于传统KNN的文本分类方法,改进方法能够较好地确定k值,并能降低时间复杂度。实验结果表明,文中提出的基于改进KNN的文本分类方法提高了文本分类的效率和准确率。     

基于语义依存分析的图网络文本分类模型

针对目前已有的文本分类方法未考虑文本内部词之间的语义依存信息而需要大量训练数据的问题,提出基于语义依存分析的图网络文本分类模型TextSGN。首先对文本进行语义依存分析,对语义依存关系图中的节点（单个词）和边（依存关系）进行词嵌入和one-hot编码;在此基础上,为了对语义依存关系进行快速挖掘,提出一个SGN网络块,通过从结构层面定义信息传递的方式来对图中的节点和边进行更新,从而快速地挖掘语义依存信息,使得网络更快地收敛。在多组公开数据集上训练分类模型并进行分类测试,结果表明,TextSGN模型在短文本分类上的准确率达到95.2%,较次优分类法效果提升了3.6%。     

探索用户自然输入标记及其在构建分词语料库中的作用

当分词算法优化到接近极限时,分词器的性能指标就较多地取决于训练语料的覆盖度和完备程度。因此,如何快速、省力、自动化地构建具有较完备的分词语料库是一个亟待解决的问题。该文对用户输入过程中留下的大量可用且珍贵的自然分词信息进行了探索和研究,为自动构建分词语料库提供了一种新的观点。前人的研究中,对用户在输入过程中留下的自然分词标记信息并没有关注,而该文通过实验验证了这些分词标记信息确实可以用于构建分词语料库,并且具有相当好的效果。其中经过甄别优秀用户在输入时留下的分词标记十分接近标准的分词结果。该文使用分类模型结合投票机制的方法找到三个此类优秀用户,获取了他们带有输入标记的文本,快速构建了分词训练语料库,极大地提升了分词器的精度;更重要的是,揭示并验证了自然输入分词标记信息的有效作用。     

中文文本分类中利用依存关系的实验研究

为了利用依存关系进行短文本分类,研究了利用依存关系进行短文本分类存在的四个关键问题。分别在长文本语料集和两个短文本语料集上,抽取具有依存关系的词对,并利用这些词对作为特征进行分类实验。实验结果表明：依存关系能够作为有效的特征进行文本分类,并能够改善文本分类的性能;单独把依存关系作为特征,不能提高短文本的分类性能;可以利用依存关系作为特征扩充的手段,增加短文本的特征,增强短文本的描述能力,进而进行有效的短文本分类。     

一种基于特征扩展的中文短文本分类方法

针对短文本所描述信号弱的特点,提出一种基于特征扩展的中文短文本分类方法。该方法首先利用FP Growth算法挖掘训练集特征项与测试集特征项之间的共现关系,然后用得到的关联规则对短文本测试文档中的概念词语进行特征扩展。同时,引入语义信息并且改进了知网中DEF词条的描述能力公式,在此基础上对中文短文本进行分类。实验证明,这种方法具有高的分类性能,其微平均和宏平均值都高于常规的文本分类方法。     

关于常用字覆盖率统计算法的研究

对常用字在教育资源电子文本中的覆盖率、使用率、字频统计算法进行了研究,并根据算法通过计算机语言开发常用字覆盖率统计分析系统。统计分析系统可以对文本中所使用的常用字进行统计分析,即可以统计常用字覆盖率、文本汉字数、常用字字频、常用字使用率等,并根据统计数据以饼形图的方式显示。为了了解常用字在文本中的覆盖率和使用情况,通过常用字覆盖率统计分析系统对一些电子文本进行了统计分析,并得出相应的结果。结果表明常用字在文本中的覆盖率和使用率相当高,即581个常用字在文本中的覆盖率平均在68.9%以上,1 000个常用字在文本中的覆盖率平均在81.4%以上,2 500个常用字在文本中的覆盖率平均在96%以上,并且常用字在不同统计对象文本中的使用频度也会有所不同。     

基于Bigram的特征词抽取及自动分类方法研究

用计算机信息处理技术实现文本自动分类是计算机自然语言理解学科共同关注的课题。该文提出了一种基于Bigram的无词典的中文文本特征词的抽取方法,并利用互信息概念对得到的特征词进行处理,提高了特征词抽取的准确性。此外,通过采用基于统计学习原理和结构风险最小原则的支持向量机算法对一些文本进行了分类,验证了由所提出的算法得到的特征词的有效性和可行性。     

汉语语料的自动分类

语料库语言学的发展要求语料库的规模越来越大。随着电子出版业的迅速发展, 获取大量机读文本建立大规模语料库已成为可能。但是收集来的粗语料是杂乱无章的, 在作加工整理前必须分类。若用手工分类则工作量很大。本文介绍了一种语料自动分类办法。它采用文中提出的语料相关系数的概念, 并利用不同类语料相关系数不同的特点进行分类, 取得了93%的大类分类正确率。     

基于情感时序距离和转折同化的文本情感分类

考虑到中文评价文本的整体情感倾向性与其表达的情感顺序有很大关系,且在具有情感倾向的中文文本中,越是靠近文本最后所表达的情感倾向,对于整个文本的情感分类影响越大。因此对于情感倾向表达不明显或者表达不单一的短文本,通过考虑文本中情感节点出现的顺序以及情感转折同化来对文本进行情感分类。在来自某购物网站爬取的中评评价文本数据集上的实验结果显示,提出的分类方法明显高于单纯基于词特征的支持向量机（SVM）分类器。     

基于分块匹配的文档图像压缩性能分析与仿真

文档图像作为图像的一种,在生活中的应用越来越广泛,然而其又不同于常规的文本文档或图像,它主要由具有特定含义的不同形状的字符串组成,其局部像素变化比较剧烈,高频分量相对丰富,采用常规的压缩方式很难获得较高的压缩率。常用的压缩方式没有考虑文档图像的特殊性,因而压缩性能有限。本文针对文档图像的特点,采用分块匹配的方法对文档图像进行压缩,即按照特定的规则对整幅图像进行分割,然后将分割的块图像进行分类并编码,从而在二维空间上消除了文档图像的相关性,获得了远高于常规无损压缩方式的压缩率。文中对分块匹配算法进行了描述,并对其性能进行了理论分析和仿真。     

一种高性能的两类中文文本分类方法

提出了一种高性能的两类中文文本分类方法．该方法采用两步分类策略：第1步以词性为动词、名词、形容词或副词的词语作为特征，以改进的互信息公式来选择特征，以朴素贝叶斯分类器进行分类．利用文本特征估算文本属于两种类型的测度X和Y，构造二维文本空间，将文本映射为二维空间中的一个点，将分类器看作是在二维空间中寻求一条分割直线．根据文本点到分割直线的距离将二维空间分为可靠和不可靠两部分，以此评估第1步分类结果，若第1步分类可靠，做出分类决策；否则进行第2步．第2步将文本看作由词性为动词或名词的词语构成的序列，以该序列中相邻两个词语构成的二元词语串作为特征，以改进互信息公式来选择特征，以朴素贝叶斯分类器进行分类．在由12600篇文本构成的数据集上运行的实验表明，两步文本分类方法达到了较高的分类性能，精确率、召回率和F1值分别为97．19％，93．94％和95．54％．     

微博用户的个性分类分析

社交网络给每个社会中的人提供了自由表达个人情感、观点、兴趣、建议等言论的平台。用户在这些平台上发表的言论、所做的行为以及用户在平台上建立的社交圈子也给数据挖掘带来了新的数据和机会。提出了一种利用用户在微博上的公开数据信息实现对该用户的MBTI个性维度进行分类分析的方法。在该方法中,基于对用户微博数据的分析,提出了能够表征用户心理和行为的文本和非文本特征,然后采用三种机器学习的分类方法—提升决策树、支持向量机和贝叶斯逻辑递归来对微博用户的个性进行分类分析。实验结果表明,通过对微博数据的挖掘可以在不同MBTI个性维度上达到75%~90%的准确率。