改进的χ~2统计文本特征选择方法

特征选择是当今研究领域的一个热点,尤其是文本分类领域中的热点。针对χ2统计方法的两个缺陷:降低了低频词的权重和提高了很少在指定类中出现但普遍存在于其他类的特征在该类中的权重,对χ2统计方法进行改进,并通过做模拟和对比实验,对比改进前后的方法对文本分类的影响。在模拟和对比实验中,改进后方法的分类效果要好于传统的方法。     

基于χ2统计量的kNN文本分类算法

随着Internet上文档信息的迅猛发展,文本分类成为处理和组织大量文档数据的关键技术.由于χ2统计量能很好地体现词和类别之间的相关性,因此成为特征选择中常用的评估函数.本文分析了χ2统计量在特征选择和分类决策阶段的性质,提出了一种新的基于χ2统计量的相似度定义,并结合基于两次类别判定的快速搜索算法,改进了传统的kNN算法.实验结果显示基于χ2统计量的改进kNN文本分类算法能大大减少kNN算法的分类时间,并提高了kNN算法的准确率和召回率.     

结合同义向量聚合和特征多类别的KNN分类算法

特征选择是文本分类的关键阶段,其选择过程将影响文本分类速度与精度。χ²统计量能很好地体现词和类别之间的关系,是文本分类领域特征提取阶段的重要方法之一。分析了χ²统计量在文本分类中的应用,发现CHI向量所表达的与各类别关系的特征词无法全面表达出此类的概念含义,依赖于训练集中出现的特征情况,且该向量仅用于特征选择阶段;针对χ²统计量特征词的表达局限及其向量没有得到充分利用的问题,提出结合同义向量聚合和特征多类别的改进KNN分类算法,该方法能够综合考虑特征所表达的含义,且通过特征集多类别矩阵使CHI向量也能在分类阶段起到提高整个算法效率的作用。实验结果与分析表明,该改进算法明显提高了文本分类效率,并且提高了分类的精度。     

基于相关性和冗余度的联合特征选择方法

比较研究了与类别信息无关的文档频率和与类别信息有关的信息增益、互信息和χ2统计特征选择方法,在此基础上分析了以往直接组合这两类特征选择方法的弊端,并提出基于相关性和冗余度的联合特征选择算法。该算法将文档频率方法分别与信息增益、互信息和χ2统计方法联合进行特征选择,旨在删除冗余特征,并保留有利于分类的特征,从而提高文本情感分类效果。实验结果表明,该联合特征选择方法具有较好的性能,并且能够有效降低特征维数。     

一种基于最大边缘相关的特征选择方法

文本分类的特点是高维的特征空间和高度的特征冗余.针对这两个特点,采用χ2统计量处理高维的特征空间,利用信息新颖度的思想处理高度的特征冗余,根据最大边缘相关的定义,将二者有机结合,提出一种基于最大边缘相关的特征选择方法.该方法可以在特征选择过程中减少大量的冗余特征.最后,在Reuters-21578Top10和OHSCAL两个文本数据集上进行实验.实验结果表明,基于最大边缘相关的特征选择方法比χ2统计量和信息增益两种特征选择方法更高效,并且能够提高nave Bayes,Rocchio和kNN 3种不同分类器的性能.     

文本分类的特征提取方法比较与改进

文本的特征提取是文本分类过程中的一个重要环节，它的好坏将直接影响文本分类的准确率。该文介绍了词条的χ2统计方法（CHI）、词条与类别的互信息（MI）、信息增益（IG）、词条的期望交叉熵（CE）等文本特征提取方法，并对其取词策略进行了改进。为了对这些特征提取方法进行系统地比较，选择了三种代表性的分类器对《读卖新闻》文本数据库进行了分类实验。实验结果表明χ2统计方法具有最好的准确率，各种改进的特征提取方法都能提高文本分类的准确率。     

统计模式识别中的维数削减与低损降维

较为全面地回顾了统计模式识别中常用的一些特征选择、特征提取等主流特征降维方法,介绍了它们各自的特点及其适用范围,在此基础上,提出了一种新的基于最优分类器——贝叶斯分类器的可用于自动文本分类及其它大样本模式分类的特征选择方法——低损降维.在标准数据集Reuters-21578上进行的仿真实验结果表明,与互信息、χ^2统计量以及文档频率这三种主流文本特征选择方法相比,低损降维的降维效果与互信息、χ^2统计量相当,而优于文档频率.     

一种χ2统计-遗传算法的特征提取技术研究

特征提取技术是决定分类结果优良的主要因素,传统特征提取方法存在许多不足,诸如,当类别和特征分布高度不平衡时,不能有效地处理低频词;对于单个特征的处理不当,导致局部最优解的产生。针对特征提取技术中的问题,提出基于χ2统计-遗传算法的特征提取算法,此方法将词条的χ2统计值引入到特征向量中,将此类向量作为遗传算法的初始种群进行启发式搜索,与此同时,针对特征提取的性质,提出新的适应度函数和交叉规则。实验表明,基于χ2统计-遗传算法的特征提取算法能选择出准确表征文本类别的特征项,将其运用到文本分类系统中能有效地提高文本分类的准确率。     

基于KNN的不良文本过滤方法

不良文本过滤是当前的一个研究热点。通过对χ2统计量的具体分析,证明χ2统计量在2类文本特征项提取过程中特有的优势。提出正面文本阈值δ,并从理论上推断出该值的大小。在此基础上改进KNN算法,消除了KNN算法中N的不确定性,彻底实现了无参性,大幅减少了分类所用的时间。实验证明,该算法符合Web实时在线分类的要求。     

基于改进卡方统计的微博特征提取方法

通过对微博文本特征信息的分析与研究,提出一种基于改进卡方统计的微博特征提取方法。扩充微博信息分类特征,在传统的卡方统计量的基础上,引入了频度等因素,改进特征选择方法;在传统的特征项权值计算的基础上,提出了新的改进卡方统计量的方法,改进权重计算效果。对上述方法利用经典KNN和SVM算法进行了测试,实验结果表明该方法提高了微博信息分类的准确率。     

基于聚类分析的图模型文档分类

针对传统向量空间模型中的特征项孤立处理问题,首先通过χ2统计和特征聚类相结合的模式实现特征降维,然后使用图模型来建立词和词之间相互关联信息,最后运用KNN方法进行文档分类测试。该算法提高了稀有词对分类的贡献,强化了关联词的分类效果,并降低了文档向量的维数。实验证明,该算法提高了分类的准确率和召回率。     

基于数据挖掘技术的蛋白质结构分类的研究

论文选择蛋白质二级结构数据为研究对象,应用数据挖掘技术和机器学习中的动态规划理论进行蛋白质结构分类。介绍了一种新的蛋白质结构分类方法——PSSC,该方法的核心算法是STRIDE算法和ISSA算法,关键性步骤是创建分类模型,该分类模型包括构建CATH分类树、计算蛋白质结构相似度、利用统计方法制定分类标准三步。在对蛋白质结构进行四个层次的分类中,应用已有的RMSD、Z-Score结构比对算法和论文新提出的ISSA结构比对算法获得分类参数。最后,介绍我们所开发的PSSC分类软件,并指出需要完善之处和解决方案。     

基于K-means聚类和LVQ神经网络的OLED缺陷像素识别

提出改进的K-means聚类分割和LVQ神经网络分类的方法，用于有机发光二极管显示面板喷墨打印制程中缺陷像素的识别。首先采用改进的K-means聚类算法对预处理后的打印像素进行分割，然后采用连通域水平矩形确定每一个打印像素的坐标及几何特征，再通过灰度共生矩阵提取其纹理特征，最后通过LVQ神经网络对所述特征进行分类，完成缺陷像素的标记及分类统计。结果表明，本文算法的识别率明显优于其他常用分类识别算法，平均缺陷检测率为100%，分类准确率达到98.9%，单像素检测时间为8.3 ms。     

针对低频词进行改进的中文短文本分类方法

中文短文本分类中存在大量低频词,利用好低频词中的信息能有效提高文本分类效果,针对基于词向量的文本分类研究中低频词不能被有效利用的问题,提出一种针对低频词进行数据增强的方法。首先,利用受限文本生成模型产生的数据来微调低频词的词向量,再利用一种词向量的构造算法将高频词的更新信息迁移到低频词中,使低频词获取更准确且符合训练集分布的词向量表示;其次,引入相似词和实体概念等先验知识来补充上下文信息;最后,利用改进的卡方统计去除明显的噪声词,以及设计词注意力层对每个词进行加权,减少无关噪声对分类的影响。在多个基础分类模型上进行实验,结果表明各基础模型经改进后都有明显提升,体现了提出方法的有效性,同时也说明了短文本分类任务中低频词能改善分类的效果。     

基于统计方法的面向旅游问句分类实验研究

根据旅游领域知识的特点,设计了面向旅游问句的分类体系。利用信息增益、互信息、交叉熵和X^2统计四种特征选择方法及支持向量机分类器,对网上常见的旅游真实问句分类进行了实验研究,实验结果表明：在现有问句分类体系下,信息增益的特征选择方法在特征空间维数为550维时,分类旅游问句的结果是最佳的。     

基于代价敏感决策树的网络流量分类研究

传统的基于端口的流量分类方法和基于DPI技术的流量分类方法由于P2P技术和加密技术的流行而开始失效。基于网络流特征及机器学习的流量分类方法因为克服了上述弊端而成为了流量分类领域的研究热点。实际网络环境中,“大象流”和“老鼠流”在数量和传输字节量等方面存在着严重的不平衡,降低了基于机器学习流量分类方法的实际分类效果。针对...     

一种改进的CHI文本特征选择方法

特征选择是文本分类过程中非常重要的环节。CHI统计是一种经典的特征选择方法,针对CHI统计方法存在的不足,一方面,为了兼顾特征项的文档频和词频,本文在CHI中引入词频因子和类间方差;另一方面,为了排除在指定类中很少出现但在其他类中普遍存在的特征项,降低人为选取比例因子带来的误差,本文在CHI中引入自适应比例因子。实验结果表明,与CHI统计方法相比,改进后的CHI特征选择方法提高了非平衡语料集上的分类准确度。      

CIVCO地形校正模型的改进及其应用

在地形复杂的山区,地形效应造成了地物的光谱特征扭曲,严重地影响了地物的识别与分类。地形校正不仅能提高遥感识别与分类的精度,还是各种定量化遥感应用的前提。CIVCO模型是一种基于统计的经验地形校正模型,原模型中阴坡和阳坡需要手工选取,且校正效果随坡度而异。通过利用太阳方位角和坡向简化了阴坡和阳坡的选取,并按照坡度分级,分别求出校正系数。在模型改进的基础上,选择黑河上游祁连山区的TM影像和相应的DEM数据进行试验,结果表明,与C模型及原模型相比,改进的模型取得了更好的校正效果。