基于SVM—KNN的文本分类算法及其分析

通过实验对SVM、KNN文本分类算法进行了深入探讨。基于KNN和SVM算法,提出了一种SVM．KNN算法。该算法结合KNN和SVM两种分类器,并通过分类预测概率的反馈和修正来提高分类器性能。在CWT100G中文网页分类测试系统中,对SVM．KNN算法的实际效果进行了测试和算法性能验证。     

基于选择性集成学习的高速列车故障识别研究*

在SVM分类识别中,分类器模型一经训练得到,对所有测试样本进行无差别的识别。但在高速列车故障中,样本的分类识别是存在区域分类精度的。本文提出了一种基于选择性集成学习的SVM多分类器融合算法,该方法选取测试样本最邻近的k个训练样本,然后选择对其分类效果好的SVM分类器进行融合,以提高分类准确率。最后使用高速列车故障数据进行了实验,并与AdaBoost、KNN、Bayes、SVM分类方法进行了比较。实验结果表明,该算法提高了分类识别准确率。     

KSVDD及其在拒识判别中的应用

为提高支持向量域分类器(SVDC)的分类精度和鲁棒性,提出基于K近邻(KNN)和支持向量域描述(SVDD)的分类器KNN-SVDD (KSVDD)。该分类器对单类内部的样本采用SVDD的判别准则,对类交叉区域及描述边界外的样本采用KNN的判别准则。通过拒绝描述边界外的样本,KSVDD可应用于拒识判别。UCI数据集上的数值实验表明,KSVDD分类精度与支持向量机(SVM)相当且均比SVDC高,训练时间比SVM短,鲁棒性强,在拒识判别中有良好表现。     

一种新型的两级指纹分类方法

提出了一种利用隐马尔可夫模型(HMM)和支持向量机(SVM)的两级指纹分类新方法. 该方法采用指纹编码(FingerCode)作为指纹的特征表述,在对分类器进行训练之后,首先用5个 伪二维HMM对待分类指纹进行类别初选,确定最可能的两种指纹分类结果,再用相应的SVM 分类器做最终判决.最后使用NIST-4数据库中的2000幅指纹和CQU-VERIDICOM数据库的 1000幅指纹对该方法进行了实验,其分类的准确性为91%,连续性为93.7%,这证明了该方法的 有效性.     

一种混合分类方法的研究与改进

多分类器组合是提高识别效果的一条有效途径.根据神经网络适用于处理准确率高、非线性的样本,贝叶斯分类具有快速稳健的特征,以及支持向量机处理小样本、非线性及高维模式识别问题的优势,提出了神经网络+贝叶斯+SVM混合分类方法.该方法利用BP神经网络和Bayes分类器对测试样本进行判决,如果判决结果一致,则直接输出分类结果,如果结果不一致,引入支持向量机进行二次判决.实验结果表明,该方法所确定的分类器优于单一的分类器判决     

基于支持向量机和k-近邻分类器的多特征融合方法

针对传统分类方法只采用一种分类器而存在的片面性,分类精度不高,以及支持向量机分类超平面附近点易错分的问题,提出了基于支持向量机（SVM）和k 近邻(KNN)的多特征融合方法。在该算法中,设样本集特征可分为L组,先用SVM算法根据训练集中每组特征数据构造分类超平面,共构造L个;其次用SVM KNN方法对测试集进行测试,得到由L组后验概率构成的决策轮廓矩阵;最后将其进行多特征融合,输出最终的分类结果。用鸢尾属植物数据进行了数值实验,实验结果表明：采用基于SVM KNN的多特征融合方法比单独使用一种SVM或SVM KNN方法的平均预测精度分别提高了28.7%和1.9%。     

改进SVM-KNN的不平衡数据分类

针对支持向量机(SVM)在超平面附近进行不平衡数据(imbalanced datasets)分类的不准确性,提出了一种改进SVM-KNN算法,该算法在分类阶段计算测试样本与最优超平面的距离,如果距离差大于给定阈值可直接应用支持向量机分类;如果距离差小于给定阈值,则将所有支持向量都作为测试样本的近邻样本,进行KNN分类。通过对UCI数据集的大量实验表明,该算法在少数类样本的识别率和分类器的整体性能上有明显改善。     

基于多分类SVM-KNN的实体关系抽取方法

实体关系抽取是信息抽取领域的重要研究课题之一。传统的实体关系抽取研究注重于从实体对出现的上下文中提取词法和语义等特征,然后利用分类器(如SVM)进行实体关系抽取,但该类方法忽略了分类器对实体抽取性能的影响。针对SVM分类器对超平面附近样本分类正确率低的问题,本文设计了一种基于双投票机制的SVM模糊样本选择方法。在此基础上,对确定区域样本直接使用SVM分类器进行分类,并利用KNN算法对模糊区域样本进行二次分类。在SemEval-2010评测任务提供的实体关系抽取数据上进行实验,实验结果表明该方法能较大提高实体关系抽取的性能。     

基于KNN+层次SVM的文本自动分类技术

针对大规模文本的自动层次分类问题,K近邻(KNN)算法分类效率较高,但是对于处于类别边界的样本分类准确度不是很高。而支持向量机(SVM)分类算法准确度比较高,但以前的多类SVM算法很多基于多个独立二值分类器组成,训练过程比较缓慢并且不适合层次类别结构等。提出一种融合KNN与层次SVM的自动分类方法。首先对KNN算法进行改进以迅速得到K个最近邻的类别标签,以此对文档的候选类别进行有效筛选。然后使用一个统一学习的多类稀疏层次SVM分类器对其进行自上而下的类别划分,从而实现对文档的高效准确的分类过程。实验结果表明,该方法在单层和多层的分类数据集上的分类准确度比单独使用其中任何一种要好,同时分类时间上也比较接近其中最快的单个分类器。     

基于小波变换和倒谱分析的腭裂高鼻音等级自动识别

为实现对腭裂高鼻音等级的自动识别,通过对语音信号小波处理和特征提取方法的综合研究,提出基于小波分解系数倒谱特征的腭裂高鼻音等级自动识别算法。目前,研究人员对腭裂语音的研究多基于MFCC、Teager能量、香农能量等特征,识别正确率偏低,且计算量过大。文中对4种等级腭裂高鼻音的1789个元音\a\语音数据提取小波分解系数倒谱特征参数,使用KNN分类器对4种不同等级的高鼻音进行自动识别,将识别结果与MFCC、LPCC、基音周期、共振峰和短时能量共5种经典声学特征的识别结果作比较,同时使用SVM分类器对不同等级的腭裂高鼻音进行自动识别,并与KNN分类器进行对比。实验结果表明,基于小波分解系数倒谱特征的识别结果优于经典声学特征,且KNN分类器的识别结果优于SVM分类器。小波分解系数倒谱特征在KNN中的识别率最高达到91.67%,在SVM中达到87.60%,经典声学特征在KNN分类器中的识别率为21.69%~84.54%,在SVM中的识别率为30.61%~78.24%。     

基于HMM与SVM的语音活动检测

工程机械强噪音环境下的噪声源较多,导致电话语音通话无法进行,且强噪声造成无效数据占用带宽。为此,提出基于隐马尔科夫模型(HMM)和支持向量机(SVM)的语音活动检测算法。该算法将提取的美尔频率倒谱系数特征向量输入到HMM识别器中,并通过Viterbi算法得到N维最佳识别结果,将其转换为SVM特征向量输入到SVM分类器中进行分类判别,得到判决结果。实验结果表明,该算法在机械工作噪音的情况下,语音检测率较静态统计类算法平均提高9%,比小波支持向量机方法提高11%,在驾驶室噪音的情况下比小波SVM方法有较小幅度的提高,但其增长速度较快,且比传统的统计类算法提高9%。     

级联SVM和分类器融合的人脸性别识别方法

传统的支持向量机（Support Vector Machines,SVM）在面对大样本训练问题时,其样本数量会受到内存的限制。因此,提出一种基于级联SVM和分类器融合的人脸图像性别识别方法。级联SVM分类器可以通过设定阈值将识别难易程度不同的样本分成若干层次来进行训练;同时,在级联的每一层上,为了降低分类器在识别过程中受各种因素的影响,对不同特征维数下得到的最优分类器进行融合,通过融合减小误差,使中性的人脸样本有更明确的分类。在同一硬件条件下的实验结果表明,单层SVM最多只能训练7万样本,而四层级联SVM训练样本数可达12万以上,相应的识别率也从单层融合前的96.7%上升至四层融合后的99.1%。     

一种相似性学习算法及其在人脸识别中的应用

传统的支持向量机相似性学习算法在构造样本对时,会考虑所有的原始训练样本,致使样本对空间和原样本空间呈平方关系,而过多的训练样本对会降低训练速度。为此,提出一种改进的支持向量机相似性学习算法,并应用到人脸识别中。引入二元样本对方法构造样本对,采用K近邻算法减少不相似样本对的生成,从而加快支持向量机的训练速度,同时使用随机降维方法来降低人脸数据的维数。实验结果表明,与基于差空间样本对和差绝对值样本对的算法相比,该算法可获得更高的识别率。     

多类分类预选取的SVM在语音识别中的应用

支持向量机在训练过程中,将很多时间都浪费在对非支持向量的复杂计算上,特别是对于大规模数据量的语音识别系统来说,支持向量机在训练时间上不必要的开销将会更加显著。核模糊C均值聚类是一种常用的典型动态聚类算法,并且有核函数能够把模式空间的数据非线性映射到高维特征空间。在核模糊C均值聚类的基础上,结合了多类分类支持向量机中的一对一方法,按照既定的准则把训练样本集中有可能属于支持向量的样本数据进行预选取,并应用到语音识别中。实验取得了较好的结果,该方法有效地提高了支持向量机分类器的学习效率和泛化能力。     

基于RSSI概率统计分布的室内定位方法

针对接收信号强度指示（Received Signal Strength Indication,RSSI）时变现象影响WLAN室内定位精度问题进行了研究,提出了一种基于RSSI概率统计分布（Statistical Probability Distribution,SPD）的加权K最近邻（Weighted K-Nearest Neighbor,WKNN）方法--SPD-WKNN方法。该方法首先利用SPD方法得到指纹点RSSI向量区间;然后运用SVM算法选取测试点K个近邻指纹点,计算测试点RSSI向量到每个近邻指纹点的最小欧氏距离;最后结合WKNN算法获取定位结果。实验结果表明,SPD-WKNN方法与NN、KNN、WKNN、SVR和LSSVM方法相比定位误差分别降低了47.3%、41.6%、31.9%、27.1%和16.3%,呈现了良好的定位效果;利用SVM算法的稀疏性明显减小了运算时间。     

基于KNN算法的改进的一对多SVM多分类器

针对传统支持向量机（SVM）多分类一对多算法存在的运算量大、耗时长、数据偏斜以及对最优超平面附近点分类易出错问题,提出了一种改进方法。将数据空间分为密集区和稀疏区,各类中密集点归于密集区,其余归于稀疏区。将每类中密集点连同它附近的点用于训练得到相应的SVM分类器。在测试阶段,对密集区的待测样本用传统的一对多判别准则来做类别预测;对稀疏区的待测样本则采用K近邻（KNN）算法。数值实验结果表明,改进的算法在耗时和分类精度上都优于原算法,对解决一对多算法存在的问题有较好的成效。     

基于聚类权重分阶段的SVM解不平衡数据集分类

SVM在处理不平衡数据分类问题（class imbalance problem）时,其分类结果常倾向于多数类。为此,综合考虑类间不平衡和类内不平衡,提出一种基于聚类权重的分阶段支持向量机（WSVM）。预处理时,采用K均值算法得到多数类中各样本的权重。分类时,第一阶段根据权重选出多数类内各簇边界区域的与少数类数目相等的样本;第二阶段对选取的样本和少数类样本进行初始分类;第三阶段用多数类中未选取的样本对初始分类器进行优化调整,当满足停止条件时,得到最终分类器。通过对UCI数据集的大量实验表明,WSVM在少数类样本的识别率和分类器的整体性能上都优于传统分类算法。     

基于VQ-MAP和SVM融合的说话人识别系统

针对传统支持向量机（SVM）在说话人识别中运算量过大的问题,提出了VQ-MAP和SVM融合的说话人识别系统。它应用仅自适应均值向量的最大后验概率矢量量化过程（VQ-MAP）,来得到自适应的说话人模型,用此模型中的参数向量作为支持向量应用于SVM来进行说话人识别。用Matlab进行仿真实验,结果表明,基于VQ-MAP和SVM融合的说话人识别系统大大降低了运算量,SVM训练时间短,且具有较高的识别率。     

基于正样本和未标记样本的遥感图像分类方法

传统分类器的构建需要正样本和负样本两类数据。在遥感影像分类中,常出现这样一类情形：感兴趣的地物只有一种。由于标记样本耗时耗力,未标记样本往往容易获取并且包含有用信息,鉴于此,提出了一种基于正样本和未标记样本的遥感图像分类方法（PUL）。首先,根据正样本固有特征并结合支持向量数据描述（SVDD）从未标记集筛选出可信正负样本,再将其从未标记集中剔除;接着将其带入SVM训练,根据未标记集在分类器中的表现设立阈值,再从未标记集中筛选出相对可靠的正负样本;最后是加权SVM（Weighted SVM）过程,初始正样本及提取出的可靠正负样本权重为1,SVM训练筛选出的样本权重范围0~1。为验证PUL的有效性,在遥感影像进行分类实验,并与单类支持向量机（OC-SVM）、高斯数据描述（GDD）、支持向量数据描述（SVDD）、有偏SVM（Biased SVM）以及多类SVM分类对比,实验结果表明PUL提高了分类效果,优于上述单类分类方法及多类SVM方法。     

改进KNN-SVM的性别识别

针对支持向量机（SVM）在超平面附近进行性别识别的不准确性,引入进行加权的K近邻（KNN）算法。提出了结合加权KNN和SVM的改进KNN-SVM算法,该算法用少量已知性别样本自动确定加权KNN与SVM的最优分类阈值,并计算待识别样本和支持向量机所确定的超平面的距离,通过距离与阈值的比较进行性别识别。基于FERET人脸库进行性别实验,实验结果表明,该算法比SVM算法和不进行加权处理的KNN-SVM算法的识别率更高。