结合SVM和KNN实现求解大规模复杂问题的分治算法

针对于使用支持向量机求解大规模复杂问题存在训练时间过长和分类精度不高等困难,本文提出了一种结合支持向量机(SvM)和K-最近邻(KNN)分类的分治算法.首先对支持向量机分类机理进行分析可以得出它作为分类器实际相当于每类只选一个代表点的最近邻分类器.在此基础上,根据分治算法的基本思想将训练集划分为多个训练子集,用每个子集单独训练一个SVM,这样每个训练子集由训练后的SVM可以分别得到正例和反例的一个代表点,由这些代表点的全体构成了整个训练集的正例和反例代表点的集合,然后在这个代表点集合基础上使用KNN分类器最为整个问题的解.实验结果表明该分治算法对于大规模数据可使训练时间大幅度下降且使分类精度不同程度提高.     

基于并行计算的支持向量机加速算法

针对传统支持向量机(Support Vector Machine,SVM)方法不能有效处理海量数据分类的问题,本文提出一种基于并行计算(Parallel Computing,PC)的支持向量机加速(Speeding support vector machine based on parallel computing,PC_SVM)方法。该方法首先将海量的训练样本通过聚类方式划分为多个独立的工作子集,并在每个工作子集上并行进行SVM的自适应训练,以得到适应该训练子集的SVM学习模型,通过衡量不同子集训练结果的关系,对每个工作集中聚类得到的子类进行合并,从而有效处理海量数据的分类问题。实验结果表明,PC_SVM方法在大规模数据集上在保持分类效果的同时大幅度提高了传统SVM的分类效率。     

TRA:改进的SVM增量学习淘汰算法

介绍了支持向量机,报告了支持向量机增量学习算法的研究现状,分析了支持向量集在加入新样本后支持向量和非支持向量的转化情况.针对淘汰机制效率不高的问题,提出了一种改进的SVM增量学习淘汰算法--二次淘汰算法.该算法经过两次有效的淘汰,对分类无用的样本进行舍弃,使得新的增量训练在淘汰后的有效数据集进行,而无需在复杂难处理的整个训练数据集中进行,从而显著减少了后继训练时间.理论分析和实验结果表明,该算法能在保证分类精度的同时有效地提高训练速度.     

随机特征上一致中心调节的支持向量机

支持向量机（SVM）是最为流行的分类工具,但处理大规模的数据集时,需要大量的内存资源和训练时间,通常在大集群并行环境下才能实现。提出一种新的并行SVM算法,RF-CCASVM,可在有限计算资源上求解大规模SVM。通过随机傅里叶映射,应用低维显示特征映射一致近似高斯核对应的无限维隐式特征映射,从而用线性SVM一致近似高斯核SVM。提出一致中心调节的并行化方法。具体地,将数据集划分成若干子数据集,多个进程并行地在各自的子数据集上独立训练SVM。当各个子数据集上的最优超平面即将求出时,用由各个子集上获得的一致中心解取代当前解,继续在各子集上训练直到一致中心解在各个子集上达到最优。标准数据集的对比实验验证了RF-CCASVM的正确性和有效性。     

基于分层聚类及重采样的大规模数据分类

针对大规模数据的分类问题,将监督学习与无监督学习结合起来,提出了一种基于分层聚类和重采样技术的支持向量机(SVM)分类方法。该方法首先利用无监督学习算法中的k-means聚类分析技术将数据集划分成不同的子集,然后对各个子集进行逐类聚类,分别选出各类中心邻域内的样本点,构成最终的训练集,最后利用支持向量机对所选择的最具代表样本点进行训练建模。实验表明,所提方法可以大幅度降低支持向量机的学习代价,其分类精度比随机欠采样更优,而且可以达到采用完整数据集训练所得的结果     

基于粗糙集边界的v-支持向量机混合分类算法

针对v-支持向量机在样本集规模较大的情况下,需要占用大量训练时间的问题,提出基于粗糙集边界的v-支持向量机混合分类算法。该算法根据粗糙集理论边界区域的优点,生成分类数据的边界集,使其包括全部的支持向量,用此边界向量集替代原始样本作为训练集,减少训练集的数量,则可以在不影响分类精度和泛化性能的前提下显著缩短v-支持向量机的训练时间。仿真结果表明该算法的有效性。     

一种核心子集选择训练的大规模中文网页分类方法

针对Web页面分类方法一般只能处理小规模数据的问题,提出一种核心子集选择训练的大规模中文网页分类方法.该方法通过将支持向量机的最优化求解问题转化为等价的近似最小闭包球求解问题,使得只需选择数据集的核心子集参与分类器训练;并且,在特征选择阶段采用改进的基于词性的互信息特征选择模型,有效提高Web页面分类的大规模数据处理能力.在搜狗实验室提供的大规模Web页面数据集上进行了实验,实验结果表明不仅准确率可达到支持向量机同等的效果,且训练时间大大减少;而对不均衡类别数据的测试结果表明,该方法在处理不均衡类别数的Web网页分类上也能获得很好的效果.     

基于最小二乘支持向量机的非平衡分布数据分类

支持向量机是在统计学习理论基础上发展起来的一种十分有效的分类方法。然而当两类样本数量相差悬殊时,会引起支持向量机分类能力的下降。为了提高支持向量机的非平衡数据分类能力,文章分析了最小二乘支持向量机的本质特征,提出了一种非平衡数据分类算法。在UCI标准数据集上进行的实验表明,该算法能够有效提高支持向量机对非均衡分布数据的正确性,尤其对于大规模训练集的情况,该算法在保证不损失训练精度的前提下,使训练速度有较大提高。     

ECT图像重建算法的FPGA实现

支持向量机(SVM)在解决小样本,非线性及高维模式识别问题等方面有许多优势,但在处理大规模数据集时训练速度缓慢.针对以上问题提出了SVM学习算法硬件化的设计,它可以在保证向量机学习速度的同时,提高支持向量机的硬件资源利用效率.ECT图像重建实验结果表明,在不影响分类精度的情况下,硬件实现有效减少了运行时间,在一些实时性要求较高的场合该方法的优点将尤为明显.     

基于支持向量的分层并行筛选训练样本方法

基于支持向量能够代表训练集分类特征的特点，该文提出了一种基于支持向量的分层并行筛选训练样本的机器学习方法。该方法按照分而治之的思想将原分类问题分解成若干子问题，将训练样本的筛选过程分解成级联的2个层次。每层采用并行方法提取各训练集中的支持向量，这些被提取的支持向量将作为下一层的训练样本，各层训练集中的非支持向量通过学习被逐步筛选掉。为了保证问题的一致性，引入了交叉合并规则，仿真实验结果表明该方法在保证分类器推广能力的情况下，缩短了支持向量机的训练时间，减少了支持向量的数目。