粗SVM方法及其在发动机故障诊断中的应用

支持向量机是一种具有完备统计学习理论基础和出色学习性能的新型机器学习方法,它能够较好地克服过学习和泛化能力低等缺陷.但是在利用支持向量机的分类算法处理实际问题时,该算法的计算速度较慢、处理问题效率较低.文中介绍了一种新的学习算法粗SVM分类方法,就是将粗糙集和支持向量机相结合,利用粗糙集对支持向量机的训练样本进行预处理,通过属性约简方法以减少属性个数,且在属性约简过程中选出几组合适的属性集组成新的属性集,使模型具有一定的抗信息丢失能力,同时充分利用SCM的良好推广性能,从而缩短样本的训练时间,实现快速故障诊断.对航空发动机故障诊断的实验结果表明了该方法的优越性. 型机器学习方法,它能够较好地克服过学习和泛化能力低等缺陷.但是在利用支持向量机的分类算法处理实际问题时,该算法的计算速度较慢、处理问题效率较低.文中介绍了一种新的学习算法粗SVM分类方法,就是将粗糙集和支持向量机相结合,利用粗糙集对支持向量机的训练样本进行预处理,通过属性约简方法以减少属性个数,且在属性约筒过程中选出几组合适的属性集组成新的属性集,使模型具有一定的抗信息丢失能力,同时充分利用SCM的良好推广性能,从而缩短样本的训练时间,实现快速故障诊 .对航空发动机故障诊断的实验结果表明了该方法的优越性. 型机器学习方法     

一种推广高斯核模型设计及其优化

支持向量机分类中,不同属性对分类的贡献往往不同,针对此问题,在核函数中引入属性权重,提出一种推广的高斯核模型,同时以最小化k-fold交叉验证误差为目标,采用粒子群算法进行推广高斯核的模型选择。最后通过UCI上标准数据集进行实验,证实该方法能够有效提高支持向量机的推广能力。     

一种基于支持向量机的缺失值填补算法

提出一种基于支持向量机的缺失值填补方法。该方法将缺失值填补分为连续属性缺失值填补和类别属性缺失值填补两种情况。对于连续属性的情况,采用支持向量机回归进行缺失值的预测;对于类别属性的情况,采用支持向量机分类进行缺失值的预测。在几个UCI数据集和MINIT手写阿拉伯数字数据集上的对比实验说明,该算法较传统的均值填补方法和基于决策树回归的缺失值填补方法具有更高的恢复率。     

一种新的基于SVM权重向量的云分类器*

提出了一种用支持向量机（SVM）权重向量解决高维对象分类的方法,并结合云理论建立了基于SVM权重向量的云分类器。采用云模型建立训练集的各属性模型,分类模型由属性模型集成得到,属性权重根据SVM权重向量得到,属性权重越大,其对分类的贡献越大;反之,越小。将新分类器与云模型分类器对积雨云、卷云和卷层云进行分类模拟实验,新分类器的分类准确度比后者总体提升了, 经过交叉验证, 结果表明新分类器性能稳定。     

基于FRS-SVM的工业数据挖掘研究

在工业生产分类过程中,存在数据量过大,冗余特征过多的问题,本文结合模糊粗糙集和支持向量机研究了一种分类算法。首先采用模糊粗糙集方法对条件属性进行属性约简,找出对分类决策具有主要影响的特征。以约简结果作为分类模型的输入变量,然后利用支持向量机对样本进行训练,建立分类模型,最后将本文的方法用于地板正反面分类和分析氧化铝晶种分解过程,并测试模型的分类效果。MATLAB仿真实验的结果表明本文的方法是有效的,具有分类正确率高,结构简单,泛化能力好的优点。     

两种不确定支持向量机分类性能的对比研究

为了克服支持向量机方法对于噪声或孤立野值点敏感的问题,通过引入模糊理论与粗糙集方法,可以分别得到两种不确定支持向量机模型.文中通过分析和比较模糊支持向量机和粗糙支持向量机分类模型构造方法,解释了这两种不确定支持向量机模型克服噪声影响的原理.同时通过一个合成数据集和一组标准数据集对这两种不确定支持向量机的泛化性能进行了对比验证.实验结果表明,相比传统支持向量机,两种不确定支持向量机都能不同程度地提高分类精度,并且模糊支持向量机算法整体表现出了更好的泛化性能.     

基于云模型的最接近支持向量机增量学习方法*

针对经典支持向量机在增量学习中的不足,提出一种基于云模型的最接近支持向量机增量学习算法。该方法利用最接近支持向量机的快速学习能力生成初始分类超平面,并与k近邻法对全部训练集进行约简,在得到的较小规模的精简集上构建云模型分类器直接进行分类判断。该算法模型简单,不需迭代求解,时间复杂度较小,有较好的抗噪性,能较好地体现新增样本的分布规律。仿真实验表明,本算法能够保持较好的分类精度和推广能力,运算速度较快。     

支持向量机在电子邮件分类中的应用研究

在电子邮件分类的研究中,针对研究垃圾邮件识别问题,垃圾邮件问题日益严重,影响正常工作,受到研究人员的广泛关注.而电子邮件特征维数相当的高,使传统分类方法存在分类速度慢、正确率低的问题.为了加快电子邮件分类速度、提高分类的正确率,更好的过滤出垃圾邮件,提出一种基于支持向量机的电子邮件自动分类方法.采用互信息量法提取电子邮件关键词作为分类特征,选择最优的分类特征,加快分类速度,然后支持向量机模型对分类特征进行学习训练,建立最优电子邮件分类器模型,最后对电子邮件测试集进行分类.UCI垃圾邮件数据库进行仿真,支持向量机识别正确率远远高于神经网络,且分类速度明显加快,能够很好的把垃圾分类出来.支持向量机分类方法是一种有效的电子邮件分类方法,有利于清除拉圾邮件.     

粗SVM 分类方法及其在污水处理过程中的应用

提出一种基于粗糙集理论和支持向量机理论的粗SVM分类方法，该方法采用粗糙集属性约筒方法以减少属性个数，且在属性约筒过程中选出几组合适的属性集组成新的属性集，使模型具有一定的抗信息丢失能力，同时充分利用SVM的良好推广性能，提高了预测分类精度，对城市污水处理厂运行状态的实验结果表明了该方法的优越性。     

基于最小二乘支持向量机的非平衡分布数据分类

支持向量机是在统计学习理论基础上发展起来的一种十分有效的分类方法。然而当两类样本数量相差悬殊时,会引起支持向量机分类能力的下降。为了提高支持向量机的非平衡数据分类能力,文章分析了最小二乘支持向量机的本质特征,提出了一种非平衡数据分类算法。在UCI标准数据集上进行的实验表明,该算法能够有效提高支持向量机对非均衡分布数据的正确性,尤其对于大规模训练集的情况,该算法在保证不损失训练精度的前提下,使训练速度有较大提高。     

基于支持向量机的遥感图像舰船目标识别方法

针对高分辨率遥感图像舰船目标识别问题,提出了一种基于支持向量机的舰船目标分类方法。支持向量机(SVM)是一类新型机器学习方法,基于结构风险最小化归纳原则,具有出色的学习能力。与传统的方法相比,支持向量机不但结构简单,而且技术性能特别是泛化能力明显提高。该文简要介绍了有关统计学习理论和支持向量机算法,将支持向量机应用于遥感图像舰船目标识别,并同传统的舰船识别方法进行了相关的对比实验,实验结果说明本文提出的分类器在识别性能上明显优于其它传统分类器,具有更高的识别性能率。     

基于SVM的房贷信用评估的应用研究

信贷风险是金融机构风险主要来源.支持向量机(SVM)在解决两类问题上是一种较好的分类方法,其学习模型有较强的稳定性.对SVM在房贷信用评估应用中的问题进行了研究和解决,如核函数选取,参数选取,样本非均衡问题等.实验得出在实际应用中径向基模型较好,采用Grid-search方法调整参数,能达到更好的推广能力和预测结果,用分别惩罚支持向量机能有效解决样本非均衡问题.试验结果也证明了基于SVM的房贷信用评估方法优于原有的打分方法.     

基于迁移学习的径向基函数神经网络学习

现实场景中存在很多小样本量数据集而且多有失真,传统神经网络在处理这类数据时泛化能力较差,不能达到预测数据或分类的目的。迁移学习可通过学习数据集A有用的知识对与其相关但不同正态分布的小样本数据集B进行辅助学习,因此提出了具有迁移学习能力的神经网络,以实现更好的分类或逼近效果。以基于ε-不敏感准则和结构风险的径向基神经网络（RBF）为基础构造了迁移径向基神经网络（T-RBF-NN）。通过加噪音数据集实验以及真实数据集实验验证加入迁移学习的神经网络在小样本情况下比传统神经网络具有更好的泛化性和鲁棒性。     

代价敏感的KPCA-Stacking不均衡数据分类算法

代价敏感学习是解决不均衡数据分类问题的一个重要策略,数据特征的非线性也给分类带来一定困难,针对此问题,结合代价敏感学习思想与核主成分分析KPCA提出一种代价敏感的Stacking集成算法KPCA-Stacking。首先对原始数据集采用自适应综合采样方法(ADASYN)进行过采样并进行KPCA降维处理;其次将KNN、LDA、SVM、RF按照贝叶斯风险最小化原理转化为代价敏感算法作为Stacking集成学习框架的初级学习器,逻辑回归作为元学习器。在5个公共数据集上对比J48决策树等10种算法,结果表明代价敏感的KPCA-Stacking算法在少数类识别率上有一定提升,比单个模型的整体分类性能更优。     

基于差分进化的ELM加权集成分类

集成分类通过将若干个弱分类器依据某种规则进行组合,能有效改善分类性能。在组合过程中,各个弱分类器对分类结果的重要程度往往不一样。极限学习机是最近提出的一个新的训练单隐层前馈神经网络的学习算法。以极限学习机为基分类器,提出了一个基于差分进化的极限学习机加权集成方法。提出的方法通过差分进化算法来优化集成方法中各个基分类器的权值。实验结果表明,该方法与基于简单投票集成方法和基于Adaboost集成方法相比,具有较高的分类准确性和较好的泛化能力。     

Bayes Vector Quantizer for Class-Imbalance Problem

The class-imbalance problem is the problem of learning a classification rule from data that are skewed in favor of one class. On these datasets traditional learning techniques tend to overlook the less numerous class, at the advantage of the majority class. However, the minority class is often the most interesting one for the task at hand. For this reason, the class-imbalance problem has received increasing attention in the last few years. In the present paper we point the attention of the reader to a learning algorithm for the minimization of the average misclassification risk. In contrast to some popular class-imbalance learning methods, this method has its roots in statistical decision theory. A particular interesting characteristic is that when class distributions are unknown, the method can work by resorting to stochastic gradient algorithm. We study the behavior of this algorithm on imbalanced datasets, demonstrating that this principled approach allows to obtain better classification performances compared to the principal methods proposed in the literature.     

支持向量机在模式识别中的核函数特性分析

支持向量机是20世纪90年代中期发展起来的一种机器学习技术,与传统人工神经网络不同之处在于前者基于结构风险最小化原理,后者基于经验风险最小化原理。支持向量机不仅结构简单,而且技术性能尤其是泛化能力与BP神经网络相比有明显提高。讨论了支持向量机的分类原理,并用多项式函数、径向基函数和感知机函数等3种核函数作为内积回旋,分别以平面点集分类、手写体汉字识别及双螺旋线识别为例,在不同的结构参数下进行了仿真实验,并对3种核函数的分类特性进行了对比分析,给出了在不同模式识别问题中3种核函数的选择条件。     

A Rough RBF Neural Network Based on Weighted Regularized Extreme Learning Machine

Adjusting parameters iteratively is a traditional way of training neural networks, and the Rough RBF Neural Networks (R-RBF-NN) follows the same idea. However, this idea has many disadvantages, for instance, the training accuracy and generalization accuracy etc. So how to change this condition is a hot topic in Academics. On the basis of Extreme Learning Machine (ELM), this paper proposes a Weighted Regularized Extreme Learning Machine (WRELM), taking into account both minimizing structured risk and weighted least-squares principle, to train R-RBF-NN. The traditional iterative training method is replaced by the minimal norm least-squares solution of general linear system. The method proposed in this paper, increasing controllability of the entire learning process and considering the structured risk and empirical risk, can improve the performance of learning and generalization. Experiments show that it can reach a very superior performance in both time and accuracy when WRELM trains the Rough RBF Neural Networks in pattern classification and function regression, especially in pattern classification, which can improve the generalization accuracy more than 3.36 % compared with ELM. Obviously, the performance of the method proposed in this paper is better than the traditional methods.     

Evolutionary pursuit and its application to face recognition

Introduces evolutionary pursuit (EP) as an adaptive representation method for image encoding and classification. In analogy to projection pursuit, EP seeks to learn an optimal basis for the dual purpose of data compression and pattern classification. It should increase the generalization ability of the learning machine as a result of seeking the trade-off between minimizing the empirical risk encountered during training and narrowing the confidence interval for reducing the guaranteed risk during testing. It therefore implements strategies characteristic of GA for searching the space of possible solutions to determine the optimal basis. It projects the original data into a lower dimensional whitened principal component analysis (PCA) space. Directed random rotations of the basis vectors in this space are searched by GA where evolution is driven by a fitness function defined by performance accuracy (empirical risk) and class separation (confidence interval). Accuracy indicates the extent to which learning has been successful, while separation gives an indication of expected fitness. The method has been tested on face recognition using a greedy search algorithm. To assess both accuracy and generalization capability, the data includes for each subject images acquired at different times or under different illumination conditions. EP has better recognition performance than PCA (eigenfaces) and better generalization abilities than the Fisher linear discriminant (Fisherfaces)     

基于统计分析的PCB组装缺陷特征学习方法*

为了减少自动光学检测系统对用户经验的依赖,提出了一种基于统计分析的PCB组装缺陷特征学习方法。该方法通过对良品和不良品样本图像的统计学习优选出分类能力强的特征,再采用最小风险贝叶斯决策得到特征分类参数。实验结果表明,该算法有效地简化了用户检测程序的编程和调试,提高了AOI的使用效率和准确率。