一种模糊最小二乘孪生支持向量回归机的改进算法

模糊最小二乘孪生支持向量机模型融合了模糊函数和最小二乘孪生支持向量机算法特性,以解决训练数据集存在孤立点噪声和运算效率低下问题。针对回归过程基于统计学习结构风险最小化原则,对该模型进行L_2范数正则化改进。考虑到大规模数据集的训练效率问题,对原始模型进行了L_1范数正则化改进。基于增量学习特性,对数据集训练过程进行增量选择迭加以加快训练速度。在UCI数据集上验证了相关改进算法的优越性。     

SVM算法及其在多类字母图象识别中的应用

支持向量机是一种新的统计学习算法,其学习原则是使结构风险最小,与经典的学习方法的经验风险最小原则不同,这使得支持向量机具有很强的泛化能力。因为支持向量机算法是一个凸二次优化问题,能够保证所求的局部最优解就是全局最优解。目前,研究的绝大多数是两类问题。然而,即使我们能够将两类问题正确分类,也不能意味着实际应用中多类分类问题的解决。在这篇文章中,我们介绍了支持向量机算法,并且通过多类字母图象分类问题说明支持向量机算法在多类分类问题中的应用。     

基于粒子群算法和支持向量机的故障诊断研究

支持向量机是采用结构风险最小化原则代替传统统计学中的基于大样本的经验风险最小化原则的新型机器学习方法,具有出色的学习分类能力和推广能力,广泛地应用于模式识别和函数拟合中;支持向量机中核函数的参数选择非常重要,它决定着故障诊断的精确度;为了提高电气设备故障诊断的精度和效率,将粒子群优化算法和最小二乘支持向量机相结合,提出了一种基于粒子群支持向量机的故障诊断方法,能够实现对核函数的σ参数进行快速动态选取,提高故障诊断的准确率和效率;实验表明,该方法能够有效地找出合适的核参数,并能取得较好的分类效果。     

多分类孪生支持向量机研究进展

孪生支持向量机因其简单的模型、快速的训练速度和优秀的性能而受到广泛关注.该算法最初是为解决二分类问题而提出的,不能直接用于解决现实生活中普遍存在的多分类问题.近来,学者们致力于将二分类孪生支持向量机扩展为多分类方法并提出了多种多分类孪生支持向量机.多分类孪生支持向量机的研究已经取得了一定的进展.本文主要工作是回顾多分类孪生支持向量机的发展,对多分类孪生支持向量机进行合理归类,分析各个类型的多分类孪生支持向量机的理论和几何意义.本文以多分类孪生支持向量机的子分类器组织结构为依据,将多分类孪生支持向量机分为：基于“一对多”策略的多分类孪生支持向量机、基于“一对一”策略的多分类孪生支持向量机、基于“一对一对余”策略的多分类孪生支持向量机、基于二叉树结构的多分类孪生支持向量机和基于“多对一”策略的多分类孪生支持向量机.基于有向无环图的多分类孪生支持向量机训练过程与基于“一对一”策略的多分类孪生支持向量机类似,但是其决策方式有其特殊的优缺点,因此本文将其也独立为一类.本文分析和总结了这六种类型的多分类孪生支持向量机的算法思想、理论基础.此外,还通过实验对比了分类性能.本文工作为各种多分类孪生支持向量机之间建立了联系比较,使得初学者能够快速理解不同多分类孪生支持向量机之间的本质区别,也对实际应用中选取合适的多分类孪生支持向量机起到一定的指导作用.     

一种基于支持向量机思想的无监督聚类算法

支持向量机作为一种新的机器学习方法,由于其建立在结构风险最小化准则之上,而不是仅仅使经验风险达到最小,从而使对支持向量分类器具有较好的推广能力。本文分析了支持向量机在解决无监督分类问题上的不足,提出一种基于支持向量机思想的最大间距的聚类新方法。实验结果表明,该算法能成功地解决很多非监督分类问题。     

一种改进的模糊多类支持向量机算法

支持向量机是基于统计学习理论的新一代机器学习技术;由于使用结构风险最小化原则代替经验风险最小化原则,使它较好地解决了小样本情况下的学习问题;针对目前模糊支持向量机方法中,一般使用样本与类中心之间的距离关系构建隶属度函数的不足,以统计学习理论和支持向量机为基础,提出了一种改进的模糊多类支持向量机方法,它是在全局优化分类的基础上,引入模糊隶属函数,然后利用改进的序列最小最优化算法求解模糊多类支持向量机,实验结果显示运行时间减少了,方法是可行的和有效的.     

基于能量的结构化最小二乘孪生支持向量机

针对最小二乘孪生支持向量机对噪声和离群值非常敏感的问题,本文提出了一种基于能量的结构化最小二乘孪生支持向量机。首先对每个类进行聚类分析,然后计算类中各个簇的协方差矩阵并将其引入到目标函数中。其次,为了降低噪声和离群值对算法的影响,本文为每个超平面引入能量因子,在最小二乘的基础上将等式约束转换为基于能量的形式。最后采用“多对一”的策略将提出的算法用于处理多分类问题。研究结果表明:本文提出的基于能量的结构化最小二乘孪生支持向量机具有良好的分类性能。     

基于遗传算法和支持向量机的故障诊断方法

支持向量机是一种采用结构风险最小化原则代替传统统计学中的基于大样本的经验风险最小化原则的新型机器学习方法,具有出色的学习分类能力和推广能力,广泛的应用于故障诊断和函数拟合中;以某型直升机机载电气盒的故障诊断为实验平台,提出了一种自适应遗传算法和最小二乘支持向量机相结合的故障诊断方法,利用自适应遗传算法强大的全局搜索能力对最小二乘支持向量机的参数进行寻优;仿真结果表明,基于自适应遗传算法优化的最小二乘支持向量机取得了较好的故障诊断精度和效率.     

基于最小二乘支持向量机的混沌背景弱信号检测

将最小二乘支持向量机算法应用于混沌时间序列预测中,提出了一种基于最小二乘支持向量机的混沌背景弱信号检测算法。最小二乘支持向量机的训练过程遵循结构风险最小化原则,解决了传统机器学习的模型选择与过学习问题、局部极小问题等。仿真结果表明,本文算法在信混比达到-70 dB时,仍能检测混沌背景中微弱信号。     

一种基于支持向量机思想的无监督聚类算法

支持向量机作为一种新的机器学习方法，由于其建立在结构风险最小化准则之上，而不是仅仅使经验风险达到最小，从而使对支持向量分类器具有较好的推广能力。本文分析了支持向量机在解决无监督分类问题上的不足，提出一种基于支持向量机思想的最大间距的聚类新方法。实验结果表明．该算法能成功地解决很多非监督分类问题。     

基于马氏距离的孪生多分类支持向量机

孪生支持向量机(TWSVM)的研究是近来机器学习领域的一个热点。TWSVM具有分类精度高、训练速度快等优点,但训练时没有充分利用样本的统计信息。作为TWSVM的改进算法,基于马氏距离的孪生支持向量机(TMSVM)在分类过程中考虑了各类样本的协方差信息,在许多实际问题中有着很好的应用效果。然而TMSVM的训练速度有待提高,并且仅适用于二分类问题。针对这两个问题,将最小二乘思想引入TMSVM,用等式约束取代TMSVM中的不等式约束,将二次规划问题的求解简化为求解两个线性方程组,得到基于马氏距离的最小二乘孪生支持向量机(LSTMSVM),并结合有向无环图策略(DAG)设计出基于马氏距离的最小二乘孪生多分类支持向量机。为了减少DAG结构的误差累积,构造了基于马氏距离的类间可分性度量。人工数据集和UCI数据集上的实验均表明,所提算法不仅有效,而且相对于传统多分类SVM,其分类性能有明显提高。     

基于支持向量机的手写体相似字识别

本文提出对手写相似汉字进行识别的支持向量机方法。该方法与人工神经网络一样适用于小规模分类,但由于支持向量机依据结构风险最小化原则,因此泛化能力更强。并且,由于支持向量机算法是一个凸二次优化问题,能够保证找到的极值解就是全局最优解。本文用支持向量机算法对三组手写相似汉字进行了识别,取得了较好的结果。     

鲁棒最小二乘孪生支持向量机及其稀疏算法

最小二乘孪生支持向量机通过求解两个线性规划问题来代替求解复杂的二次规划问题,具有计算简单和训练速度快的优势。然而,最小二乘孪生支持向量机得到的超平面易受异常点影响且解缺乏稀疏性。针对这一问题,基于截断最小二乘损失提出了一种鲁棒最小二乘孪生支持向量机模型,并从理论上验证了模型对异常点具有鲁棒性。为使模型可处理大规模数据,基于表示定理和不完全Cholesky分解得到了新模型的稀疏解,并提出了适合处理带异常点的大规模数据的稀疏鲁棒最小二乘孪生支持向量机算法。数值实验表明,新算法比已有算法分类准确率、稀疏性、收敛速度分别提高了1.97%~37.7%、26~199倍和6.6~2 027.4倍。     

新型鲁棒孪生支持向量回归机

回归问题是模式识别与机器学习领域的基本问题之一,孪生支持向量回归机（TSVR）是在支持向量回归机（SVR）基础上发展而来的一种处理回归问题的新算法,它在处理无噪声数据时表现出较好的性能,但在处理有噪声数据时往往性能不佳。为了降低噪声对孪生支持向量回归机性能的影响,结合ε-不敏感损失函数与Huber损失函数构造了混合Hε损失函数,该损失函数可以有效地适应于不同分布类型的噪声;然后基于混合Hε损失函数和结构风险最小化（SRM）原则提出了一种鲁棒的孪生支持向量回归机（Hε-TSVR）,并在原始空间中利用牛顿迭代法求解模型。分别在有噪声和无噪声的人工数据集、UCI数据集上进行实验,与支持向量回归机和孪生支持向量回归机等算法比较,实验结果验证了所提算法的有效性。     

基于人工鱼群算法的孪生支持向量机

孪生支持向量机（twin support vector machine, TWSVM）是在支持向量机的基础上产生的机器学习算法,具有训练速度快、分类性能优越等优点。但是孪生支持向量机无法很好地处理参数选择问题,不合适的参数会降低分类能力。人工鱼群算法（artificial fish swarm algorithm, AFSA）是一种群智能优化算法,具有较强的全局寻优能力和并行处理能力。本文将孪生支持向量机与人工鱼群算法结合,来解决孪生支持向量机的参数选择问题。首先将孪生支持向量机的参数作为人工鱼的位置信息,同时将分类准确率作为目标函数,然后通过人工鱼的觅食、聚群、追尾和随机行为来更新位置和最优解,最后迭代结束时得到最优参数和最优分类准确率。该算法在训练过程中自动确定孪生支持向量机的参数,避免了参数选择的盲目性,提高了孪生支持向量机的分类性能。     

基于SVM的中文文本自动分类研究

详细介绍了进行文本分类的过程，并着重介绍了一种新的基于结构风险最小化理论的分类算法——支持向量机，通过实验比较支持向量机算法和传统的KNN算法应用于文本分类的效果，证实了支持向量机在处理文本分类问题上的优越性。     

基于SVM的手写体相似汉字识别

支持向量机作为一种新的机器学习方法,由于其建立在结构风险最小化准则之上,而不仅仅是使经验风险达到最小,从而使支持向量分类器具有较好的推广能力.并且,由于支持向量机算法是一个凸二次优化问题,能够保证找到的极值解就是全局最优解.文章首先讨论了基于支持向量机的手写体相似汉字识别过程.然后,针对支持向量机识别手写汉字所遇到的问题进行了分析和阐述,并在此基础上提出了基于最小距离分类器分类的两级分类策略.最后,针对理论进行了实验仿真.实验结果有力证明了本文提出的基于svM的相似汉字识别方法的有效性.     

基于最小二乘支持向量机的车牌字符特征分类研究

最小二乘支持向量机是一种新的有效的机器学习算法。论文介绍了最小二乘支持向量机模型,研究了最小二乘支持向量机算法和经典的多类分类算法,提取车牌字符的奇异值特征,将奇异值系数特征作为最小二乘支持向量机的输入进行训练和分类。实验采用 LS‐SVM 工具箱,得到了较好的结果。     

一种改进的偏二叉树孪生支持向量机算法及其应用

针对二叉树分类性能受其层次结构影响较大的问题,提出了一种改进的偏二叉树孪生支持向量机多分类算法。该算法定义了一种基于加权样本类内距离和类间距离的混合分离性测度β,根据β的大小构造出合理层次结构的偏二叉树孪生支持向量机分类器。通过UCI数据集,验证了改进算法相较于其它SVM多分类算法的优越性。以风电机组齿轮箱故障诊断作为研究对象,基于时频联合方法提取其故障特征,应用改进的偏二叉树孪生支持向量机算法实现了对齿轮箱故障的准确识别。     

遗传优化的LSSVM在故障诊断中的仿真研究

研究机载电气故障诊断问题,采用支持向量方法.支持向量机是一种采用结构风险最小化原则的新型机器学习方法,具有出色的学习分类能力和推广能力.支持向量机的参数选择非常重要,决定故障诊断的精确度.针对最小二乘支持向量机的参数通常靠交叉试验来确定的情况,为了提高故障诊断的精度和效率,提出了一种模拟退火遗传算法和最小二乘支持向量机相结合的故障诊断方法,利用模拟退火遗传算法的全局搜索能力对最小二乘支持向量机的参数进行寻优,并以某型直升机机载电气盒的故障诊断为例对方法进行了仿真研究.实验结果表明,模拟退火遗传算法优化的最小二乘支持向量机取得了较好的故障诊断效果.