基于动态粗糙集约简的选择性支持向量机集成

支持向量机集成是提高支持向量机泛化性能的有效手段,个体支持向量机的泛化能力及其之间的差异性是影响集成性能的关键因素。为了进一步提升支持向量机整体泛化性能,提出利用动态粗糙集的选择性支持向量机集成算法。首先在利用Boosting算法对样本进行扰动基础上,采用遗传算法改进的粗糙集与重采样技术相结合的动态约简算法进行特征扰动,获得稳定、泛化能力较强的属性约简集,继而生成差异性较大的个体学习器;然后利用模糊核聚类根据个体学习器在验证集上的泛化误差来选择最优个体;并用支持向量机算法对最优个体进行非线性集成。通过在UCI数据集进行仿真,结果表明算法能明显提高支持向量机的泛化性能,具有较低的时、空复杂性,是一种高效、稳定的集成方法。     

并行效率敏感的大规模SVM数据分块数选择

数据分块数的选择是并行/分布式机器学习模型选择的基本问题之一,直接影响着机器学习算法的泛化性和运行效率。现有并行/分布式机器学习方法往往根据经验或处理器个数来选择数据分块数,没有明确的数据分块数选择准则。提出一个并行效率敏感的并行/分布式机器学习数据分块数选择准则,该准则可在保证并行/分布式机器学习模型测试精度的情况下,提高计算效率。首先推导并行/分布式机器学习模型的泛化误差与分块数目的关系。然后以此为基础,提出折衷泛化性与并行效率的数据分块数选择准则。最后,在ADMM框架下随机傅里叶特征空间中,给出采用该数据分块数选择准则的大规模支持向量机实现方案,并在高性能计算集群和大规模标准数据集上对所提出的数据分块数选择准则的有效性进行实验验证。     

融合序列后向选择与支持向量机的混合式特征选择算法

维度灾难是机器学习任务中的常见问题,特征选择算法能够从原始数据集中选取出最优特征子集,降低特征维度.提出一种混合式特征选择算法,首先用卡方检验和过滤式方法选择重要特征子集并进行标准化缩放,再用序列后向选择算法（SBS）与支持向量机（SVM）包裹的SBS-SVM算法选择最优特征子集,实现分类性能最大化并有效降低特征数量.实验中,将包裹阶段的SBS-SVM与其他两种算法在3个经典数据集上进行测试,结果表明,SBS-SVM算法在分类性能和泛化能力方面均具有较好的表现.     

一种改进的最小二乘支持向量机软测量建模方法

针对最小二乘支持向量机(LS-SVM)缺少支持向量所具有的稀疏性和模型参数值难以选择的问题,提出利用马氏距离进行样本相似程度分析,去除集中部分样本,以恢复最小二乘支持向量机的稀疏性的方法.同时,采用κ-折交叉验证误差作为学习目标的粒子群优化算法来选取模型参数,并利用改进算法建立了精馏产品浓度的软测量模型.通过仿真验证了改进算法的有效性.结果表明模型精度较高,泛化能力强,满足工业测量要求.     

基于小样本SVR的迁移学习及其应用

当前机器学习的技术已经运用到很多工程项目中,但大部分机器学习的算法只有在样本数量充足且运用在单一场景中的时候,才能获得良好的结果。其中,经典的支持向量回归机是一种具有良好泛化能力的回归算法。但若当前场景的样本数量较少时,则得到的回归模型泛化能力较差。针对此问题,以加权ε支持向量回归机为基础,提出了一种小样本数据的迁移学习支持向量回归机算法。该算法以加权ε支持向量回归机为Bagging算法的基学习器,使用与目标任务相关联的源域数据,通过自助采样生成多个子回归模型,采用简单平均法合成一个总回归模型。在UCI数据集和现实数据集——玉米棒与花生粒储藏环节损失数据集上的实验结果表明,该算法较标准ε-SVR算法与改进的RMTL算法在小数据样本上有更好的泛化能力。     

基于遗传算法对支持向量机模型中参数优化

支持向量机是基于统计学习理论的结构风险最小化原理基础上提出来的一种学习算法,其在理论上保证了模型的最大泛化能力.针对支持向量机结构参数的选取在没有理论支持,选取又比较困难的情况下,对影响模型分类能力的相关参数进行了研究,提出了一种基于遗传算法和十折交叉检验相结合的遗传支持向量机(GA-SVM)算法,利用遗传算法的全局搜索特性得到支持向量机(SVM)的最优参数值,并用算例表明了此算法有效提高了分类的精度和效率.     

多模态集成阿尔茨海默病和轻度认知障碍分类

为了更有效而准确地诊断阿尔茨海默病(Alzheimer’s disease,AD)和轻度认知障碍(Mild Cognitive Impairment, MCI),文章提出了一种基于多模态数据(MRI、PET 和非成像数据 CSF)的集成支持向量机来分类 AD 和 MCI。该算法使 用集成学习技术来综合利用不同模态数据之间相互作用产生的分类判别信息,并利用支持向量机进行分类。为了评价该 算法的有效性,采用十折(10-fold)交叉验证策略来验证其性能,并在标准数据集 ADNI 上测试算法性能。实验结果表明, 多模态集成支持向量机分类方法的性能优于多模态多核学习和单模态方法。     

正则化路径上的支持向量机模型组合方法

模型组合是提高支持向量机泛化性的重要方法,但存在计算效率较低的问题。提出一种基于正则化路径上贝叶斯模型平均的支持向量机模型组合方法,在提高支持向量机泛化性的同时,具有较高的计算效率。基于正则化路径算法建立初始模型集,引入对支持向量机的概率解释。模型的先验可看做是一个高斯过程,模型的后验概率通过贝叶斯公式求得,使用贝叶斯模型平均对模型进行组合。在标准数据集上,实验比较了所提出的模型组合方法与交叉验证及广义近似交叉验证（GACV）方法的性能,验证所提出的模型组合方法的有效性。     

SVM参数优化方法分析与决策

针对支持向量机应用过程中的参数选择问题,从UCI数据库选择样本集,分别采用传统的网格法、智能优化算法中的粒子群法及遗传算法实现核函数参数寻优过程,将所得最佳参数应用到样本测试中;在深入分析优化过程中各参数关系、参数对支持向量机性能的影响以及传统与智能优化算法的优劣后,得出了核函数优化策略;即先使用智能优化算法初步确定最优解范围,再结合网格法进行高精度寻优;实验数据验证了参数优化策略的有效性,为扩大支持向量机泛化率、提高应用性做了铺垫。     

一类基于支持向量机的软件故障预测方法

针对基于神经网络的计算机软件故障预测方法中存在的过学习和泛化能力差的问题,提出一种基于支持向量机(SVM)的软件故障预测方法.该方法应用具有强大非线性逼近能力与优秀泛化能力的支持向量机对软件故障因子与软件隐藏故障数之间的非线性关系进行拟合.采用经典粒子群优化算法(CPSO),在测试样本集均方根误差(RMSE)与平均绝对百分比误差(MAPE)同时最小时,选择和优化支持向量机的参数向量.计算机测控软件故障预测实验验证了该方法的可行性和可靠性.