一种支持向量回归机自动模型选择方法

为解决SVR(支持向量回归)自动模型选择的问题,提出一种基于梯度下降算法的支持向量回归机模型参数优化方法.通过最小化模型选择准则R2w2,对核参数集采用梯度下降算法得到局部最优的模型参数.依据黎曼几何为理论,提出一种适合于SVR的保角变换,对核函数进行数据依赖的改进,进一步提高SVR的泛化能力.仿真试验的结果验证了该方...     

随机梯度下降优化的量子多分类支持向量机

为改善大规模数据在经典机器学习多分类任务中的计算负担,本文提出了一种基于随机梯度下降优化的量子多分类支持向量机(SGD-MQSVM)算法。通过采用量子随机梯度下降法获得训练参数,并采用全对多分类支持向量机的量子方法进行多分类。算法的时间复杂性可将单次迭代的时间复杂度从经典多项式级降低到对数级。     

鲁棒双参数化间隔支持向量机

针对不确定数据的二分类问题,提出了一种鲁棒双参数化间隔支持向量机.考虑样本是服从多元高斯分布,并给出了几种协方差矩阵的构造方式.提出的鲁棒双参数化间隔支持向量机通过处理一对较小规模的凸优化问题,寻找两个非平行的参数化间隔超平面,并针对优化问题设计了相应的随机梯度下降算法.当训练样本的方差趋近于零时,鲁棒双参数化间隔支持...     

基于在线核聚类的雷达信号分选方法

提出一种变参数在线核聚类算法(OKCAP),将其应用于未知雷达辐射源信号分选中。OKCAP基于支持向量机的思想,采用核映射技术将数据映射到高维线性空间中进行处理,利用随机梯度下降法更新类的边界函数,且梯度下降步长和惩罚项参数可根据雷达信号动态调整,从而实现雷达辐射源信号的在线分选。仿真结果证明,该方法具有较快的聚类分选速度和较高的分选准确率。     

基于混合进化算法的RBF神经网络时间序列预测

提出一种基于梯度下降法的混合进化算法,用于确定径向基函数（RBF）神经网络结构和优化其参数.在进化算法中嵌入梯度下降算子,对每一代中若干个精英个体以一定概率利用梯度下降法进行搜索,以加强算法的局部搜索能力.利用混合进化算法对RBF网络结构和参数同时进行训练和优化,对网络节点数和参数进行混合编码.仿真实验结果表明该RBF网络具有较强的泛化能力.     

混沌粒子群算法对支持向量机模型参数的优化

研究支持向量机模型优化问题,支持向量机的参数选择决定了其学习性能和泛化能力,由于在参数的选择范围内可选择的数量很多,在多个参数中进和盲目搜索最优参数是需要极大的时间代价,并且很难得到最优参数.常用的支持向量机优化方法有遗传算法、粒子群算法都存在易陷入局部极值,优化效果较差.为解决支持向量机参数寻优问题,提出一种基于混沌粒子群的支持向量机参数选择方法.将混沌理论引入粒子群优化算法中,从而提高种群的多样性和粒子搜索的遍历性,从而有效地提高了PSO算法的收敛速度和精度,得了优化支持向量机模型.并以信用卡案例数据作为研究对象进行了仿真,实验结果表明,混沌粒子群优化的SVM分类器比传统算法优化的SVM分类器的精度高和更高的效率,应用效果好.     

基于人工鱼群算法的孪生支持向量机

孪生支持向量机（twin support vector machine, TWSVM）是在支持向量机的基础上产生的机器学习算法,具有训练速度快、分类性能优越等优点。但是孪生支持向量机无法很好地处理参数选择问题,不合适的参数会降低分类能力。人工鱼群算法（artificial fish swarm algorithm, AFSA）是一种群智能优化算法,具有较强的全局寻优能力和并行处理能力。本文将孪生支持向量机与人工鱼群算法结合,来解决孪生支持向量机的参数选择问题。首先将孪生支持向量机的参数作为人工鱼的位置信息,同时将分类准确率作为目标函数,然后通过人工鱼的觅食、聚群、追尾和随机行为来更新位置和最优解,最后迭代结束时得到最优参数和最优分类准确率。该算法在训练过程中自动确定孪生支持向量机的参数,避免了参数选择的盲目性,提高了孪生支持向量机的分类性能。     

一种并行结构化支持向量机次梯度投影算法

支持向量机的次梯度投影算法是解决支持向量机优化求解问题的一种简单有效的迭代算法。该算法通过梯度下降和投影两个步骤的多轮迭代,找到两类最大间隔的分类面。针对该算法忽略了对寻找分类面同样有指导意义的样本分布信息这一问题,在分类器设计中融入结构信息,并且采用MapReduce并行计算框架,提出了一种并行结构化支持向量机的次梯度投影算法,该算法能够充分利用集群的计算和存储能力,适用于海量数据的优化问题。在NASA的两个软件模块缺陷度量数据集CM1和PC1上的实验结果表明,该算法能够加快收敛速度,提高分类性能,有效地解决海量数据的优化求解问题。     

基于自适应随机梯度下降方法的非平衡数据分类

对于不平衡数据分类问题,传统的随机梯度下降方法在求解一般的支持向量机问题时会产生一定的偏差,导致效果较差。自适应随机梯度下降算法定义了一个分布p,在选择样例进行迭代更新时,其依据分布p而非依据均匀分布来选择样例,并且在优化问题中使用光滑绞链损失函数。对于不平衡的训练集,依据均匀分布选择样例时,数据的不平衡比率越大,多数类中的样例被选择的次数就越多,从而导致结果偏向少数类。分布p在很大程度上解决了这个问题。普通的随机梯度下降算法没有明确的停机准则,这导致何时停机成为一个很重要的问题,尤其是在大型数据集上进行训练时。以训练集或训练集的子集中的分类准确率为标准来设定停机准则,如果参数设定恰当,算法几乎可以在迭代的早期就停止,这种现象在大中型数据集上表现得尤为突出。在一些不平衡数据集上的实验证明了所提算法的有效性。     

梯度下降及优化算法研究综述

梯度下降法是机器学习算法中广泛使用的方法,特别是在神经网络中.本文首先概述了梯度下降法和其三种实现框架,描述其优缺点.针对算法训练时间缓慢的缺陷,首先从最经典且主流的梯度下降优化算法开始介绍,阐述研究动机、基本思想、其解决的问题,最后对比流行的梯度下降优化算法进行实验分析.     

用于运动估计的基于梯度下降搜索扩展算法

在快速搜索算法中,基于梯度下降搜索算法对搜索速度的改善非常明显,但搜索质量下降较大,尤其是对于帧间图像运动较大的序列。对该算法进行针对性扩展,提出基于梯度下降搜索扩展算法。与全搜索、新三步搜索、四步搜索、基于块的梯度下降搜索、钻石搜索算法相比较,实验结果表明该算法在搜索速度和质量上表现良好。     

基于HOG和SVM的双眼虹膜图像的人眼定位算法

针对近红外光下现有的人眼定位算法普遍存在准确性不高、泛化能力不佳等问题，提出了一种基于方向梯度直方图（HOG）和支持向量机（SVM）相结合的双眼虹膜图像的人眼定位算法。利用HOG提取虹膜图像的人眼特征，并结合SVM分类器对HOG特征进行训练从而实现人眼的精确定位。为了减少漏检和误检，进一步提高定位准确率，又提出了多级级联SVM分类器算法；另外针对近红外光线下虹膜图像独特的灰度分布特点，设计了一种图像预处理方法，能够显著提高人眼定位速度。在MIR2016和CASIA-IRIS-Distance数据集上的实验结果表明，基于HOG和SVM的双眼虹膜图像的人眼定位算法具有高准确率、强泛化能力和高实时性。     

批量减数更新方差缩减梯度下降算法BSUG

机器学习问题通常会转换成求解一个目标函数问题。继随机梯度下降（Stochastic Gradient Descent,SGD）之后,随机方差缩减梯度法（Stochastic Variance Reduction Gradient,SVRG）成为如今优化目标函数参数的主流算法,它由于不受方差影响达到线性收敛而被人们广泛研究。它的提出导致陆续出现如SAGA（Stochastic Average Gradient Average）和SCSG（Stochastically Controlled Stochastic Gradient）等新型方差缩减算法,它们有着过量消耗内存、迭代缓慢等问题。为了实现小成本存储以及快速迭代的目的,设计了一种以SVRG为基础的新型变异方差缩减算法BSUG（Batch Subtraction Update Gradient）。改进在于：使用小批量样本代替全部样本进行平均梯度计算,同时对平均梯度进行减数更新。每轮迭代中,随机抽取一批小样本进行平均梯度计算,同时在内部迭代时通过对过去模型梯度的舍去来达到更新平均梯度的目的。通过合适地降低批大小[B],可以减少内存存储以及迭代次数。理论分析算法的收敛性,并基于Python进行算法实现,通过与Mini-Batch SGD、AdaGrad、RMSProp、SVRG和SCSG等算法进行比较证明了BSUG算法的有效性,并且通过对超参数进行探究证明了算法的稳定性。     

基于多特征融合的交通标志识别算法

综合考虑识别率、时间复杂度以及鲁棒性,提出一种边缘、纹理、颜色多特征融合和支持向量机（SVM）的交通标志识别算法。通过提取能够描述交通标志图像边缘信息的方向梯度直方图（HOG）特征并进行统计平均,与能够表示标志图像内部纹理信息的局部二值模式（LBP）特征融合得到降维后的HOG-maxLBP特征,再级联交通标志的颜色特征作为最终的特征向量,最后利用SVM进行交通标志训练和分类。实验结果表明,该算法不仅提高了交通标志的识别率,而且降低了时间复杂度,增强了系统鲁棒性。     

一种基于HOG与SVM的监控视频车辆识别方法

针对基于监控视频的车辆检测识别问题,给出了一种基于视频监控的面包车识别算法。该方法对监控视频中已跟踪的车辆,提取车辆的方向梯度直方图（HOG）特征作为支持向量机（SVM）分类检测的输入,分类识别该车辆是否为面包车;通过车辆大小的检测,增强了分类识别算法的准确性与鲁棒性。实验证明,该方法能准确进行面包车的分类识别,基于实际的标清监控视频,面包车的分类准确率达到90％左右。     

一种无约束凸规划多平面修正TWSVM

对支持向量机（Twin Support Vector Machine,TWSVM）的优化思想源于基于广义特征值近似支持向量机（Proximal SVM based on Generalized Eigenvalues,GEPSVM）。该算法将传统SVM问题分解为两个凸规划问题,使得训练速度缩减到原来的1/4。对TWSVM做了修正,基于新的优化准则设计了一种特殊TWSVM（GTWSVM）,在此基础上,提出了快速GTWSVM（FGTWSVM）,其将GTWSVM转换为无约束凸规划问题求解。该算法在保证得到与TWSVM相当的分类性能以及较快的计算速度的同时,还减少了输入空间的特征数以及内存占用。对于非线性问题,FGTWSVM可以减少核函数数目。     

一种基于HOG-LBP的高效车辆检测方法

针对形状特征在车辆检测中存在的误检现象,在分析误检原因的基础上,提出一种融合形状和纹理特征的车辆检测方法。对检测窗口中划分的胞元进行方向梯度直方图特征和统一化局部二进制模式算子的求解,统计检测窗口中各胞元的特征情况,在形成浏览窗口的形状和纹理特征过程中,采用主成分分析解决特征的高维度和冗余问题,结合支持向量机进行特征训练和检测实验。实验结果证明,该方法有效兼顾车辆图像的形状和纹理两方面的特征,在不影响检测速度的同时,明显降低了车辆检测的误检率,在时效和精度两方面都取得较好的效果。     

基于多值分类SVM的电梯交通模式识别

针对电梯群控系统中的交通模式识别问题,提出一种基于多值分类支持向量机(SVM)的电梯交通模式识别方法。采用直接多值分类SVM对采集的电梯交通流数据进行分析,得到交通模式分类器,从而解决电梯交通流模式识别中多输入、多输出的非线性系统辨识问题。实验结果表明,该方法可实现全局最优且分类误差较小,能满足群控系统的要求。     

简单高效的低密度奇偶校验码比特翻转译码算法

为了提高比特翻转(BF)效率,提出一种基于平均幅度的低密度奇偶校验(LDPC)码加权梯度下降比特翻转译码算法。该方法首先以信息节点的平均幅度作为校验方程的可靠度,再用其对双极性校验子进行加权,从而构造出更加高效的比特翻转函数。在加性高斯白噪声(AWGN)信道下,误比特率(BER)为10-5时进行仿真实验,相比传统的梯度下降和基于可靠度比率的加权梯度下降比特翻转算法,所提出的算法可分别获得0.08dB和0.29dB的增益;同时,平均迭代次数可分别降低72.6%和9.3%。实验结果表明,所提算法在获得一定编码增益的同时,平均迭代次数也有所降低,可见该算法在纠错性能、实现复杂度和时延之间达到了更好的平衡匹配,能适用于实时性要求较高的高速通信系统。     

乌鸦搜索算法在SVM参数优化中的应用

参数的选择对支持向量机（SVM）分类精度和泛化能力有至关重要的影响，而群体智能算法近年来在参数优化方面应用广泛，在此背景下提出CSA-SVM模型。该模型将分类准确率作为目标函数，利用乌鸦搜索算法（CSA）求得SVM的最优参数组合。为了验证CSA-SVM模型的分类性能，将该模型应用于6个标准分类数据集，并分别与遗传算法（GA）和粒子群（PSO）算法优化后的SVM模型进行性能比较。实验结果表明，CSA算法在SVM参数选择中具有更好地寻优能力和更快地寻优速度，CSA-SVM模型具有较高的分类准确率。