正则化FDA的核化及与SVM的比较研究*

无论是Fisher判别分析（FDA）还是基于核的FDA（KFDA）,在小样本情况下都会面临矩阵的病态问题,正则化技术是解决该问题的有效途径。为了便于研究正则化FDA与支持向量机（SVM）的关系,推导了一种正则化FDA的核化算法。将约束优化问题转换为对偶的优化问题,得到了与SVM相似的形式,分析了该核化算法与SVM的联系。针对Tenessee-Eastman(TE)过程的故障诊断结果表明,正则化KFDA的诊断效果明显好于LS-SVM。     

L1范数正则化SVM聚类算法

提出L1范数正则化支持向量机(SVM)聚类算法。该算法能够同时实现聚类和特征选择功能。给出L1范数正则化SVM聚类原问题和对偶问题形式,采用类似迭代坐标下降的方法求解困难的混合整数规划问题。在多组数据集上的实验结果表明,L1范数正则化SVM聚类算法聚类准确率与L2范数正则化SVM聚类算法相近,而且能够实现特征选择。     

正则化路径上三步式SVM贝叶斯组合

模型组合旨在整合并利用假设空间中多个模型提高学习系统的稳定性和泛化性.针对支持向量机(support vector machine,SVM) 模型组合多采用基于样本采样方法构造候选模型集的现状,研究基于正则化路径的SVM模型组合.首先证明SVM模型组合Lh-风险一致性,给出SVM模型组合基于样本的合理性解释.然后提出正则化路径上的三步式SVM贝叶斯组合方法.利用SVM正则化路径分段线性性质构建初始模型集,并应用平均广义近似交叉验证(generalized approximate cross-validation, GACV)模型集修剪策略获得候选模型集.测试或预测阶段,应用最小近邻法确定输入敏感的最终组合模型集,并实现贝叶斯组合预测.与基于样本采样方法不同,三步式SVM贝叶斯组合方法基于正则化路径在整个样本集上构造模型集,训练过程易于实现,计算效率较高.模型集修剪策略可减小模型集规模,提高计算效率和预测性能.实验结果验证了正则化路径上三步式SVM模型组合的有效性.     

迭代再权q范数正则化LS SVM分类算法

提出一种迭代再权q范数正则化最小二乘支持向量机(LS SVM)分类算法。该算法通过交叉校验过程选择正则化范数的阶次q (0相似文献   

基于词向量的多维度正则化SVM社交网络抑郁倾向检测方法

针对目前抑郁症的诊断方式单一、诊断率低等问题,提出一种基于词向量的多维度正则化SVM社交网络抑郁倾向检测方法.通过人工标注获得训练数据,并请心理学硕士对数据进行验证,确保数据的可用性.在预处理阶段,统计得到常用的抑郁词,使用腾讯词向量进行文本向量化及用户向量化,在构建向量的过程中加入TF-IDF和抑郁词权重因子;在训练...     

正则化参数求解方法研究

针对BP神经网络算法训练过程中出现的过拟合问题,提出了利用一阶原点矩,二阶原点矩,方差和极大似然估计概念的推广来计算L2正则化中正则化参数λ值的方法。该方法通过对算法数据集[X,Y]中的X矩阵进行运算得到的四个λ值,BP神经网络算法训练时通常采用的是贝叶斯正则化方法,贝叶斯正则化方法存在着对先验分布和数据分布依赖等问题,而利用上述概念的推广计算的参数代入L2正则化的方法简便没有应用条件限制;在BP神经网络手写数字识别的实验中,将该方法与贝叶斯正则化方法应用到实验中后的算法识别结果进行比较,正确率提高了1.14-1.50个百分点;因而计算得到的λ值应用到L2正则化方法与贝叶斯正则化方法相比更能使得BP神经网络算法的泛化能力强,证明了该算法的有效性。     

SVM在多目标跟踪中的回波分类及并行化研究

在蒙特卡罗联合概率数据关联滤波(MC-JPDAF)算法基础上提出了SVM-MC-JPDAF算法,采用支持向量机(SVM)分类技术,针对跟踪门交叉区域的有效回波进行特别分类。通过仿真实验,算法有效地降低了失跟率以及目标估计值的均方根误差(RMSE),并且对算法实现了并行化,在提高性能的同时控制了算法的执行负担。     

基于CUDA的SVM算法并行化研究

SVM算法在统计分类以及回归分析中得到了广泛的应用。而随着物联网的迅速发展,SVM算法在各种应用中往往需要解决大量数据的快速处理问题。在SVM算法并行化研究中,首先对SVM算法进行分析研究,提出了基于CUDA的SVM算法并行化方案;其次,进一步研究海量数据的处理,提出海量数据处理的并行化方案;最后,通过实验分析对比了并行化算法的性能。     

批量正则化DBN分类方法研究

针对深度置信网络（DBN）在微调过程中易受训练参数影响的问题,提出一种批量正则化DBN分类方法（BNDBN）。该方法首先利用DBN进行无监督学习以获得原始数据的高层次表达;然后通过引入尺度变换和平移变换参数对网络中间层的输出特征每一维进行批量正则化处理;并将处理后的特征输入到非线性变换激活层中;最后使用随机梯度下降法对仿射变换参数以及原始网络的参数进行训练学习。BNDBN方法减少了梯度对参数规模的依赖性,有效解决了因网络参数变化而造成的激活函数值分布变化的问题,提高了训练效率。为了检验所提出方法的有效性,选取MNIST手写体数据库和USPS手写数字识别库进行测试,通过与Dropout-DBN、DBN、ANN、SVM、KNN对比,结果表明,提出的方法分类准确率明显提高,具有更强的特征提取能力。     

中文语音合成中的文本正则化研究

中文文本正则化是把非汉字字符串转化为汉字串以确定其读音的过程。该工作的难点:一是正则化对象——非汉字串形式复杂多样,难于归纳;二是非汉字串有歧义,需要消歧处理。文章引入非标准词的概念对非汉字串进行有效归类,提出非标准词的识别、消歧及标准词生成的三层正则化模型。在非标准词的消歧中引入机器学习的方法,避免了复杂规则的书写。实验表明,此方法取得了很好的效果,并具有良好的推广性,开放测试的正确率达到98.64%。     

基于流形正则化的分类与回归算法及应用

利用流形正则化的思想,围绕半监督学习,提出了一种针对流形正则化的模式分类和回归分析的新算法.该算法基于流形上的正则化项和传统的正则化项相结合的方法,利用支持向量机分类与回归已有的结果,解决半监督学习的分类与回归问题,提高了泛化能力.该算法实现简单,无需调用其他程序.通过数值试验,验证了该算法具有较好的泛化能力,对噪音具有较强的鲁棒性.且在分类问题上,该算法在输入极少数有标签样本时,也能保持较好的分类效果;在回归问题上,也具有较好的学习精度,尤其在输入带有噪音的流形数据上时,表现就更为突出.     

基于社会正则化的推荐算法研究

社会网络中包含大量的社会信息,如何从这些社会信息中发掘对用户有用的信息已成为学者和专家的研究热点。本文提出一种基于社会正则化的推荐算法:把改进的矩阵分解技术应用到社会化推荐中;利用社会网络中用户间的朋友关系来优化对用户的建模,学习更好的用户特征空间模型;利用社会网络中的标签信息建立用户和物品的关系,并利用这种关系来优化用户-物品的建模。实验结果表明,改进后的推荐算法的精确度高于传统的推荐算法,有效地解决了社会信息冗余问题。     

奇异控制正则化及刚度移置法

基于结构力学中子结构链与 LQ 离散时间控制的模拟关系,本文给出了代数里卡提方程的两种等价表达形式,利用其中的势能列式提出了刚度移置法.采用刚度移置法及适当的变换导出了奇异控制问题的里卡提方程.     

正则化的模糊Ho-Kashyap分类器

1引言 Ho-Kashyap算法是统计模式识别[1]中一种有效的线性分类器的设计方法,但传统Ho-Kashyap算法[2]存在的主要缺点是无法控制算法的推广能力.J.Leski在Ho-Kashyap算法[3]中引入了正则化因子来控制分类器的复杂度,从而控制算法的推广能力.为体现分类面附近的样本点对分类面的影响程度,本文在MHKA算法基础上对损失函数引入了模糊性度量,实验表明:MHKA算法进一步提高了分类的能力.     

基于流形正则化的文档分类算法研究

基于流形正则化框架提出一种分类算法(MI_I}RI_SC),以解决高维文档分类问题。该算法通过构建训练样 本的最近部图来佑计数据空间的几何结构并将其作为流形正则化项,结合多变量线性回归获得高维文档的低维流形 结构,并采用k近部分类器对低维流形进行分类,得到针对多类问题的分类器。该算法能够充分利用训练样本的类别 信息来帮助学习以提取有效特征。通过在Rcutcrs 21578数据集上的实验,证明该算法的分类性能和运行速度比传统 分类器有较大的提高。     

数字图像恢复的迭代投影正则化方法研究

图像恢复的目的是对模糊的图像进行处理,使它趋向于复原的或没有噪声影响的理想图像。研究图像恢复的迭代正则化方法,主要研究梯度法,特别是提出了求图像恢复的投影共轭梯度法。针对受大气扰动影响的遥感图像,根据梯度法使用MATLAB进行编程,对模糊且带噪音的图像进行恢复,并与经典的最小二乘法进行比较。     

SVM分类核函数及参数选择比较

支持向量机（SVM）被证实在分类领域性能良好,但其分类性能受到核函数及参数影响。讨论核函数及参数对SVM分类性能的影响,并运用交叉验证与网格搜索法进行参数优化选择,为SVM分类核函数及参数选择提供借鉴。     

奇异控制正则化方法的推广与应用

本文将D.H.Jacobson正则化方法推广用以求解更一般的奇异控制问题。将算法用来解决水厂优化控制,取得了显著效果。     

SVM和基于PCA、PLS的SVM在非线性辨识中的比较研究

对于同一个非线性系统,比较单纯ε-不灵敏支持向量机方法和基于主元提取、基于偏最小二乘提取的ε-不灵敏支持向量机方法在输入相关和不相关两种情况下的拟合性能和抗干扰性能.仿真结果表明:当输入变量之间存在相关性时,基于特征提取的方法优于直接采用ε-不灵敏支持向量机的方法.     

DCT域上人脸光照正则化及识别

现有的光照正则化处理算法,都是在空间域中进行的,为避免海量图像解压缩的时间消耗,在JPEG图像上直接进行光照正则化处理,提高人脸识别效率,在DCT域上,基于三维辐照度方程,把差图像法推广到了DCT域上,并在DCT域上提出了分量图像法。实验表明：差图像法与分量图像法均能在DCT域中有效地削弱光照方向对人脸识别的负面影响。