L1+L2正则化逻辑斯蒂模型分类算法

提出一种L1+L2范数正则化逻辑斯蒂模型分类算法。该算法引入L2范数正则化,解决L1正则化逻辑斯蒂算法迭代过程奇异问题,通过引入样本向量的扩展和新的权值向量完成L1范数非平滑问题,最终使用共轭梯度方法求解经过转化的最优化问题。在各种实际数据集上的实验结果表明,该算法优于L2范数、L1范数和Lp范数正则化逻辑斯蒂模型,具有较好的特征选择和分类性能。     

Stacking集成学习模型在混合式成绩分类预测中的应用

针对现有单一算法模型在成绩预测时存在泛化能力不强的问题, 提出一种基于多算法融合的Stacking集成学习模型, 用于混合式教学中学生成绩的预测. 模型以多项式朴素贝叶斯、AdaBoost和Gradient boosting为初级学习器, 逻辑斯蒂回归为次级学习器组成两层融合框架. 通过混合式教学过程中所产生的学习行为数据对模型进行验证. 实验表明, Stacking集成学习模型在测试集上分类预测准确率达到76%, 分别高于多项式朴素贝叶斯、AdaBoost、Gradient boosting和逻辑斯蒂回归4个单一算法模型5%、6%、9%和6%. 与单一算法模型相比, Stacking集成学习模型有着较强的泛化能力, 能更好地预测学生成绩, 为混合式教学的学习预警提供参考.     

基于XGBoost的Ebay网上拍卖最终成交价格预测

对成交价格进行预测,旨在获得Ebay拍卖品的价格动态,使买卖双方更好地进行交易.将价格区间进行多分类划分和多次最优参数选择,建立极端梯度提升(XGBoost,eXtreme Gradient Boosting)模型,并与最优逻辑斯蒂回归模型比较,使用平均准确率作为模型的评估指标.经比较发现XGBoost模型达到90.55％的准确率,明显优于逻辑斯蒂回归模型.此外通过十次迭代,分别得到两个模型的准确率变化趋势,结果显示Xgboost具有更高的准确率.     

基于内点法的稀疏逻辑回归财务预警模型

逻辑回归已广泛应用于财务危机建模,但是一定程度存在过拟合问题.为了避免建模出现上述问题,提出了基于L1正则化逻辑回归的财务预警模型.该模型是一种稀疏模型,能同时实现变量选择和参数估计,具有较强的鲁棒性.同时,针对L1正则化逻辑回归问题的求解,提出了一种高效的基于内点法的求解算法.结合沪深股市A股制造业上市公司进行实证分析,分析结果表明,L1正则化逻辑回归模型在预报精度、经济解释性等方面明显优于其他逻辑回归模型,并且提出的内点法与其它求解算法相比具有一定的优越性.     

基于优势决策的神经机制解码方法研究

研究了优势决策中的神经机制解码方法。神经机制解码方法分为基于统计分析的单变量分析和基于机器学习的多变量分析。通过比较基于单变量的广义线性模型和基于多变量的多体素模式分析,探索优势决策中的解码方法。单变量分析中,采用单特征的逻辑斯蒂回归建立模型,多变量分析中,对比了以K近邻、朴素贝叶斯、线性支持向量机、非线性支持向量机为分类器的分类模型。结果表明利用线性支持向量机建立的模型,可以得到优于其他方法的解码精度,且多变量分类模型解码能力均在统计意义上优于单变量模型。     

具有博弈概率选择的多子群粒子群算法

针对粒子群算法在求解复杂多峰函数时存在早熟、易陷入局部最优、全局收敛性能差等缺陷,考虑种群结构、多模式学习和个体间博弈等因素,提出了具有博弈概率选择的多子群粒子群算法.该算法从改善群体多样性、提升个体搜索能力的角度出发,构建了动态多种群结构,并针对每个子群构建不同的学习策略(极端学习、复合学习、邻域学习和随机学习),子群间进行最优信息共享,形成异构多子群的多源学习方式;将进化博弈思想引入群体搜索过程中,个体通过收益矩阵和扎根概率进行策略概率选择,进入适合个体能力提升的子群进行学习.基于12个标准测试函数,针对算法中重要参数子群规模L的取值进行了组合实验,结果表明L取值N/2或N/3时,种群适应度分布及中位值具有明显优势;针对算法性能测试,利用不同维度下的标准测试函数与7种同类型算法进行对比实验,实验结果显示,改进算法在最优值、求解稳定性及收敛特征上整体优于对比算法,说明多源学习和博弈概率选择策略可以有效改善粒子群算法的性能.     

结合粗糙集与集成学习的中文文本分类方法研究

介绍中文文本分类的流程及相关技术。在分析传统的文本特征选择不足的基础上,提出了基于粗糙集与集成学习结合的文本分类方法,通过粗糙集进行文本的特征选择,采用一种集成学习算法AdaBoost.M1来提高弱分类器的分类性能,对中文文本进行分类。实验证明,这种算法分类结果的F1值比C4.5、kNN分类器都高,具有更加优良的分类性能。     

一种适用于IDS的多次模糊迭代特征选择算法

本文针对入侵检测系统（IDS）被检测数据的特点，对适用于IDS的特征选择算法进行了研究，提出了一种基于分类的多次模糊迭代特征选择算法。该算法包括在属性空间中搜索特征子集、评估每个候选特征子集和分类这3个步骤，设计了与之相应的搜索算法和评估函数；算法通过多次迭代去除特征值集的冗余特征，得到精确度较高的特征值集；使用模糊逻辑得到与精确度要求相应的取值范围；由于单纯对数据进行操作，能比依赖于领域知识的算法更客观地分析数据。文内还对所提出的算法做了测试实验；并将实验结果与用可视化工具产生的特征可视化结果进行了比较。结果表明：该算法在IDS数据集上可取得良好的特征选择效果。     

基于标记特征的多标记学习改进算法

基于标记特征的多标记分类算法通过对标记的正反样例集合进行聚类,计算样例与聚类中心间的距离构造样例针对标记的特征子集,并生成新的训练集,在新的训练集上利用传统的二分类器进行分类。算法在构造特征子集的过程中采用等权重方式,忽略了样例之间的相关性。提出了一种改进的多标记分类算法,通过加权方式使生成的特征子集更加准确,有助于提高样例的分类精度。实验表明改进的算法性能优于其他常用的多标记分类算法。     

基于局部保持投影的鲁棒稀疏子空间学习

传统的子空间学习算法包含投影学习和分类两个过程,但是这两个过程分离,且对离群点较敏感,可能导致算法无法获得整体最优解。为此,提出了一种基于局部保持投影的鲁棒稀疏子空间学习算法。该算法将特征学习和分类模型相结合,使学习得到的子空间特征更具有判别性;利用L2,1范数的行稀疏性质,剔除冗余特征,同时在算法模型中考虑数据样本的局部关系来提高对离群点的鲁棒性;最后采用交替迭代方法来求解该模型。在不同数据集上的实验结果表明该算法具有较好的识别效果。     

A novel active learning approach for the classification of hyperspectral imagery using quasi-Newton multinomial logistic regression

In this article, a novel active learning approach is proposed for the classification of hyperspectral imagery using quasi-Newton multinomial logistic regression/Davidon, Fletcher, and Powell selective variance (MLR-DFP-SV). The proposed approach consists of two main steps: (1) a fast solution for the MLR classifier, where the logistic regressors are obtained by the use of the quasi-Newton algorithm; and (2) selection of the most informative unlabelled samples. The SV method is applied to select the most informative unlabelled samples, based on the posterior density distributions. Experiments on two real hyperspectral data sets confirmed that the proposed approach can effectively select the most informative unlabelled samples and improve the classification accuracy. Three different methods – the maximum information (MI), breaking ties (BT), and minimum error (ME) methods – were also used to obtain the most informative unlabelled samples, and it was found that the new sample selection method – SV – can select more informative samples than the BT, MI, and ME methods.     

稀疏自编码和Softmax回归的快速高效特征学习

针对特征学习效果与时间平衡问题,提出了一种快速高效的特征学习方法.将稀疏自编码和Softmax回归组合成一个新的特征提取模型,在提取原始图像潜在信息的基础上,利用多分类器返回值可以反映输入信息的相似程度的特点,快速高效的学习利于分类的特征向量.鉴于标签信息已知,该算法在图像分类效果上明显优于几种典型的特征学习方法.为了使所提算法具有更好的泛化能力,回归模型的损失函数中加入了L2范数防止过拟合,同时,采用随机梯度下降的方法得到模型的最优参数.在4个标准数据集上的测试结果表明该算法是有效可行的.     

基于多源的跨领域数据分类快速新算法

研究跨领域学习与分类是为了将对多源域的有监督学习结果有效地迁移至目标域,实现对目标域的无标记分 类. 当前的跨领域学习一般侧重于对单一源域到目标域的学习,且样本规模普遍较小,此类方法领域自适应性较差,面对 大样本数据更显得无能为力,从而直接影响跨域学习的分类精度与效率. 为了尽可能多地利用相关领域的有用数据,本文 提出了一种多源跨领域分类算法（Multiple sources cross-domain classification,MSCC）,该算法依据被众多实验证明有效的罗杰斯特回归模型与一致性方法构建多个源域分类器并综合指导目标域的数据分类. 为了充分高效利用大样本的 源域数据,满足大样本的快速运算,在MSCC的基础上,本文结合最新的CDdual （Dual coordinate descent method）算 法,提出了算法MSCC的快速算法MSCC-CDdual,并进行了相关的理论分析. 人工数据集、文本数据集与图像数据集的实 验运行结果表明,该算法对于大样本数据集有着较高的分类精度、快速的运行速度和较高的领域自适应性. 本文的主要贡 献体现在三个方面:1）针对多源跨领域分类提出了一种新的一致性方法,该方法有利于将MSCC算法发展为MSCC-CDdual快速算法;2）提出了MSCC-CDdual快速算法,该算法既适用于样本较少的数据集又适用于大样本数据集;3） MSCC-CDdual 算法在高维数据集上相比其他算法展现了其独特的优势.     

深度置信网络在极化SAR图像分类中的应用

目的 深度置信网络能够从数据中自动学习、提取特征,在特征学习方面具有突出优势。极化SAR图像分类中存在海量特征利用率低、特征选取主观性强的问题。为了解决这一问题,提出一种基于深度置信网络的极化SAR图像分类方法。方法 首先进行海量分类特征提取,获得极化类、辐射类、空间类和子孔径类四类特征构成的特征集;然后在特征集基础上选取样本并构建特征矢量,用以输入到深度置信网络模型之中;最后利用深度置信网络的方法对海量分类特征进行逐层学习抽象,获得有效的分类特征进行分类。结果 采用AIRSAR数据进行实验,分类结果精度达到91.06%。通过与经典Wishart监督分类、逻辑回归分类方法对比,表现了深度置信网络方法在特征学习方面的突出优势,验证了方法的适用性。结论 针对极化SAR图像海量特征的选取与利用,提出了一种新的分类方法,为极化SAR图像分类提供了一种新思路,为深度置信网络获得更广泛地应用进行有益的探索和尝试。     

改进的弹性网模型在深度神经网络中的应用

由于具有较高的模型复杂度，深层神经网络容易产生过拟合问题，为了减少该问题对网络性能的不利影响，提出一种基于改进的弹性网模型的深度学习优化方法。首先，考虑到变量之间的相关性，对弹性网模型中的L1范数的不同变量进行自适应加权，从而得到L2范数与自适应加权的L1范数的线性组合。其次，将改进的弹性网络模型与深度学习的优化模型相结合，给出在这种新正则项约束下求解神经网络参数的过程。然后，推导出改进的弹性网模型在神经网络优化中具有群组选择能力和Oracle性质，进而从理论上保证该模型是一种更加鲁棒的正则化方法。最后，在多个回归问题和分类问题的实验中，相对于L1、L2和弹性网正则项，该方法的回归测试误差可分别平均降低87.09、88.54和47.02，分类测试准确度可分别平均提高3.98、2.92和3.58个百分点。由此，在理论和实验两方面验证了改进的弹性网模型可以有效地增强深层神经网络的泛化能力，提升优化算法的性能，解决深度学习的过拟合问题。     

构造样本k近邻数据的多标签分类算法

在多标签分类问题中,通过k近邻的分类思想,构造测试样本关于近邻样本类别标签的新数据,通过回归模型建立在新数据下的多标签分类算法。计算测试样本在每个标签上考虑距离的k近邻,构造出每个样本关于标签的新数据集。对新数据集采取线性回归和Logistic回归,给出基于样本k近邻数据的多标签分类算法。为了进一步利用原始数据的信息,考虑每个标签关于原始属性的Markov边界,结合新数据的特征建立新的回归模型,提出考虑Markov边界的多标签分类算法。实验结果表明所给出的方法性能优于常用的多标签学习算法。     

一种半监督支持向量机优化方法

针对半监督支持向量机在采用间隔最大化思想对有标签样本和无标签样本进行分类时面临的非凸优化问题,提出了一种采用分布估计算法进行半监督支持向量机优化的方法EDA_S3VM。该方法把无标签样本的标签作为需要优化的参数,从而得到一个在标准支持向量机上的组合优化问题,利用分布估计算法通过概率模型的学习和采样来对问题进行求解。在人工数据集和公共数据集上的实验结果表明,EDA_S3VM与其它一些半监督支持向量机算法相比有更高的分类准确率。     

A novel logistic multi-class supervised classification model based on multi-fractal spectrum parameters for hyperspectral data

A novel logistic multi-class supervised classification model based on multi-fractal spectrum parameters is proposed to avoid the error that is caused by the difference between the real data distribution and the hypothetic Gaussian distribution and avoid the computational burden working in the logistic regression classification directly for hyperspectral data. The multi-fractal spectra and parameters are calculated firstly with training samples along the spectral dimension of hyperspectral data. Secondly, the logistic regression model is employed in our work because the logistic regression classification model is a distribution-free nonlinear model which is based on the conditional probability without the Gaussian distribution assumption of the random variables, and the obtained multi-fractal parameters are applied to establish the multi-class logistic regression classification model. Finally, the Newton–Raphson method is applied to estimate the model parameters via the maximum likelihood algorithm. The classification results of the proposed model are compared with the logistic regression classification model based on an adaptive bands selection method by using the Airborne Visible/Infrared Imaging Spectrometer and airborne Push Hyperspectral Imager data. The results illuminate that the proposed approach achieves better accuracy with lower computational cost simultaneously.     

Logistic label propagation

In this paper, we propose a novel method for semi-supervised learning, called logistic label propagation (LLP). The proposed method employs the logistic function to classify input pattern vectors, similarly to logistic regression. To cope with unlabeled samples as well as labeled ones in the semi-supervised learning framework, the logistic functions are learnt by using similarities between samples in a manner similar to label propagation. In the proposed method, these two methods of logistic regression and label propagation are effectively incorporated in terms of posterior probabilities. LLP estimates the labels of input samples by using the learnt logistic function, whereas the method of label propagation has to optimize the whole labels whenever an input sample comes. In addition, we suggest the way to provide proper parameter setting and initialization, which frees the users from determining a parameter value in trial and error. In experiments on classification (estimating labels) in the semi-supervised learning framework, the proposed method exhibits favorable performances compared to the other methods.