基于核函数的PCA-L1算法

主成分分析方法由于使用了L2范数,因此对异常值较敏感。针对该问题,提出一种基于核函数的L1范数主成分分析方法。运用核函数将原始数据映射到核空间中得到核矩阵,再利用L1范数使距离函数达到最小。实验结果表明,该算法具有旋转不变性,对异常值和非线性问题具有稳定性,且正确识别率较高。     

多分类问题的凸包收缩方法

在最大边缘线性分类器和闭凸包收缩思想的基础上,针对二分类问题,通过闭凸包收缩技术,将线性不可分问题转化为线性可分问题。将上述思想推广到解决多分类问题中,提出了一类基于闭凸包收缩的多分类算法。该方法几何意义明确,在一定程度上克服了以往多分类方法目标函数过于复杂的缺点,并利用核思想将其推广到非线性分类问题上。     

基于闭凸包收缩的最大边缘线性分类器

SVM(support vector machines)是一种基于结构风险最小化原理的分类技术.给出实现结构风险最小化原理(最大边缘)的另一种方法.对线性可分情形,提出一种精确意义下的最大边缘算法,并通过闭凸包收缩的概念,将线性不可分的情形转化为线性可分情形.该算法与SVM算法及其Cortes软边缘算法异曲同工,但理论体系简单、严谨,其中的优化问题几何意义清楚、明确.     

一种基于核函数的非线性感知器算法

为了提高经典Rosenblatt感知器算法的分类能力，该文提出一种基于核函数的非线性感知器算法，简称核感知器算法，其特点是用简单的迭代过程和核函数来实现非线性分类器的一种设计，核感知器算法能够处理原始属性空间中线性不可分问题和高维特征空间中线性可分问题。同时，文中详细分析了其算法与径向基函数神经网络、势函数方法和支持向量机等非线性算法的关系。人工和实际数据的计算结果表明：与线性感知器算法相比，核感知器算法可以有效地提高分类精度。     

基于改进稀疏线性预测的时延估计算法

针对噪声与混响环境下,基于稀疏线性预测的时延估计算法性能下降的问题,提出一种改进的线性预测模型。为了获得麦克风信号的有效预滤波,将语音幅度谱的稀疏性和线性预测向量的稀疏性同时引入最小二乘准则,以此构建凸约束线性预测模型;运用Split-Bregman迭代方法对模型进行求解;使用预测误差信号建立基于改进L2/L1范数稀疏线性预测预白化的时延估计器。实验结果表明:与GCC-PHAT和L2/L1范数稀疏线性预测算法相比,所提算法具有更好的时延估计性能。     

一种新的海量数据分类方法

使用支持向量机对非线性可分数据进行分类的基本思想是将样本集映射到一个高维线性空间使其线性可分。文章则基于Jordan曲线定理,提出了一种通用的基于分类超曲面的分类法,它是通过直接构造分类超曲面,根据样本点关于分类曲面的围绕数的奇偶性进行分类的一种新分类判断算法,不需作升维变换,不需要考虑使用何种核函数,而直接地解决非线性分类问题。对数据分类应用的结果说明:基于分类超曲面的分类法可以有效地解决非线性数据的分类问题,并能够提高分类效率和准确度。     

核零空间线性鉴别分析及其在人脸识别中的应用

零空间线性鉴别分析NLDA充分利用样本总类内离散度矩阵的零空间信息,能有效克服线性鉴别分析LDA的小样本问题.核方法通过非线性映射,将输入空间样本映射到高维特征空间,再在高维特征空间利用线性特征提取算法.因此,核方法属于非线性特征提取算法.文中结合LDA、NLDA和核方法的优点,引入了核零空间线性鉴别分析KNLDA,导出了KNLDA算法.该算法通过引入核函数,得到低维矩阵,有效避免了直接计算复杂的非线性映射函数,解决了高维类内离散度矩阵的维数灾难问题.同时,将KNLDA算法应用于人脸识别.基于ORL人脸数据库以及ORL与Yale混合人脸数据库的实验结果表明了KNLDA算法的有效性.     

适合大样本的线性SVMs快速集成模型

线性SVM具有算法简单、训练和测试速度快等优点,但不能用于解决线性不可分问题。为此,将样本数据集划分为多个集合并分别构造它们的LSVM,然后运用径向基函数的非线性组合来拟合非线性的决策函数,从而解决线性不可分问题。鉴于此,提出了一种适合非线性大样本分类的LSVM快速集成模型FMELSVM。该模型利用径向基函数RBF改善了LSVM的非线性输出能力,同时引进了优化权来提升LSVM的集成效果。UCI数据集的实验结果表明,FMELSVM在处理大样本方面具有较好的性能优势。     

线性分类中基于感知器的子网分析法研究

为解决一层感知器对线性不可分矢量分类的限制,提出了一种基于一隐层感知器神经网络模型的子网分析方法。子网分析法网络构造严格精确但预处理较复杂,适合于低维矢量的分类,不会产生错分。用三维线性不可分矢量验证了这种方法的可行性。     

基于核局部线性嵌入算法的图像去噪方法

利用局部线性嵌入算法进行图像去噪时,如果局部近邻样本呈现非线性关系,图像去噪效果会受到影响。针对该问题,提出基于核局部线性嵌入算法的图像去噪方法。通过非线性核函数将样本映射到高维线性空间,在高维空间运用局部线性嵌入算法进行图像去噪。实验结果表明,该方法能有效地对高维非线性图像进行去噪,性能优于中值滤波算法和局部线性嵌入算法。     

Saturated Perceptrons for Maximum Margin and Minimum Misclassification Error

This Letter discusses the application of gradient-based methods to train a single layer perceptron subject to the constraint that the saturation degree of the sigmoid activation function (measured as its maximum slope in the sample space) is fixed to a given value. From a theoretical standpoint, we show that, if the training set is not linearly separable, the minimization of an L _p error norm provides an approximation to the minimum error classifier, provided that the perceptron is highly saturated. Moreover, if data are linearly separable, the perceptron approximates the maximum margin classifier     

Incorporating fuzzy membership functions into the perceptron algorithm

The perceptron algorithm, one of the class of gradient descent techniques, has been widely used in pattern recognition to determine linear decision boundaries. While this algorithm is guaranteed to converge to a separating hyperplane if the data are linearly separable, it exhibits erratic behavior if the data are not linearly separable. Fuzzy set theory is introduced into the perceptron algorithm to produce a ``fuzzy algorithm' which ameliorates the convergence problem in the nonseparable case. It is shown that the fuzzy perceptron, like its crisp counterpart, converges in the separable case. A method of generating membership functions is developed, and experimental results comparing the crisp to the fuzzy perceptron are presented.     

基于非线性规划理论的凸多面体最小平移距离算法

凸多面体的最小平移距离问题一直以来都成为计算机图形学的一个研究热点.目前已有的距离算法在稳定性、可实现性、精确度和实现效率这几方面或多或少都存在一定的缺陷.为此,从最小平移距离定义出发,引入广义分离平面概念,提出一种用非线性规划求解距离问题的新算法.算法先定义一对最优广义分离平面以确定凸多面体最小平移距离;然后,将最优广义分离平面对的搜索问题等效变换为非线性规划问题;最后,用非线性优化工具软件对非线性规划问题进行求解,从而确定最小平移距离.实验结果表明：该算法能提供一个准确的距离值和实现向量,其性能优于其他同类算法;迭代次数与多面体的顶点数呈线性关系.此外,该算法只需提供顶点信息即可实现,求解过程中避免了死循环,故实现简单、可靠.因此,此算法是一种快速而有效的距离算法.     

基于相似压缩的近似线性SVM

为了解决模式识别中的近似线性可分问题,提出了一种新的近似线性支持向量机(SVM).首先对近似线性分类中的训练集所形成的两类凸壳进行了相似压缩,使压缩后的凸壳线性可分;基于压缩后线性可分的凸壳,再用平分最近点和最大间隔法求出最优的分划超平面.然后再通过求解最大间隔法的对偶问题,得到基于相似压缩的近似线性SVM.最后,从理论和实证分析两个方面,将该方法与线性可分SVM及推广的平分最近点法进行了对比分析,说明了该方法的优越性与合理性.     

Selection of optimal set of weights in a layered network using genetic algorithms

Genetic algorithms represent a class of highly parallel robust adaptive search processes for solving a wide range of optimization and machine learning problems. The present work is an attempt to demonstrate their effectiveness to search a global optimal solution to select a decision boundary for a pattern recognition problem using a multilayer perceptron. The proposed method incorporates a new concept of nonlinear selection for creating mating pools and a weighted error as a fitness function. Since there is no need for the backpropagation technique, the algorithm is computationally efficient and avoids all the drawbacks of the backpropagation algorithm. Moreover, it does not depend on the sequence of the training data. The performance of the method along with the convergence has been experimentally demonstrated for both linearly separable and nonseparable pattern classes.     

Linearly and Quadratically Separable Classifiers Using Adaptive Approach

This paper presents a fast adaptive iterative algorithm to solve linearly separable classification problems in R n.In each iteration,a subset of the sampling data (n-points,where n is the number of features) is adaptively chosen and a hyperplane is constructed such that it separates the chosen n-points at a margin and best classifies the remaining points.The classification problem is formulated and the details of the algorithm are presented.Further,the algorithm is extended to solving quadratically separable classification problems.The basic idea is based on mapping the physical space to another larger one where the problem becomes linearly separable.Numerical illustrations show that few iteration steps are sufficient for convergence when classes are linearly separable.For nonlinearly separable data,given a specified maximum number of iteration steps,the algorithm returns the best hyperplane that minimizes the number of misclassified points occurring through these steps.Comparisons with other machine learning algorithms on practical and benchmark datasets are also presented,showing the performance of the proposed algorithm.     

基于改进的SVM线性可分文本分类算法

支持向量机(Support Vector Machines,简称SVM)根据有限的样本信息在对文本分类的精度和学习能力之间,相比其他的文本分类算法寻求了最佳折中,从而获得了较好的推广能力。而SVM是从线性可分情况下的最优分类面发展而来的,因此对于线性可分文本具有更好的分类效果。给出了一种效率较高的线性可分文本的SVM算法,它在训练的时间复杂度上具有明显的改进,从而可以提高训练效率。结果表明:改进后的SVM算法相比以前的算法大大提高了运行效率。     

感知器学习算法研究

介绍感知器学习算法及其变种,给出各种感知器算法的伪代码,指出各种算法的优点。给出感知器算法在线性可分和线性不可分情况下的误差界定理,讨论各种感知器学习算法的误差界理论,给出各种算法的误差界。介绍感知器学习算法在在线优化场景、强化学习场景和赌博机算法中的应用,并对未解决的问题进行讨论。