多尺度核方法的自适应序列学习及应用

多尺度核方法是当前核机器学习领域的一个热点。通常多尺度核的学习在多核处理时存在诸如多核平均组合、迭代学习时间长、经验选择合成系数等弊端。文中基于核目标度量规则,提出一种多尺度核方法的自适应序列学习算法,实现多核加权系数的自动快速求取。实验表明,该方法在回归精度、分类正确率方面比单核支持向量机方法结果更优,函数拟合与分类稳定性更强,证明该算法具有普遍适用性。     

核函数的度量研究进展

核函数的度量(简称核度量)研究两个核函数(或一个核函数与另一个目标函数)之间相似性的度量方法,是核函数研究中的一个重要课题。系统综述了核度量的研究状况以及目前的研究进展,分析了典型核度量方法的特点及不足,并凝炼了其进一步研究的方向。     

基于统计检验的核函数度量方法研究

将统计检验方法应用于核函数度量.以核函数、规范化核函数、中心化核函数和核距离作为样本在特征空间中的几何关系度量,使用t检验和F检验等7种统计检验方法检验特征空间中同类样本间几何关系度量值与异类样本间几何关系度量值的分布差异,以此反映特征空间中同类样本间内聚性与异类样本间分离性间的差异.在11个UCI数据集上进行的核函数选择实验表明,基于统计检验的核度量方法达到或超过了核校准与特征空间核度量标准等方法的效果,适用于核函数度量;并且发现两类数据分布差异主要体现在了方差差异上.此外,对核函数的处理(规范化或中心化)会改变特征空间,使得度量结果失真.     

结合信息能度量的核形态差异学习*

利用核映射及非局部均值降噪特性构造相似性度量,即信息能度量。通过对细胞表型图进行特征映射并结合信息能度量得到图像特征的形态差异目标函数,依据梯度上升优化获取最优度量矩阵,建立基于核方法的形态差异学习模型。该模型特点在于:不仅考虑了各类样本的相似性,同时在降低噪声影响形态差异学习的过程中充分利用了图像的高阶统计量和非线性特征。实验结果表明,该核化算法灵敏度更高,且具有较好的鲁棒性,能有效应用于临床诊断。     

基于核策略的半监督学习方法

通过扩展核一致性方法,提出基于核策略的半监督学习算法GCM,研究5种不同度量方法中参数与算法性能的关系,对使用不同度量的GCM算法的性能进行比较。实验结果表明,使用指数度量的GCM算法的性能最优,而使用欧几里得度量的GCM算法的性能最差。不同度量中的参数取值对算法的性能具有一定的影响。     

普适性核度量标准比较研究

核方法是一类应用较为广泛的机器学习算法,已被应用于分类、聚类、回归和特征选择等方面.核函数的选择与参数优化一直是影响核方法效果的核心问题,从而推动了核度量标准,特别是普适性核度量标准的研究.对应用最为广泛的5种普适性核度量标准进行了分析与比较研究,包括KTA,EKTA,CKTA,FSM和KCSM.发现上述5种普适性度量标准的度量内容为特征空间中线性假设的平均间隔,与支持向量机最大化最小间隔的优化标准存在偏差.然后,使用模拟数据分析了上述标准的类别分布敏感性、线性平移敏感性、异方差数据敏感性,发现上述标准仅是核度量的充分非必要条件,好的核函数可能获得较低的度量值.最后,在9个UCI数据集和20Newsgroups数据集上比较了上述标准的度量效果,发现CKTA是度量效果最好的普适性核度量标准.     

支持向量机核函数选择研究与仿真

支持向量机是一种基于核的学习方法,核函数选取对支持向量机性能有着重要的影响,如何有效地进行核函数选择是支持向量机研究领域的一个重要问题。目前大多数核选择方法不考虑数据的分布特征,没有充分利用隐含在数据中的先验信息。为此,引入能量熵概念,借助超球体描述和核函数蕴藏的度量特征,提出一种基于样本分布能量熵的支持向量机核函数选择方法,以提高SVM学习能力和泛化能力。数值实例仿真验证表明了该方法的可行性和有效性。     

基于核矩阵学习的XML文档相似度量方法

XML文档作为一种新的数据形式,成为当前的研究热点.XML文档间相似度的计算是XML文档分析、管理及文本挖掘的基础.结构链接向量模型(structuredlink vector model,简称SLVM)是一种综合考虑XML文档结构信息与内容信息进行XML文档相似度量的方法.体现XML文档结构单元关系的核矩阵在结构链接向量模型中扮演着重要角色.为自动捕获XML文档结构单元关系,提出了两种核矩阵的学习算法,分别是基于支持向量机(support vector machine,简称SVM)的回归学习算法和基于矩阵迭代的学习算法.相似搜索实验对比结果表明,基于核矩阵学习方法的XML文档相似度量方法的准确性明显优于其他方法.进一步实验表明,基于矩阵迭代学习的核矩阵学习算法与基于支持向量机的回归学习算法相比,不仅具有更高的准确性,而且所需训练文档更少、计算代价更小.     

基于GHA的核主成分分析及其应用

文中提出了一种将GHA（Generalized Hebbian Algorithm）学习规则应用到核主成分分析的新方法，它结合了核主成分分析和GHA学习规则的优点，既能利用核主成分分析的方法方便地提取数据的非线性特征，又能避免在大样本数据的情况下运算复杂和存储空间大的问题。实验证明了该方法的可行性和高效性。     

基于GHA的核主成分分析及其应用

文中提出了一种将GHA(Generalized Hebbian Algorithm)学习规则应用到核主成分分析的新方法,它结合了核主成分分析和GHA学习规则的优点,既能利用核主成分分析的方法方便地提取数据的非线性特征,又能避免在大样本数据的情况下运算复杂和存储空间大的问题。实验证明了该方法的可行性和高效性。     

Learning the kernel parameters in kernel minimum distance classifier

Choosing appropriate values for kernel parameters is one of the key problems in many kernel-based methods because the values of these parameters have significant impact on the performances of these methods. In this paper, a novel approach is proposed to learn the kernel parameters in kernel minimum distance (KMD) classifier, where the values of the kernel parameters are computed through optimizing an objective function designed for measuring the classification reliability of KMD. Experiments on both artificial and real-world datasets show that the proposed approach works well on learning kernel parameters of KMD.     

Countering unauthorized code execution on commodity kernels: A survey of common interfaces allowing kernel code modification

Motivated by the goal of hardening operating system kernels against rootkits and related malware, we survey the common interfaces and methods which can be used to modify (either legitimately or maliciously) the kernel which is run on a commodity desktop computer. We also survey how these interfaces can be restricted or disabled. While we concentrate mainly on Linux, many of the methods for modifying kernel code also exist on other operating systems, some of which are discussed.     

基于String Kernel和KPCA的负实例语法特征提取算法

提出通过String Kernel方法把负实例语法数据库中的负实例转化成核矩阵,再用Kernel Principal Component Analysis（KPCA）对转换的核矩阵进行特征提取,进而可将原始负实例数据库按照这些特征分成多个容量较小的特征表。通过构造负实例特征索引表设计了一个分类器,待检查的句子通过此分类器被分配到某个负实例特征表里进行匹配搜索,而此特征表的特征属性数和记录数要远远小于原始负实例数据库中的相应数目,从而大大提高了检查的速度,同时不影响语法检查的精度。通过比较测试,可看出提出的方法在保证语法检查精确度的同时有更快的速度。     

一种基于Xen虚拟机的内核完整性监控方法

为了防止内核级Rootkit对内核完整性造成破坏,描述基于Xen的隔离保护方法,Xen是一种微内核结构的虚拟机,直接运行在硬件之上,操作系统内核在Xen的域里运行,而域又可分为权限域Dom0和非权限域DomU,域问相互隔离,利用这个特性,强制将动态加载模块隔离在DomU里运行,并通过Xen的事件通道和授权表两个域间通信机制模拟出模块与内核之间函数调用。将监视模块加入中间层就可以达到监控所有模块对内核的操作。     

基于数据依赖核函数的核优化算法

为了克服核学习中核函数及参数选择问题并提升算法性能,文中提出一种基于数据依赖核函数的核优化算法,用最大间隔准则建立最优目标函数求解数据依赖核的最优参数。实验表明文中算法可有效提高核学习机的性能。     

Clustering by kernel density

Kernel methods have been used for various supervised learning tasks. In this paper, we present a new clustering method based on kernel density. The method does not make any assumption on the number of clusters or on their shapes. The method is simple, robust, and behaves equally or better than other methods on problems known as difficult.     

Sparse kernel spectral clustering models for large-scale data analysis

Kernel spectral clustering has been formulated within a primal-dual optimization setting allowing natural extensions to out-of-sample data together with model selection in a learning framework. This becomes important for predictive purposes and for good generalization capabilities. The clustering model is formulated in the primal in terms of mappings to high-dimensional feature spaces typical of support vector machines and kernel-based methodologies. The dual problem corresponds to an eigenvalue decomposition of a centered Laplacian matrix derived from pairwise similarities within the data. The out-of-sample extension can also be used to introduce sparsity and to reduce the computational complexity of the resulting eigenvalue problem. In this paper, we propose several methods to obtain sparse and highly sparse kernel spectral clustering models. The proposed approaches are based on structural properties of the solutions when the clusters are well formed. Experimental results with difficult toy examples and images show the applicability of the proposed sparse models with predictive capabilities.     

核函数的性质及其构造方法

支持向量机是一项机器学习技术，发展至今近10年了，已经成功地用于模式识别、回归估计以及聚类等，并由此衍生出了核方法。支持向量机由核函数与训练集完全刻画。进一步提高支持向量机性能的关键，是针对给定的问题设计恰当的核函数，这就要求对核函数本身有深刻了解。本文首先分析了核函数的一些重要性质，接着对3类核函数，即平移不变核函数、旋转不变核函数和卷积核，提出了简单实用的判别准则。在此基础上，验证和构造了很多重要核函数。