核正交判别局部正切空间对齐算法

针对现有的局部正切空间算法中存在的问题,文中提出一种基于核变换的特征提取方法——核正交判别局部正切空间对齐算法(KOTSDA)。该算法首先利用核方法将人脸图像投影到一个高维非线性空间,提取其非线性信息;然后在目标函数中利用正切空间判别分析算法在保持样本的类内局部几何结构的同时最大化类间差异;最后添加正交约束,得到核正交判别局部正切空间对齐算法。该算法不需要经过PCA降维,有效避免判别信息的丢失,在ORL和Yale人脸库上的实验验证算法有效性。     

神经正切核K‑Means聚类

针对K-Means聚类算法利用均值更新聚类中心,导致聚类结果受样本分布影响的问题,提出了神经正切核K-Means聚类算法（NTKKM）。首先通过神经正切核（NTK）将输入空间的数据映射到高维特征空间,然后在高维特征空间中进行K-Means聚类,并采用兼顾簇间与簇内距离的方法更新聚类中心,最后得到聚类结果。在car和breast-tissue数据集上,对NTKKM聚类算法的准确率、调整兰德系数（ARI）及FM指数这3个评价指标进行统计。实验结果表明,NTKKM聚类算法的聚类效果以及稳定性均优于K?Means聚类算法和高斯核K-Means聚类算法。NTKKM聚类算法与传统的K-Means聚类算法相比,准确率分别提升了14.9%和9.4%,ARI分别提升了9.7%和18.0%,FM指数分别提升了12.0%和12.0%,验证了NTKKM聚类算法良好的聚类性能。     

基于多核集成的在线半监督学习方法

在很多实时预测任务中,学习器需对实时采集到的数据在线地进行学习.由于数据采集的实时性,往往难以为采集到的所有数据提供标记.然而,目前的在线学习方法并不能利用未标记数据进行学习,致使学得的模型并不能即时反映数据的动态变化,降低其实时响应能力.提出一种基于多核集成的在线半监督学习方法,使得在线学习器即使在接收到没有标记的数据时也能进行在线学习.该方法采用多个定义在不同RKHS中的函数对未标记数据预测的一致程度作为正则化项,在此基础上导出了多核集成在线半监督学习的即时风险函数,然后借助在线凸规划技术进行求解.在UCl数据集上的实验结果以及在网络入侵检测上的应用表明,该方法能够有效利用数据流中未标记数据来提升在线学习的性能.     

多核学习方法

多核学习方法是当前核机器学习领域的一个新的热点. 核方法是解决非线性模式分析问题的一种有效方法, 但在一些复杂情形下, 由单个核函数构成的核机器并不能满足诸如数据异构或不规则、样本规模巨大、样本不平坦分布等实际的应用需求, 因此将多个核函数进行组合, 以获得更好的结果是一种必然选择. 本文根据多核的构成, 从合成核、多尺度核、无限核三个角度, 系统综述了多核方法的构造理论, 分析了多核学习典型方法的特点及不足, 总结了各自的应用领域, 并凝炼了其进一步的研究方向.     

基于Boosting框架的非稀疏多核学习方法

针对传统的分类器集成的每次迭代通常是将单个最优个体分类器集成到强分类器中,而其它可能有辅助作用的个体分类器被简单抛弃的问题,提出了一种基于Boosting框架的非稀疏多核学习方法MKL-Boost,利用了分类器集成学习的思想,每次迭代时,首先从训练集中选取一个训练子集,然后利用正则化非稀疏多核学习方法训练最优个体分类器,求得的个体分类器考虑了M个基本核的最优非稀疏线性凸组合,通过对核组合系数施加LP范数约束,一些好的核得以保留,从而保留了更多的有用特征信息,差的核将会被去掉,保证了有选择性的核融合,然后将基于核组合的最优个体分类器集成到强分类器中。提出的算法既具有Boosting集成学习的优点,同时具有正则化非稀疏多核学习的优点,实验表明,相对于其它Boosting算法,MKL-Boost可以在较少的迭代次数内获得较高的分类精度。     

基于类内方差和位置敏感哈希的多经验核学习

多随机经验核学习机（multiple random empirical kernel learning machine,MREKLM）选取少量样本来构造经验特征空间,但在投影时没有考虑数据的分布信息,并且样本选择时间长。为了利用样本的分布信息,引入了类内散度矩阵,提出了基于类内方差的多经验核学习（ICVMEKL）,使得样本在投影时能考虑样本类内信息,强化了分类边界,提高了分类精度。进一步,为了降低样本选择时间,利用了基于位置敏感哈希的边界点提取方法（BPLSH）来选择样本,提出了基于位置敏感哈希算法改进的ICVMEKL（ICVMEKL_I）,使构建经验核的样本不再需要从候选集中获取,降低了训练时间。多个数据集上的实验结果表明,ICVMEKL能有效提高精度,ICVMEKL_I能大幅降低训练时间,两者都表现出了良好的泛化性能。     

一种基于核集的多核嵌入式实时调度方法

本文提出一种基于核集的多核嵌入式调度方法,该方法为任务增加核集属性,调度器选择后继任务时需要同时满足高优先级要求、当前核属于任务核集两个条件。本文提出的调度方法能够为任务指定核集属性,限定任务在指定核集上运行,相对于原有任务只能绑定一个核或者所有核的调度方法,提出的方法更加灵活,操作系统核间负载更加均衡。     

基于MCAPI的多核软件开发方法

提出了一种基于多核通信应用程序接口(MCAPI)标准的多核软件开发方法,该标准提供了基于消息传递的API,适用于核间通信,大大提高了应用程序在多核处理器上的可移植性。采用poly-platform软件工具进行多核软件开发,首先建立拓扑结构,然后定义节点工程,完成存储分配等工作,再利用MCAPI模板完成节点间通信,最后编制各个节点的应用程序。该软件开发流程独立于厂商、器件和操作系统,可将应用程序快速灵活地映射到不同的同构和异构多核架构上,大大提高了多核软件的开发效率。     

基于中心核对齐的多核单类支持向量机

多核学习(MKL)方法在分类及回归任务中均取得了优于单核学习方法的性能,但传统的MKL方法均用于处理两类或多类分类问题.为了使MKL方法适用于处理单类分类(OCC)问题,提出了基于中心核对齐(CKA)的单类支持向量机(OCSVM).首先利用CKA计算每个核矩阵的权重,然后将所得权重用作线性组合系数,进而将不同类型的核函...     

基于多核学习的自适应DDoS攻击检测方法

分布式拒绝服务DDoS攻击是互联网安全的主要威胁之一。当前大多数检测方法采用单一特征,在大数据环境下不能有效地检测DDoS早期攻击。提出了一种基于多核学习的特征自适应DDoS攻击检测方法FADADM,根据DDoS攻击流量的突发性、地址的分布性以及通信双方的交互性定义了5个特征。基于集成学习框架,分别提出采用增大同类方差与异类均值差的比值IS/M和减少同类方差与异类均值差的比值RS/M的方式自适应地调整各特征值的权重,基于简单多核学习SimpleMKL模型训练出IS/M-SimpleMKL和RS/M-SimpleMKL 2种具有不同特性的多核学习模型,以识别DDoS早期攻击。实验结果表明,本文方法能够快速、准确地检测DDoS早期攻击。     

基于粗糙集理论与核匹配追踪的入侵检测

提出一种将粗糙集理论与核匹配追踪算法结合起来的入侵检测方法,利用粗糙集理论在处理大数据量、消除冗余信息等方面的优势,减少机器训练数据,克服支持向量机（SVM）等算法因为数据量大而处理速度慢的缺点。同时,借助核匹配追踪良好的分类识别性能,并对每个样本作出不同的重要性定义,对粗糙集约筒后的最小属性子集进行分类,实现入侵检测的快速、高分类精度和高检测率。实验结果表明,该方法优于单纯采用粗糙集或人工免疫的方法。     

基于Fenchel对偶的核Logistic回归并行学习算法

给出了一种大规模核Logistic回归的并行学习算法.利用凸优化中的Fenchel对偶定理, 将核Logistic回归的优化原问题转换成对偶空间的优化问题,再利用块更新迭代方法, 可以独立地在部分数据集上进行分类器训练.设计了一个简单的客户机--服务器并行计算模式, 每个客户机对部分数据优化子问题,在一次优化结束后,服务器根据各客户机传递的信息修正各子问题目标函数. 在标准数据集的实验结果表明了基于Fenchel对偶的核Logistic回归并行学习算法的可行性.     

基于深度学习的问答匹配方法

面向中文问答匹配任务,提出基于深度学习的问答匹配方法,以解决机器学习模型因人工构造特征而导致的特征不足和准确率偏低的问题。在该方法中,主要有三种不同的模型。首先应用组合式的循环神经网络（RNN）与卷积神经网络（CNN）模型去学习句子中的深层语义特征,并计算特征向量的相似度距离。在此模型的基础上,加入两种不同的注意力机制,根据问题构造答案的特征表示去学习问答对中细致的语义匹配关系。实验结果表明,基于组合式的深度神经网络模型的实验效果要明显优于基于特征构造的机器学习方法,而基于注意力机制的混合模型可以进一步提高匹配准确率,其结果最高在平均倒数排序（MRR）和Top-1 accuray评测指标上分别可以达到80.05%和68.73%。     

A novel neural-network approach of analog fault diagnosis based on kernel discriminant analysis and particle swarm optimization

Kernel principal component analysis (KPCA) and kernel linear discriminant analysis (KLDA) are two commonly used and effective methods for dimensionality reduction and feature extraction. In this paper, we propose a KLDA method based on maximal class separability for extracting the optimal features of analog fault data sets, where the proposed KLDA method is compared with principal component analysis (PCA), linear discriminant analysis (LDA) and KPCA methods. Meanwhile, a novel particle swarm optimization (PSO) based algorithm is developed to tune parameters and structures of neural networks jointly. Our study shows that KLDA is overall superior to PCA, LDA and KPCA in feature extraction performance and the proposed PSO-based algorithm has the properties of convenience of implementation and better training performance than Back-propagation algorithm. The simulation results demonstrate the effectiveness of these methods.     

基于多尺度核特征卷积神经网络的实时人脸表情识别

针对人脸表情识别的泛化能力不足、稳定性差以及速度慢难以满足实时性要求的问题,提出了一种基于多尺度核特征卷积神经网络的实时人脸表情识别方法。首先,提出改进的MobileNet结合单发多盒检测器（MSSD）轻量化人脸检测网络,并利用核相关滤波（KCF）模型对检测到的人脸坐标信息进行跟踪来提高检测速度和稳定性;然后,使用三种不同尺度卷积核的线性瓶颈层构成三条支路,用通道合并的特征融合方式形成多尺度核卷积单元,利用其多样性特征来提高表情识别的精度;最后,为了提升模型泛化能力和防止过拟合,采用不同的线性变换方式进行数据增强来扩充数据集,并将FER-2013人脸表情数据集上训练得到的模型迁移到小样本CK+数据集上进行再训练。实验结果表明,所提方法在FER-2013数据集上的识别率达到73.0%,较Kaggle表情识别挑战赛冠军提高了1.8%,在CK+数据集上的识别率高达99.5%。对于640×480的视频,人脸检测速度达到每秒158帧,是主流人脸检测网络多任务级联卷积神经网络（MTCNN）的6.3倍,同时人脸检测和表情识别整体速度达到每秒78帧。因此所提方法能够实现快速精确的人脸表情识别。     

核主元分析及其在人脸识别中的应用

传统的基于数据二阶统计矩的特征脸法(Eigenface)或主元分析法(PCA)是一种有效的数据特征提取方法,是基于原始特征的一种线性变换。但是,当原始数据中存在非线性属性时,用主元分析法后留下的显著成分就可能不再反映这种非线性属性。而核主元分析则是基于原始数据的高阶统计量,是一种非线性变换,在图像识别中它可以描述多个像素之间的相关性。该文采用KPCA法提取人脸特征,利用线性支持向量机设计分类器,实验结果表明,基于核主元分析方法的识别正确率明显优于基于主元分析法。     

核函数的性质及其构造方法

支持向量机是一项机器学习技术,发展至今近10年了,已经成功地用于模式识别、回归估计以及聚类等,并由此衍生出了核方法。支持向量机由核函数与训练集完全刻画。进一步提高支持向量机性能的关键,是针对给定的问题设计恰当的核函数,这就要求对核函数本身有深刻了解。本文首先分析了核函数的一些重要性质,接着对3类核函数,即平移不变核函数、旋转不变核函数和卷积核,提出了简单实用的判别准则。在此基础上,验证和构造了很多重要核函数。