基于主动学习的支持向量机算法

针对支持向量机（svM）模型不能有效处理海量数据挖掘的问题,提出一种改进的基于主动学习的支持向量机（AL_SVM）方法。该方法首先将训练集随机划分为多个独立同分布的子集,并选择其中一个子集作为初始训练集来训练SVM得到初始分类器和支持向量集,然后根据已经得到的分类器信息在剩余样本集中选择对于分类器改进作用最大的有价值样本。并与已得到的支持向量集合并构成新训练集,以更新分类器,从而在保留重要支持向量信息的前提下,去除大量不重要的支持向量,一定程度上避免了过学习问题,提高了学习效率。实验表明,AL_SVM方法能够在保持学习器泛化能力的同时提高其学习效率。     

基于单分类支持向量机和主动学习的网络异常检测研究

对基于支持向量机和主动学习的异常检测方法进行了研究,首先利用原始数据采用无监督方式建立单分类支持向量机模型,然后结合主动学习找出对提高异常检测性能最有价值的样本进行人工标记,利用标记数据和无标记数据以半监督方式对基于单分类支持向量机的异常检测模型进行扩展。实验结果表明,所提方法能够利用少量标记数据获取性能提升,并能够通过主动学习减小人工标记代价,更适用于实际网络环境。     

基于改进SVM主动学习算法的入侵检测

入侵检测研究中,采用基于支持向量机的主动学习算法,有效地降低了学习的样本复杂度.针对支持向量机主动学习算法中存在的随机构造的初始训练集样本质量不高和容易陷入次优等问题,提出了一种结合核空间聚类的初始训练集构建方法,并在距离准则的基础上引入了概率选择机制.仿真实验表明,在不降低检测效果的前提下,该算法所需的学习样本更少,并表现出较高的稳定性.     

基于优化Adaboost迭代过程的SVM集成算法

为提高Adaboost算法迭代过程中生成基分类器的分类精度以及简化整个集成学习系统的复杂度,文章提出了一种优化Adaboost迭代过程的SVM集成算法。该算法提出了一种在其迭代过程中加入样本选择和特征选择的集成方法。通过均值近邻算法对样本进行选择,并利用相对熵法进行特征选择,最后利用优化得到的特征样本子集对基分类器SVM进行训练,并用加权投票法融合各个SVM基分类器的决策结果进行最终判决。通过对UCI数据集的仿真结果表明,本算法与支持向量机集成算法相比,能够在更少的样本以及特征的基础上,实现较高的识别正确率。     

基于KFCM的子空间样本选择方法

针对训练样本中包含边界样本数量的多少对支持向量机分类的精度起主要作用,提出基于核模糊C均值算法(KFCM)先对样本集进行聚类,然后利用得到的模糊隶属度矩阵计算样本的模糊熵,通过设定阈值进行子空间样本的选择,最后将得到的子空间样本作为支持向量机(SVM)的训练样本。实验结果证实,由于应用了KFCM方法克服了一些传统样本选择方法在不知道样本类别的情况下,其无法较准确地对任意形状的簇的子空间样本进行选择,同时该方法保留了典型样本,减少了训练样本的数量,从而保证了分类器的性能和较高的训练效率。通过实验比较,该方法在选取子空间样本的性能上比传统的方法要好。     

非平衡二叉树主动学习支持向量机

针对传统的二分类支持向量机在数据种类繁多并含有很多不带标签的样本时的固有缺陷,提出了一种主动学习与非平衡二叉树结合的多类分类支持向量机.该方法首先通过类距离构造一个非平衡二叉树结构,从易到难依次构造节点,将最容易分出的类放在根节点,然后利用主动学习策略,自动为选择的样本添加标签,并添加到训练样本集中.实验结果表明本文提出算法性能优于常规主动学习支持向量机,有效提高了分类精度,且大大缩短了算法运行时间.     

基于改进支持向量机的运动视频内容分类算法研究

针对现有运动视频内容分类算法中使用支持向量机分类器难以提高分类精度问题,提出基于改进支持向量机的运动视频内容分类算法。首先采用稀疏表示方法进行运动视频内容去噪,在降低噪声的同时去除无用静止信息,将去噪后的运动视频内容进行非重叠切分,采用主成分分析法提取运动视频内容像素点特征描述项并建立特征向量空间;然后引入主动学习机制改进支持向量机分类器,使用改进的分类器建立特征向量空间与运动视频类别之间的联系。针对多类运动视频内容分类问题,提出使用后验概率计算改进的分类器对未标记样本的置信度进行运动视频样本选取。实验结果表明,所提算法与现行分类算法相比,具有更好的类别区分度。     

基于用户兴趣集的在线垃圾邮件快速识别新方法

为在不显著降低垃圾邮件识别精度的同时有效提高邮件识别速度,提出了一种在线垃圾邮件快速识别新方法.首先引入用户正、负兴趣集的概念,结合用户兴趣集及支持向量机对邮件进行分类;然后根据主动学习理论,结合训练集样本密度及改进角度差异方法寻找分类最不确定的样本并推荐给用户进行类别标注;最后将标注后样本及分类最确定性样本加入训练集,并使用样本价值评价新函数淘汰冗余样本以生成新的训练集.实验表明,本文方法的用户标注负担小,垃圾邮件识别精度高、速度快,具有较高的在线应用价值.     

基于梯度方向直方图的行人检测方法研究

为满足汽车安全性的要求,基于图像的梯度方向直方图特征,利用支持向量机的方法,实现了行人检测。该方法提取正负样本图像的局域梯度直方图特征,利用支持向量机进行样本训练,得到行人分类器。利用训练好的分类器进行检测,实验结果表明,该方法可以有效检测出前方出现的行人,并达到了较好的检测效果。     

基于结构支持向量机的目标检测跟踪同步算法

目标检测跟踪同步算法通过对视频帧的目标实时检测来达到跟踪的目的,该算法主要是为了维持一个能够在线训练的分类器,把从背景采样的样本作为负样本,从目标区域采样的样本作为正样本,然后通过分类器把二者区分开,以达到跟踪效果。然而当目标产生形变以及目标区域发生遮挡的时候,如何对样本采样和精确标记成为跟踪成败的关键。在结构支持向量机的框架下,提出一种基于结构支持向量机的目标检测跟踪同步算法。由于结构支持向量机的输出可以是复杂的数据结构,因此采用结构支持向量机,把目标位置估计作为结构支持向量机的输出,避免了对样本标记精确估计的需要,克服了当目标发生遮挡和大范围变形时导致的跟踪失败。仿真实验表明,该算法有良好稳定的跟踪效果。     

基于历史分类加权和分级竞争采样的多视角主动学习

多视角主动学习是一种相比于传统主动学习能够取得更大程度版本空间缩减的技术,已被应用于多种类型的大数据分析中.本文针对现有的多视角主动学习算法在分类假设生成和采样策略中存在的不足分别提出了相应的改进方案.本文将Boosting思想应用到多视角主动学习框架中,通过将历史上各次查询得到的分类假设进行加权式投票来实现每次查询后分类假设的强化;与此同时,还提出了一种自适应的分级竞争采样策略,当分类争议样本规模较大时通过无监督谱聚类获得上述样本的空间分布描述,并在各个聚类中结合样本的分类不确定度和冗余度信息通过二次规划求解以获得可靠的批处理采样.为了证明上述改进的有效性,本文将多视角主动学习应用到图像分类领域中,并通过基于不同图像特征的视角来分别生成相应的分类假设.实验表明,本文提出的两点改进策略不仅均有助于提升多视角主动学习的性能,而且基于上述不同视角随机组合的多视角主动学习方法相比于经典的单视角主动学习算法能够更快地实现收敛并达到较高的场景分类准确性.     

基于在线随机蕨分类器的实时视觉感知系统

本文针对不同成像条件下,目标姿态变化对系统检测性能的影响,提出一种具有自主学习能力的视觉感知系统.该系统能在执行检测任务的同时,通过快速的自主学习提高检测性能,并保持实时目标检测速度.系统包括了目标检测模块及在线学习样本自动获取、标注模块.针对目标检测模块为满足系统自主学习需求,提出随机蕨分类器的在线学习方法,使目标检测模块可持续自我更新,提高检测性能;针对样本自动获取、标注模块则提出最近邻分类器辅助的双层级联标注方法.此外,本文提出自主在线学习框架,整个学习过程不用准备初始训练样本集,通过人工选定一个待检测目标即可进行无需干预的自适应学习,逐渐提高检测性能.实验表明,该方法在多种监控场景中均有较强的自适应能力和较好的目标检测效果.     

基于多尺度样本扩增的高光谱影像半监督分类

大量的训练样本可有效缓解模型过拟合,从而提高分类效果。在初始标记样本较少的情况下,开展借助不同尺度的同质区快速扩增大量高精度训练样本的实验,并利用初始标记样本和扩增样本训练支持向量机(Support Vector Machine, SVM)分类器,实现对高光谱数据的有效分类。该方法在Pavia University、Salinas和Indian Pines三种高光谱数据上均能获得大量高精度的训练样本,分类精度分别达到99%、99%和97%以上。实验结果表明,扩增的大量伪标签样本可以有效训练SVM分类器,提高分类效果。     

A weakly supervised large margin domain adaptation method for isolated handwritten digit recognition

Learning handwriting categories fail to perform well when trained and tested on data from different databases. In this paper, we propose a novel large margin domain adaptation algorithm which is able to learn a transformation between training and test datasets in addition to adapting the parameters of classifier using a few or even no training labeled samples from target handwriting dataset. Additionally, we developed a framework of ensemble projection feature learning for datasets representation as a front end for our algorithm to utilize the abundant unlabeled samples in target domain. Experiments on different handwritten digit datasets adaptations demonstrate that the proposed large margin domain adaptation algorithm achieves superior classification accuracy comparing with the state of the art methods. Quantitative evaluation of the proposed algorithm shows that semi-supervised adaptation utilizing one sample per class of target domain set reduces the error rates by 64.72% comparing with a corresponding SVM classifier.     

Multitraining support vector machine for image retrieval.

Relevance feedback (RF) schemes based on support vector machines (SVMs) have been widely used in content-based image retrieval (CBIR). However, the performance of SVM-based RF approaches is often poor when the number of labeled feedback samples is small. This is mainly due to 1) the SVM classifier being unstable for small-size training sets because its optimal hyper plane is too sensitive to the training examples; and 2) the kernel method being ineffective because the feature dimension is much greater than the size of the training samples. In this paper, we develop a new machine learning technique, multitraining SVM (MTSVM), which combines the merits of the cotraining technique and a random sampling method in the feature space. Based on the proposed MTSVM algorithm, the above two problems can be mitigated. Experiments are carried out on a large image set of some 20,000 images, and the preliminary results demonstrate that the developed method consistently improves the performance over conventional SVM-based RFs in terms of precision and standard deviation, which are used to evaluate the effectiveness and robustness of a RF algorithm, respectively.     

主动学习半监督聚类入侵检测算法

针对聚类的入侵检测算法误报率高的问题,提出一种主动学习半监督聚类入侵检测算法.在半监督聚类过程中应用主动学习策略,主动查询网络中未标记数据与标记数据的约束关系,利用少量的标记数据生成正确的样本模型来指导大量的未标记数据聚类,对聚类后仍未能标记的数据采用改进的K-近邻法进一步确定未标记数据的类型,实现对新攻击类型的检测.实验结果表明了算法的可行性及有效性.     

基于流形学习的视频异常行为检测算法

随着日益突出的公共安全问题和迅速增长的视频数据流量,智能化的视频监控异常行 为检测成为计算机视觉方向的研究热点。由于监督学习下的异常行为检测训练效果易受视频 监控数据集分布不平衡影响,本文采用无监督学习方法得到具有时空间分辨率的异常行为检 测效果。提出基于多流形谱聚类的异常行为检测方法,利用图像特征点列构建时序信息特征 ,利用流形学习构建空间信息特征,最终利用谱聚类方法无监督地得到视频异常行为检测结 果。在UCSD数据集上进行实验验证,本文方法具有较好的检测性能和计算速度。     

谱聚类划分随机森林算法在图像识别中的应用

随机森林是近些年发展起来的新集成学习算法,具有较好的分类准确率。针对该算法计算复杂度较高的不足,提出了一种基于谱聚类划分的随机森林算法。首先,利用聚类效果较好的谱聚类算法对原始样本集的每一类进行聚类处理。然后,在每一聚类簇中随机选取一个样本作为代表,组成新训练样本集合。最后,在新训练样本集上训练随机森林分类器。该算法通过谱聚类技术对原始样本进行了初步划分,将位置相近的多个样本用簇内的一个样本代表,较大程度地减少了训练样本的个数。在Corel Image图像识别数据集上的实验表明,算法可以用较少的分类时间达到较高的分类精度。