半监督聚类算法及其在入侵检测中的应用

针对现有入侵检测技术的不足,对基于机器学习的异常入侵检测系统进行了研究,提出了一种基于半监督聚类的异常入侵检测算法。此算法通过利用少量的标记样本,生成用于初始化算法的种子聚类,然后辅助聚类过程,对数据进行检测。实验表明,与以往入侵检测算法相比,此算法可以明显地改善入侵检测系统的性能。     

ID-DC:基于分布式聚类的入侵检测方法

提出了基于分布式聚类的异常入侵检测方法ID-DC,通过对训练集进行分布式聚类产生聚簇模型,采用基于双参考点的标识算法Double-Reference标记异常簇,不需要具有类别标签的训练集且可自动确定聚簇模型的个数.实验中采用了网络入侵检测数据集KDD-CUP-99来训练模型.实验结果表明:通过采用分布式聚类算法建立的分布式入侵检测模型可有效地检测攻击,检测率高,误警率低.     

ID—DC：基于分布式聚类的人侵检测方法

提出了基于分布式聚类的异常入侵检测方法ID—DC，通过对训练集进行分布式聚类产生聚簇模型，采用基于双参考点的标识算法Double—Reference标记异常簇，不需要具有类别标签的训练集且可自动确定聚簇模型的个数．实验中采用了网络入侵检测数据集KDD—CUP-99来训练模型．实验结果表明：通过采用分布式聚类算法建立的分布式入侵检测模型可有效地检测攻击，检测率高，误警率低．     

基于样本对加权共协关系矩阵的聚类集成算法

聚类集成的目标是通过集成多个聚类结果来提高聚类算法的稳定性、鲁棒性以及精度.近些年,聚类集成受到了越来越多的关注.现有的集成聚类通常平等地对待所有基聚类,而不考虑它们的重要度.虽然学者们已经在这一方面做出了一些努力,例如使用加权策略来改进共协关系矩阵,但无论是给基聚类加权还是对类重要度评价时都忽略了样本对于其所在类贡献的差异.为此,提出了基于样本对加权共协关系矩阵的聚类集成算法,该算法利用k-means算法产生多个基聚类结果,然后对于其中的每个类再利用k-means算法产生多个小类,并计算去掉样本对所在的小类后类的不确定性变化的程度来评价该样本对的重要度,最后通过层次聚类算法得到聚类结果 .在六个UCI数据集上的实验结果表明,基于样本对加权共协关系矩阵的聚类集成算法的性能优于三种经典的基于共协关系矩阵的聚类集成算法.     

基于在线自适应极限学习机选择性集成的网络入侵检测

随着互联网的普及和网络连接设备与访问方式的多样化,网络入侵方式与手段日趋多样化且变异速度快,传统入侵检测方法在有效性、自适应性和实时性方面难以应对日益复杂网络环境的安全监控要求,为此提出一种基于在线自适应极限学习机(online adaption extreme learning machine, OAELM)选择性学习的网络入侵检测方法(SEoOAELM-NID).首先,提出一种能自动设定最优隐含节点个数且具有在线增量学习功能的OAELM构建方法,采用Bagging策略快速训练出多个具有一定独立性的OAELM子学习器;然后,基于边缘距离最小化原则(margin distance minimization,MDM)对OAELM子学习器的集成增益进行计算;通过选择增益度高的部分OAELM进行选择性集成,获得泛化能力强、效率高的选择性集成学习器用于入侵检测.由于SEoOAELM-NID能自动设定ELM子学习器最优隐节点个数且能根据网络环境变化实现检测模型在线顺序更新,因而能有效适应各种复杂网络环境的入侵检测要求;选择部分最优的子学习器进行集成,保证了最终检测结果的准确性和实效性,同时利用在线数据不断更新检测器.在NSL-KDD数据集上的测试结果表明,相比基于单个学习器以及传统集成学习的网络入侵检测方法,SEoOAELM-NID无论对已知入侵类型还是未知入侵类型均能获得更高的检测率,且识别速度快.     

一种基于聚类和AdaBoost的自适应集成算法

为同时保证基分类器的准确性和差异性, 提出一种基于聚类和AdaBoost的自适应集成算法. 首先利用聚类算法将训练样本分成多个类簇; 然后分别在每个类簇上进行AdaBoost训练并得到一组分类器; 最后按加权投票策略进行分类器的集成. 每个分类器的权重是自适应的, 且为基于测试样本与每个类簇的相似性及分类器对此测试样本的分类置信度计算得到. 实验结果表明, 与AdaBoost,Bagging(bootstrap aggregating)和随机森林等代表性集成算法相比, 该算法可取得更高的分类精度.     

图像分割的谱聚类集成算法

针对谱聚类算法对尺度参数敏感的问题,利用集成学习算法良好的鲁棒性和泛化能力,提出了一种无监督集成学习算法——谱聚类集成算法.该算法先利用谱聚类的内在特性产生集成学习所需的多个聚类个体,再采用Hungarian算法对生成的聚类个体进行重新标记,计算每个样本点关于每一个类别所占的比例,得到一个成分向量,然后运用对数比变换将所得的成分向量映射到另一个空间,去除成分数据的不适定性,最后对映射后的数据进行聚类,从而得到最终的集成结果.通过对UCI数据集和纹理图像的仿真实验表明,所提算法的聚类准确率与常用的共识函数具有一定的可比性,且运算代价较小,所需时间大约为MCLA算法的一半,同时避免了精确选择谱聚类算法的尺度参数.     

半监督学习在入侵检测系统中的应用

提出了一种基于半监督模糊聚类的异常入侵检测方法,半监督学习算法的训练样本包括已标记数据和未标记数据,在训练系统模型时使用少量已标记样本和大量未标记样本作为种子初始化入侵检测系统的分类器,在少量已标记数据的约束下利用模糊C均值方法生成聚类,无需提供大量标记数据,不易陷入局部最优.实验表明,与FCM算法相比具有较高的性能.     

基于半监督聚类的入侵检测模型

利用少量的标记数据和约束辅助聚类过程,提出一种基于半监督聚类的入侵检测模型.实验结果表明,与基于监督和非监督学习的入侵检测算法相比,基于半监督聚类的入侵检测算法可以更加有效地检测出未知攻击.     

采用仿射传播的聚类集成算法

针对K均值聚类随机初始聚类中心导致的聚类结果不稳定问题,提出一种基于仿射传播的聚类集成算法.该算法把每个聚类集成的成员个体结果看成是原始数据的一个属性,然后在其基础上对聚类成员个体的聚类结果进行加权集成,集成算法采用简单高效的仿射传播聚类,并且提出了直接集成、利用平均规范化互信息(NMI)和聚类有效性Silhouette指标进行加权集成.最后,运用Hungarian算法对仿射传播聚类集成的结果进行类别标签的统一和匹配.在加州大学尔湾分校数据集上进行了实验,结果表明,与集成前的K均值聚类及其他聚类集成算法相比,该算法能有效地提高聚类结果的准确性、鲁棒性和稳定性,建立起来的聚类集成算法具有良好的扩展性和灵活性,而且简单有效.     

一种改进的神经网络集成法预测PMV指标

为解决大样本的PMV指标预测问题,采用基于模糊聚类的神经网络集成方法,将原始样本集模糊划分为多个相交子集,通过这些模糊子集训练神经网络得到预测个体,再对个体输出加权结合获得预测结果.在进行神经网络集成过程中,采用微粒群算法有效克服了聚类和常规神经网络训练容易陷入局部最优的缺点,总结出一种更加有效的神经网络集成方法.实验结果表明:基于微粒群的神经网络集成算法有较好的全局优化性能,其集成的神经网络系统能更准确地预测PMV指标.     

基于萤火虫群算法的网络入侵优化检测算法

针对模糊C 均值聚类法因对初始聚类中心敏感且容易陷入局部极小值而导致无法在网络入侵检测中获得精确分类结果的问题, 提出了基于萤火虫群优化（GSO: Glowworm Swarm Optimization)算法的网络入侵检测方法。采用标记样本得到初始聚类中心, 运用萤火虫群优化实现对聚类中心的优化。结果显示该方法有效。     

基于粒子群优化的异常入侵检测算法的研究

提出了一种基于粒子群优化的异常入侵检测算法．首先,对基于动态聚类分析的异常入侵检测系统进行了建模和关键模块分析,对聚类算法区别正常和异常数据记录的过程,进行了详细的介绍,然后针对基本PSO算法存在的局部早熟收敛问题,利用改进的粒子属性进行了算法改进,增加了粒子多样性．通过初始化种群、更新速度、更新位置、计算每个粒子的适应度值、更新pgd、循环迭代,得到最优解．最后,利用该算法对基于聚类的入侵检测系统进行实验,结果显示该算法明显提升了入侵检测系统的正确率．     

基于模糊划分的神经网络集成

基于模糊聚类思想,提出了一种神经网络集成方法.由训练数据的模糊聚类结果,把训练数据划分成相交子集,基于各子集生成集成的个体神经网络.由于各子集所包含的数据和数据的类别各不相同,因而个体神经网络性能和结构存在差异.子集个数确定集成中个体神经网络个数.另外,基于隶属度函数计算公式,提出了个体神经网络输出结论结合方法.理论分析和实验结果表明,此方法对模式分类能取得较好的效果.     

Fuzzy Clustering with Novel Separable Criterion

Introduction Fuzzy clustering plays an important role in pattern rec ognition, image processing, and data analysis. In fuzzy clustering, every point is assigned a membership to represent the degree of belonging to a certain class The fuzzy c-means (FCM) m…     

基于模糊聚类理论的入侵检测数据分析

入侵检测系统是网络和信息安全构架的重要组成部分,主要用于区分系统的正常活动和可疑及入侵模式,但是它所面临的挑战是如何有效的检测网络入侵行为以降低误报率和漏报率.基于已有入侵检测方法的不足提出利用模糊C-均值聚类方法对入侵检测数据进行分析,从而发现异常的网络行为模式.通过对CUP99数据集的检测试验表明该方法不但可行而且准确性及效率较高.     

优化的RBF神经网络在入侵检测中的应用

在入侵检测的应用中,RBF神经网络训练样本的数据量比较大,但是训练中广泛应用的OLS方法存在大数据量训练时间过长、不能根据数据特性确定平滑参数的缺点。针对此问题该文采用了一种基于快速模糊C-均值算法(AFCM)和正交最小二乘法(OLS)算法相结合的AFORBF训练算法;试验证明,AFORBF算法解决了RBF在入侵检测系统中处理大数据量时间过长的问题,获得了较高的检测率,简化了网络结构,提高了网络性能。     

PSO高斯诱导核模糊c均值聚类算法*

为了避免陷入梯度法局部极值以提升模糊聚类算法聚类性能,提出PSO高斯诱导核模糊c均值聚类算法(PSO Gauss-induced kernel fuzzy c-means clustering algorithm, PSO-GIKFCM)。首先将高斯核函数应用于模糊c聚类算法(FCM)目标函数,得到高斯核模糊聚类目标函数。然后在高斯核特征空间和输入空间利用梯度法得到两空间聚类中心,将特征空间聚类中心与样本的内积核矩阵代入输入空间聚类中心,从而得到高斯诱导核的聚类中心。最后在解空间利用粒子群算法(PSO)对模糊隶属度进行寻优估计,并结合目标函数和聚类中心构成PSO-GIKFCM参数估计迭代流程。PSO-GIKFCM算法基于粒子群算法保证其收敛性,聚类中心仅为模糊隶属度的函数,PSO生物进化算法在解空间全局寻找优解,且将模糊指标扩展为大于0的情况。通过仿真实验验证了所提出算法的有效性。