基于混合差分进化的滑动窗口数据流聚类算法研究

针对传统的基于滑动窗口的数据流聚类算法存在的算法执行效率低、聚类质量较差等缺点,提出了一种基于混合差分进化的滑动窗口数据流聚类算法。该算法将数据流聚类过程分为两个部分：在线的时序窗口数据信息微簇特征向量生成和离线阶段的聚类优化。对在线生成的微簇进行微簇集合的更新与维护,利用改进的粒子群算法对离线的微簇数据信息进行适应度值的计算,将种群分为优势子种群和普通子种群,然后利用个体适应度值和平均适应度值的判别来生成当前个体环境的最优候选解,并迭代地对个体进行进化,输出具有最优适应度值的聚类集合,完成对数据流的聚类。仿真实验结果表明,算法在对数据流执行聚类时具有较高的执行效率,并且最后聚类的质量较好,算法实用性强。     

一种改进的求解聚类问题的差分进化算法

针对K-means算法依赖于初始聚类中心和易陷入局部最优解的缺陷,提出一种改进的求解聚类问题的差分进化算法。将改进的差分进化算法和K-means迭代相结合,使算法对初始聚类中心的敏感性和陷入局部最优解的可能性降低,提高了算法的稳定性。通过将反向学习技术引入到框架中来指导搜索新的空间,提高了算法的全局寻优能力。为了提高算法效率,根据聚类问题编码的特点设计了一种整理算子来消除冗余以及调整了差分进化算法的种群更新策略。最后在迭代过程中不断引入随机个体,增强了种群的多样性。与K-means和几个进化聚类算法进行比较,实验结果表明,该算法不仅能有效抑制早熟收敛,而且具有较强的稳定性,较好的聚类效果。     

多群体混合进化算法求解IPPS问题

针对工艺规划与调度集成（Integration of Process Planning and Scheduling, IPPS）问题求解复杂性,为提高求解效率,设计了包含探索种群,寻优种群和最优种群的多群体混合进化算法,通过运用混合遗传算法和基于聚类淘汰机制的差分进化算法分别更新探索种群中工艺链和加工顺序链,保持可行解多样性和差异性。然后利用克隆领域搜索算法完成寻优种群中可行解的克隆和领域搜索,进一步提高种群质量。最后按照精英保留策略更新最优种群获得全局最优解。并通过实例计算对比,结果显示算法搜索效率和求解质量均有明显改善,且稳定性较好,表明该算法求解IPPS问题的可行性及优越性。     

一种基于密度聚类的小生境差分进化算法

针对基本差分进化算法早熟收敛的缺陷,提出了一种基于密度聚类的小生境差分进化算法。该算法基于DE/rand/2/bin变异方式全局搜索能力强、鲁棒性好和DE/best/2/bin变异方式局部搜索能力强、收敛速度快的特点,首先初始化一个没有子种群的全局种群,再在全局种群中采用DE/rand/2/bin进行迭代搜索,并对其中的个体进行聚类,当聚类簇中的个体数目达到规定的最小规模时形成一个小生境子种群,然后在各子种群中采用改进的DE/best/2/bin进行迭代搜索并重新进行聚类,从而提高进化过程中种群的多样性,增强算法跳出局部最优的能力。仿真实验表明,该方法能显著提高算法的收敛速度和全局搜索能力,有效避免早熟收敛。     

改进多种群差分进化算法的混沌系统参数估计

针对混沌系统参数估计的多峰寻优问题,提出一种改进的多种群差分进化算法。改进差分进化算法的变异操作,使其前期更适合全局性搜索,利用α核心集对当前种群进行聚类,分别对聚类后的子群选用贪婪的差分变异算子完成深度搜索,比较所选取各子群的最优值,得到全局最优值作为是否结束搜索的判断依据,并将其应用到混沌系统参数估计中。实验结果表明,该算法对于多峰值、大空间的全局性参数估计在收敛速度、精度上优于混合量子进化算法、改进粒子群优化算法以及DE/best/2算法。     

基于知识引导的自适应动态多模态差分进化算法

为充分利用问题求解过程知识,提升动态多模态优化算法的计算资源利用效率,提出一种基于知识引导的自适应动态多模态差分进化算法.首先,利用自组织映射神经网络实现种群自聚类,形成稳定的小生境;然后,通过对种群全局知识和个体邻域知识的综合学习,设计一种基于知识引导的自适应差分进化算法,在对种群进化状态进行实时监测和分析的基础上,逐层递进地引导不同种群个体自适应地选择最符合当前进化需求的变异方式,提升种群搜索效率,平衡种群多样性与收敛性;最后,针对问题动态特性,设计一种基于历史动态过程知识引导的自适应动态响应机制,通过对历史寻优经验的自适应学习,预测生成新环境下的潜在精英个体,引导种群实现精准快速的多峰定位.实验结果表明,所提出算法能够有效解决动态多模态优化问题,且在不同动态环境设置下其求解性能均优于对比算法.     

动态双子群协同进化果蝇优化算法

针对基本果蝇优化算法(FOA)寻优精度不高和易陷入局部最优的缺点,提出动态双子群协同进化果蝇优化算法(DDSCFOA).该算法在运行过程中根据群体的进化水平,动态地将整个种群划分为先进子群和后进子群;先进子群采用混沌算法在局部最优解邻域内进行精细的局部搜索,后进子群采用基本FOA算法进行全局搜索,较好地平衡局部搜索能力和全局搜索能力;两个子群间的信息通过全局最优个体的更新和种群个体的重组进行交换.DDSCFOA算法能跳出局部极值,避免陷入局部最优.仿真结果表明,动态双子群协同进化的策略有效可行,DDSCFOA算法比基本FOA算法具有更好的优化性能.     

一种MapReduce架构下基于遗传算法的K-Medoids聚类

由互联网时代快速发展而产生的海量数据给传统聚类方法带来了巨大挑战,如何改进聚类算法从而获取有效信息成为当前的研究热点。K-Medoids是一种常见的基于划分的聚类算法,其优点是可以有效处理孤立、噪声点,但面临着初始中心敏感、容易陷入局部最优值、处理大数据时的CPU和内存瓶颈等问题。为解决上述问题,提出了一种MapReduce架构下基于遗传算法的K-Medoids聚类。利用遗传算法的种群进化特点改进K-Medoids算法的初始中心敏感的问题,在此基础上,利用MapReduce并行遗传K-Medoids算法提高算法效率。通过带标签的数据集进行实验的结果表明,运行在Hadoop集群上的基于MapReduce和遗传算法的K-Medoids算法能有效提高聚类的质量和效率。     

基于搜索空间划分与Canopy K-means聚类的种群初始化方法

为了提高差分进化算法对搜索空间的探索与开发能力,提高差分进化算法的收敛性与算法的进化效率,提出一种基于搜索空间均匀划分与局部搜索和聚类相结合的种群初始化方法.该方法首先对决策变量空间进行均匀划分,并从各个子空间中随机选择一个个体,得到的个体能够覆盖整个搜索空间;然后,利用Hooke-Jeeves算法对各子空间进行局部搜索得到局部最优的个体,并结合改进的Canopy算法与K-means聚类算法,辨识搜索空间中的前景区域,以此为基础对局部搜索产生的局部最优个体进行筛选,最终生成初始种群中的个体.通过与其他种群初始化方法对CEC2017中5个测试函数进行实验对比,所提出的方法的运行时间可缩减为已有方法的0.75倍,适应度函数可减少为已有方法的0.03倍,且具有最小的标准差以及最优的收敛特性.     

基于状态估计反馈的策略自适应差分进化算法

借鉴闭环控制思想, 提出基于状态估计反馈的策略自适应差分进化(Differential evolution, DE)算法, 通过设计状态评价因子自适应判定种群个体所处于的阶段, 实现变异策略的反馈调节, 达到平衡算法全局探测和局部搜索的目的.首先, 基于抽象凸理论对种群个体建立进化状态估计模型, 提取下界估计信息并结合进化知识设计状态评价因子, 以判定当前种群的进化状态; 其次, 利用状态评价因子的反馈信息, 实现不同进化状态下策略的自适应调整以指导种群进化, 达到提高算法搜索效率的目的.另外, 20个典型测试函数与CEC2013测试集的实验结果表明, 所提算法在计算代价、收敛速度和解的质量方面优于主流改进差分进化算法和非差分进化算法.     

Hadoop Based Parallel Binary Bat Algorithm for Network Intrusion Detection

In Internet applications, due to the growth of big data with more features, intrusion detection has become a difficult process in terms of computational complexity, storage efficiency and getting optimized solutions of classification through existing sequential computing environment. Using a parallel computing model and a nature inspired feature selection technique, a Hadoop Based Parallel Binary Bat Algorithm method is proposed for efficient feature selection and classification in order to obtain optimized detection rate. The MapReduce programming model of Hadoop improves computational complexity, the Parallel Binary Bat algorithm optimizes the prominent features selection and parallel Naïve Bayes provide cost-effective classification. The experimental results show that the proposed methodologies perform competently better than sequential computing approaches on massive data and the computational complexity is significantly reduced for feature selection as well as classification in big data applications.     

基于MapReduce并行化计算的大数据聚类算法

面对大数据规模庞大且计算复杂等问题,基于MapReduce框架采用两阶段渐进式的聚类思想,提出了改进的K-means并行化计算的大数据聚类方法。第一阶段,该算法通过Canopy算法初始化划分聚类中心,从而迅速获取粗精度的聚类中心点;第二阶段,基于MapReduce框架提出了并行化计算方案,使每个数据点围绕其邻近的Canopy中心进行细化的聚类或合并,从而对大数据实现快速、准确地聚类分析。在MapReduce并行框架上进行算法验证,实验结果表明,所提算法能够有效地提升并行计算效率,减少计算时间,并提升大数据的聚类精度。     

基于MapReduce和IFOA的并行密度聚类算法

针对大数据下密度聚类算法中存在的数据划分不合理、参数寻优能力不佳、并行性能较低等问题,提出一种基于IFOA的并行密度聚类算法(density-based clustering algorithm by using improve fruit fly optimization based on MapReduce,MR-DBIFOA)。首先,该算法基于KD树,提出网格划分策略(divide gird based on KD tree,KDG)来自动划分数据网格;其次在局部聚类中,提出基于自适应搜索策略(step strategy based on knowledge learn,KLSS)和聚类判定函数(clustering criterion function,CCF)的果蝇群优化算法(improve fruit fly optimization algorithm,IFOA);然后根据IFOA进行局部聚类中最优参数的动态寻优,从而使局部聚类的聚类效果得到提升;同时结合MapReduce模型提出局部聚类算法DBIFOA(density-based clustering algorithm using IFOA);最后提出了基于QR-tree的并行合并局部簇算法(cluster merging algorithm by using MapReduce,MR-QRMEC),实现局部簇的并行合并,使算法整体的并行性能得到加强。实验表明,MR-DBIFOA在大数据下的并行效率更高,且聚类效果更好。     

SparkDE:一种基于RDD云计算模型的并行差分进化算法

云计算MapReduce并行编程模型广泛应用于数据密集型应用领域,基于该模型的开源平台Hadoop在大数据领域获得了成功应用。然而,对于计算密集型任务,特别是迭代运算,频繁启动Map和Reduce过程将导致负载过大,影响计算效率。弹性分布式数据集(RDD)是一种基于内存的集群计算模型,有效地支持迭代运算,能够克服负载过大的问题。因此提出基于RDD模型的并行差分进化算法SparkDE。SparkDE首先将整个种群划分为若干个独立岛,然后将一个岛对应RDD中的一个分区,每个岛在RDD的一个分区中独立进化指定代数后,利用迁移算子在岛之间交换信息。利用标准测试问题对SparkDE、基于MapReduce模型的MRDE和基本DE进行对比实验研究。实验结果表明SparkDE求解精度高,计算速度快,加速效果明显,可以作为云计算平台的下一代优化器。     

MapReduce框架下的Skyline结果优化算法

随着大数据时代的到来,数据量和数据复杂度急剧提高,Skyline查询结果集规模巨大,无法为用户提供精确的信息.MapReduce作为并行计算框架,已广泛应用于大数据处理中.本文提出了MapReduce框架下基于支配个数的结果优化算法(MR-DMN),解决了大数据环境下的Skyline结果集优化问题.大量的实验表明:算法具有良好的时间和空间效率.     

基于MapReduce和改进密度峰值的划分聚类算法

对于基于划分的聚类算法随机选取初始聚类中心导致初始中心敏感,聚类结果不稳定、集群效率低等问题,提出一种基于MapReduce框架和改进的密度峰值的划分聚类算法(based on MapReduce framework and im-proved density peak partition clustering algorithm,MR-IDPACA).首先,通过自然最近邻定义新的局部密度计算方式,将搜索样本密度峰值点作为划分聚类算法的初始聚类中心;其次针对算法在大规模数据下运行时间复杂,提出基于E2LSH(exact Euclidean locality sensitive hashing)的一种分区方法,即KLSH(K of locality sensitive hashing).通过该方法对数据分区后结合MapReduce框架并行搜寻初始聚类中心,有效减少了算法在搜索初始聚类中心时的运行时间;对于MapReduce框架中的数据倾斜问题,提出ME(multistage equilibrium)策略对中间数据进行多段均衡分区,以提升算法运行效率;在MapReduce框架下并行聚类,得到最终聚类结果.实验得出MR-IDPACA算法在单机环境下有着较高的准确率和较强的稳定性,集群性能上也有着较好的加速比和运行时间,聚类效果有所提升.     

基于MapReduce框架下的K-means聚类算法的改进

针对K-means算法处理海量数据的聚类效果和速率，提出一种基于MapReduce框架下的K-means算法分布式并行化编程模型。首先对K-means聚类算法初始化敏感的问题，给出一种新的相异度函数，根据数据间的相异程度来确定k值，并选取相异度较小的点作为初始聚类中心，再把K-means算法部署在MapReduce编程模型上，通过改进MapReduce编程模型来加快K-means算法处理海量数据的速度。实验表明，基于MapReduce框架下改进的K-means算法与传统的K-means算法相比，准确率及收敛时间方面均有所提高，并且并行聚类模型在不同数据规模和计算节点数目上具有良好的扩展性。     

Towards scalable rough set based attribute subset selection for intrusion detection using parallel genetic algorithm in MapReduce

Attribute subset selection based on rough sets is a crucial preprocessing step in data mining and pattern recognition to reduce the modeling complexity. To cope with the new era of big data, new approaches need to be explored to address this problem effectively. In this paper, we review recent work related to attribute subset selection in decision-theoretic rough set models. We also introduce a scalable implementation of a parallel genetic algorithm in Hadoop MapReduce to approximate the minimum reduct which has the same discernibility power as the original attribute set in the decision table. Then, we focus on intrusion detection in computer networks and apply the proposed approach on four datasets with varying characteristics. The results show that the proposed model can be a powerful tool to boost the performance of identifying attributes in the minimum reduct in large-scale decision systems.     

基于Relief和BFO的并行支持向量机算法

针对大数据环境下并行支持向量机(SVM)算法存在冗余数据敏感、参数选取困难、并行化效率低等问题,提出了一种基于Relief和BFO算法的并行SVM算法RBFO-PSVM。首先,基于互信息和Relief算法设计了一种特征权值计算策略MI-Relief,剔除数据集中的冗余特征,有效地降低了冗余数据对并行SVM分类的干扰;接着,提出了基于MapReduce的MR-HBFO算法,并行选取SVM的最优参数,提高SVM的参数寻优能力;最后,提出核聚类策略KCS,减小参与并行化训练的数据集规模,并提出改进CSVM反馈机制的交叉融合级联式并行支持向量机CFCPSVM,结合MapReduce编程框架并行训练SVM,提高了并行SVM的并行化效率。实验表明,RBFO-PSVM算法对大型数据集的分类效果更佳,更适用于大数据环境。     

一种进化半监督式模糊聚类的入侵检测算法

在入侵检测系统中,未知标签数据容易获得,标签数据较难获得,对此提出了一种基于进化半监督式模糊聚类入侵检测算法。算法利用标签数据信息担任染色体的角色,引导非标签数据每个模糊分类的进化过程,能够使用少量的标签数据和大量未知标签数据生成入侵检测系统分类器,可处理模糊类标签,不易陷入局部最优,适合并行结构的实现。实验结果表明,算法有较高的检测率。