模糊C均值聚类与硬聚类的性能比较及改进

本文以灰度值的图像分割为基础,对模糊C均值聚类算法(Fuzzy C-means,FCM)[1]和硬聚类进行了详尽的讨论,在此基础上对两者进行了比较,包括两者的迭代速度比较和两者的分割效果比较,聚类中心的初始化对迭代速度和分割效果的影响,并以此为基础对FCM聚类算法进行了改进。实验表明,改进的FCM聚类算法在迭代速度和分割效果方面都明显优于原始的FCM聚类算法。     

基于粒子群模糊C-均值聚类在入侵检测中的应用

在模糊C-均值（FCM）聚类算法基础上,提出一种将粒子群优化算法与FCM聚类算法相结合产生基于粒子群的C均值算法（PSO-FCM均值算法）。用KDD cup99数据集进行比较FCM算法和PSO-FCM算法检测性能。试验结果表明,PSO-FCM算法能够避免FCM算法固有的缺点,检测率提高和漏报率、误报率下降,并且有较高的检测性能。     

模糊c-均值算法和万有引力算法求解模糊聚类问题

针对单纯使用模糊c-均值算法(FCM)求解模糊聚类问题的不足,首先,提出一种改进的万有引力搜索算法,通过一定概率按照不同方式对速度进行更新,有效增大了种群的搜索域.其次,提出了模糊万有引力搜索算法(FG-SA).最后,在模糊万有引力搜索算法(FGSA)和模糊c-均值算法(FCM)的基础上,提出了一种新算法(FGSAFCM)来求解模糊聚类问题,有效避免了单纯使用模糊c-均值算法时对初始值敏感且易于陷入局部最优的缺点.采用目标函数和有效性评价函数作为评价标准,选取10个经典数据集作为测试数据,实验结果表明,新算法比单一的模糊c-均值算法有更高的准确性和鲁棒性.     

基于粒子群优化的模糊C-均值聚类改进算法

针对模糊C-均值聚类算法(FCM)存在易陷入局部优化的问题,将粒子群优化算法(PSO)和模糊C-均值聚类算法FCM相结合,提出了一种新的模糊聚类算法PSO-FCM.该算法使用PSO算法来代替FCM的迭代过程以实现模糊聚类,具有了很强的全局搜索能力,从而不用再为得到好的聚类效果而反复选择初值.仿真实验结果表明,提出的模糊聚类算法提高了FCM的搜索能力,具有更好的稳定性和健壮性,优化能力增强,提高了聚类的效率和效果.     

带特征权重的混合特征模糊C均值算法

针对模糊数据,Hathaway提出了模糊C均值算法（FCM）;针对符号数据,El-Sonbaty 和Ismail提出了符号数据模糊C均值算法（FSCM）;Miin-Shen Yang等人对FSCM进行了改进,提出了混合特征的模糊C均值算法（MVFCM）,MVFCM比FSCM更有效更具有实用性。在MVFCM的基础上,给出了带特征权重的混合特征的模糊C均值算法（WMVFCM）,并通过实验比较,说明WMVFCM比MVFCM更有效。     

基于K近邻隶属度的聚类算法研究

经典模糊C均值聚类算法（FCM）基于欧氏距离,存在不同规模类簇不能正确聚类问题,针对此问题提出一种基于[K]近邻隶属度的模糊C均值聚类算法（KNN_FCM）。讨论了基于[K]近邻隶属度的粗糙C均值聚类算法（KNN_RCM）和粗糙模糊C均值聚类算法（KNN_RFCM）,此方法避免了传统粗糙C均值聚类算法（RCM）和粗糙模糊C均值聚类算法（RFCM）中阈值选择问题。将KNN_FCM、KNN_RCM、KNN_RFCM分别与FCM、RFM、RFCM在UCI数据集上进行仿真比较,结果表明新方法是可行、有效的。     

改进的粒子群优化模糊C均值聚类算法

针对传统模糊C均值聚类算法（FCM）存在对初值敏感和易陷入局部收敛的缺陷,利用改进的粒子群算法对FCM进行优化,提出一种新的模糊C均值聚类算法Improved PSOFCM,并建立基于熵的聚类有效性函数,对聚类算法的性能进行客观评价。数据集实验表明,Improved PSOFCM算法不仅能克服传统FCM算法的不足,而且在聚类正确率和有效性上也优于基于粒子群与基于遗传优化的FCM算法。     

广义洛伦兹内核函数在模糊C均值聚类中的应用研究

模糊C均值(FCM)算法是数据聚类分析的主要算法。但在嘈杂环境下,对于抽样大小不一的聚类,数目越多准确性越低,上述弊端可通过替代性FCM(AFCM)的高斯内核映射来解决。鉴于AFCM的不足,提出了针对模糊C均值聚类的广义洛伦兹内核函数。利用该算法对鸢尾数据库进行聚类,将其划分成山鸢尾、变色鸢尾和维吉尼亚鸢尾3类。实验结果表明,广义洛伦兹模糊C均值(GLFCM)可实现对离群聚类和大小不等的聚类数据的分类,其结果优于K均值、FCM、替代性C均值(AFCM)、Gustafson-Kessel(GK)和 Gath-Geva(GG)方法,收敛迭代次数比AFCM的更少,其分区索引(SC)效果也好于其他方法。     

结合Total-Bregman距离的模糊聚类算法

模糊C均值(fuzzy C-means,FCM)聚类算法是一种常用的基于目标函数最小化的聚类算法。目前已经提出了相当数量的聚类算法是对模糊C均值聚类算法的改进,例如AFCM算法、GK算法等。对最近发表的基于Bregman距离的模糊聚类算法进行了改进,通过在FCM模糊聚类框架中引入Total-Bregman距离提升了聚类算法的聚类性能。同时对基于Total-Bregman距离的模糊聚类算法的收敛性质进行了理论分析。实验部分对来自UCI数据库的几个数据集进行了聚类,证明了算法的有效性和收敛性。     

基于人工免疫网络和模糊C-均值聚类的入侵检测方法

针对入侵检测方法中模糊C-均值(FCM)聚类算法对初始值敏感和要求输入聚类数目的缺点,把人工免疫网络算法用于FCM聚类算法,提出了一种基于人工免疫网络和模糊C-均值的入侵检测方法.通过KDD_CUP1999数据集仿真试验,与FCM算法相比,该算法提高了检测率,降低了误警率.实验结果表明,该方法能够有效地检测网络中的入侵行为.     

MapReduce大数据处理平台与算法研究进展

本文综述了近年来基于MapReduce编程模型的大数据处理平台与算法的研究进展。首先介绍了12个典型的基于MapReduce的大数据处理平台,分析对比它们的实现原理和适用场景,抽象它们的共性。随后介绍基于MapReduce的大数据分析算法,包括搜索算法、数据清洗/变换算法、聚集算法、连接算法、排序算法、偏好查询、最优化算法、图算法、数据挖掘算法。将这些算法按MapReduce实现方式分类,分析影响这算法性能的因素。最后,将大数据处理算法抽象为外存算法,并对外存算法的特征加以梳理,提出了普适的外存算法性能优化方法的研究思路和研究问题,以供研究人员参考。具体包括优化外存算法的磁盘I/O,优化外存算法的局部性,以及设计增量式迭代算法。现有大数据处理平台和算法研究多集中在基于资源分配和任务调度的平台动态性能优化、特定算法并行化、特定算法性能优化等领域,本文提出的外存算法性能优化属于静态优化方法,是现有研究的良好补充,为研究人员提供了广阔的研究空间。     

流数据挖掘综述

作为一种新的数据形态，流数据对数据挖掘提出了诸多挑战。学者们已提出大量处理流数据的挖掘算法。本文对这些算法进行了综述。首先介绍了多个不同的数据流模型，这些模型对算法设计有着不同的要求。然后，总结了流数据挖掘算法的特点，并给出了算法中常用的技术。最后，分析了各个流数据挖掘任务中的代表性算法。     

Privacy preserving perceptron learning in malicious model

Privacy preserving data mining algorithms are proposed to protect the participating parties’ data privacy in data mining processes. So far, most of these algorithms only work in the semi-honest model that assumes all parties follow the algorithms honestly. In this paper, we propose two privacy preserving perceptron learning algorithms in the malicious model, for horizontally and vertically partitioned data sets, respectively. So far as we know, our algorithms are the first perceptron learning algorithms that can protect data privacy in the malicious model.     

超大型压缩数据仓库上的CUBE算法

数据压缩是提高多维数据仓库性能的重要途径,联机分析处理是数据仓库上的主要应用,Cube操作是联机分析处理中最常用的操作之一.压缩多维数据仓库上的Cube算法的研究是数据库界面临的具有挑战性的重要任务.近年来,人们在Cube算法方面开展了大量工作,但却很少涉及多维数据仓库和压缩多维数据仓库.到目前为止,只有一篇论文提出了一种压缩多维数据仓库上的Cube算法.在深入研究压缩数据仓库上的Cube算法的基础上,提出了产生优化Cube计算计划的启发式算法和3个压缩多维数据仓库上的Cube算法.所提出的Cube算法直     

Efficient aggregation algorithms for compressed data warehouses

Aggregation and cube are important operations for online analytical processing (OLAP). Many efficient algorithms to compute aggregation and cube for relational OLAP have been developed. Some work has been done on efficiently computing cube for multidimensional data warehouses that store data sets in multidimensional arrays rather than in tables. However, to our knowledge, there is nothing to date in the literature describing aggregation algorithms on compressed data warehouses for multidimensional OLAP. This paper presents a set of aggregation algorithms on compressed data warehouses for multidimensional OLAP. These algorithms operate directly on compressed data sets, which are compressed by the mapping-complete compression methods, without the need to first decompress them. The algorithms have different performance behaviors as a function of the data set parameters, sizes of outputs and main memory availability. The algorithms are described and the I/O and CPU cost functions are presented in this paper. A decision procedure to select the most efficient algorithm for a given aggregation request is also proposed. The analysis and experimental results show that the algorithms have better performance on sparse data than the previous aggregation algorithms     

面向航天信号数据的柔性分析平台设计与实现

航天信号数据是反映产品功能性能变化的重要载体,基于数据的分析对于故障预测、运维使用乃至产品优化迭代具有重要作用。信号数据分析算法众多,但存在组织应用层面中存在不能共享、不可灵活配置的瓶颈。该文在分析信号数据分析所面临的数据规范、数据存储和算法配置所面临问题的基础上,提出并建立了一种.NET框架技术设计的柔性的信号数据分析平台。在设计数据处理规范的基础上,使用大对象技术实现了高效数据吞吐,使用软驱动技术实现算法引擎从而实现对各种算法的调用和柔性算法配置,从而使组织层面能够共享数据并形成算法生态。实现的信号数据分析平台得到了良好的应用,内置的算法能够有效实现产品试验与在轨过程的异常监测。     

多传感器数据融合技术研究进展

多传感器数据融合是信息领域一个前景广阔的研究方向.由于单一的数据融合算法具有一定的局限性,将2种或2种以上的数据融合算法进行优势集成已逐渐成为数据融合领域的研究热点.介绍了数据级、特征级和决策级融合3种数据融合方式的主要特点、方法及应用,归纳了常用的数据融合方法,并重点阐述了几种多传感器数据融合集成算法的研究进展,简单介绍了多传感器数据融合技术的应用.     

Rule-based OneClass-DS learning algorithm

One-class learning algorithms are used in situations when training data are available only for one class, called target class. Data for other class(es), called outliers, are not available. One-class learning algorithms are used for detecting outliers, or novelty, in the data. The common approach in one-class learning is to use density estimation techniques or adapt standard classification algorithms to define a decision boundary that encompasses only the target data. In this paper, we introduce OneClass-DS learning algorithm that combines rule-based classification with greedy search algorithm based on density of features. Its performance is tested on 25 data sets and compared with eight other one-class algorithms; the results show that it performs on par with those algorithms.     

不平衡数据挖掘方法综述

近些年，分类算法取得了长足的发展。但是随着数据来源的不断扩大，人们获得的数据绝大部分是不平衡数据。而这些分类算法通常对不平衡数据敏感，因此对不平衡数据的分类变得十分困难。目前对不平衡数据挖掘方法主要分为两大方面，分别是针对不平衡数据的预处理方法和挖掘算法。就这两大方面对近些年出现的方法进行总结，并从数据预处理、算法和性能评估方法等方面进行多维度梳理。从不同的应用领域入手，讲述了存在的各种不平衡问题，以及不同学者在其领域中的研究和解决方法。最后分析了不平衡数据挖掘领域目前存在的问题，并对未来研究方向进行展望。     

Efficient aggregation algorithms on very large compressed data warehouses

Multidimensional aggregation is a dominant operation on data warehouses for on-line analytical processing(OLAP).Many efficinet algorithms to compute multidimensional aggregation on relational database based data warehouses have been developed.However,to our knowledge,there is nothing to date in the literature about aggregation algorithms on multidimensional data warehouses that store datasets in mulitidimensional arrays rather than in tables.This paper presents a set of multidimensional aggregation algorithms on very large and compressed multidimensional data warehouses.These algorithms operate directly on compressed datasets in multidimensional data warehouses without the need to first decompress them.They are applicable to a variety of data compression methods.The algorithms have different performance behavior as a function of dataset parameters,sizes of out puts and ain memory availability.The algorithms are described and analyzed with respect to the I/O and CPU costs,A decision procedure to select the most efficient algorithm ,given an aggregation request,is also proposed.The analytical and experimental results show that the algorithms are more efficient than the traditional aggregation algorithms.