分块自适应加权改进大规模模糊聚类

为解决传统模糊C均值聚类(Fuzzy C-means,FCM)算法在处理大规模数据集时遇到的时间复杂和内存不足等瓶颈,提出基于大数据集抽样分块的多视角自适应模糊聚类算法,算法通过邻域正则约束提高传统FCM算法的抗噪性,通过低秩与熵加权约束提高多视角一致性,以提高算法对多样化数据聚类的适应性,最后通过Canopy算法初始聚类中心提取、数据抽样分块和自适应加权优化算法对大规模数据聚类的适应性.实验结果表明,算法在继承传统多视角FCM算法良好聚类性能基础上,减少了计算复杂度,提高了聚类准确率,适于大规模数据集聚类.     

基于KD树和混沌蜉蝣优化的并行谱聚类算法

针对大数据环境下并行谱聚类算法存在的节点负载不均衡、冗余计算、矩阵相乘时间开销大以及初始簇中心敏感等问题，提出了基于KD(k-dimension)树和混沌蜉蝣优化算法的并行谱聚类算法(PSC-MO)。首先，提出基于采样的KD-tree数据分区策略(DPS)划分数据，保证了节点间负载均衡；其次，在构建稀疏相似矩阵过程中，提出优化的分区分配策略(OPA)和基于三角不等式的KD树剪枝策略以进行跨分区的t近邻搜索，避免了过多的冗余计算；然后，提出正规化定理，通过元素对应相乘的方式代替矩阵相乘以优化Laplacian矩阵正规化过程，有效地减少了时间开销；最后，提出混沌蜉蝣优化算法(CMO),得到最佳位置作为初始簇中心后进行k-means并行聚类，解决了算法对初始簇中心敏感的问题。实验表明，PSC-MO算法不但具有良好的聚类效果，而且在大规模数据集上表现出了良好的数据和系统可扩展性。     

抽样改进加权核大数据谱聚类算法

经典谱聚类算法将数据聚类转为图划分问题,在分析其Normalized Cut函数与传统加权核k-means等价基础上,设计了一种基于抽样改进加权核k-means算法的大规模数据集谱聚类算法,算法通过加权核k-means迭代优化避免Laplacian矩阵特征分解的大量资源占用,通过随机映射得到近似奇异值分解,并由近似奇异向量确定各点数据权重及抽样概率,以此得到快速合理抽样,通过数据抽样并将聚类中心约束到抽样点生成的子空间中,避免全部核矩阵的使用,从而降低经典算法的时间空间复杂度。实验结果表明,改进算法在保持与经典算法相近精度基础上,大幅提高了聚类效率,实验验证了改进算法的有效性。     

用于转子故障诊断的改进小波聚类算法

为了快速准确地实现转子故障的模式识别与分类,提出了改进小波聚类方法。首先,从转子振动信号中提取峭度指标、功率谱重心和小波能谱熵三个特征向量;其次,量化特征空间,提取显著网格单元信息;然后,对显著网格单元内数据信息进行小波变换实现去噪处理;最后,应用广度优先搜索方法实现聚类。在改进小波聚类过程中,信息储存表的建立降低了空间复杂度,并使得原始数据与聚类结果建立了映射关系。应用广度优先原则搜索相邻的显著网格单元实现聚类,降低了聚类算法的复杂度。实验验证与比较说明,改进小波聚类算法能够扩展应用到高维数据空间,并且降低了高维数据空间的算法复杂度,提高了转子故障诊断的效率和正确率。     

CLS-SVM:一种时间序列预测的局部建模方法

针对LS-SVM应用于大样本时间序列预测时存在的计算复杂度高和泛化能力降低的问题,提出一种采用局部模型的时间序列预测方法.该方法采用K-means算法对训练样本进行聚类,并以VRC原则确定最佳聚类数,然后利用LS-SVM对聚类后样本进行局部建模;同时,针对一般LS-SVM建模过程中共轭梯度方法计算效率低的问题,采用Cholseky分解方法以实现计算效率的提升.仿真实验和应用测试表明,该方法用于大规模数据分析时,可在保持预测精度的前提下,提高训练效率5 ～ 28倍,在降低计算复杂度的同时,有效地提高了模型的泛化能力.     

一种基于启发式的密度和网格的增量聚类算法

提出了一种基于启发式的密度和网格的增量聚类算法。通过密度和网格相结合的方法,采用启发式原理进行聚类处理,利用增量式算法只对受影响的点进行计算,可以很快得到修正后的聚类,大大提高效率。实验表明该算法能很好地处理高维数据,较传统算法效率有显著提高而且加速度较商。     

基于聚类和距离的大数据集离群点检测算法

针对已有的基于距离的离群点检测算法在大数据集上扩展性差的问题,提出了基于聚类和距离混合的大数据集离群检测算法.算法第一阶段采用层次聚类和k-means混合的层次k-means算法对数据进行聚类,并按照一个启发式规则对其进行排序.第二阶段在聚类的结果上采用嵌套循环算法进行离群检测,并通过两个剪枝规则进行高效舅枝,减少了离群检测时数据点之间距离计算的次数.理论分析和实验结果证明了算法的可行性和效率.     

面向用户需求的制造资源服务模糊聚类研究

通过分析用户需求偏好和资源灰色关联度,建立资源模糊相似矩阵并构建资源模糊聚类树。以复合值模糊聚类树为基础,以资源类内聚合度、资源类间分离度和用户需求满意度为目标,构建资源聚类优化数学模型,然后运用遗传算法进行优化。算法采用了交叉概率和变异概率自适应的重构策略和保优操作,避免了算法的早熟,增强了算法的寻优能力和搜索效率。通过实例仿真验证了算法的有效性。     

密度峰值快速搜索与聚类算法及其在船舶位置数据分析中的应用

密度峰值快速搜索与聚类算法(CFSFDP)是2014年发表在《科学》上的一种新颖的聚类算法,该算法通过计算样本点的局部密度和到局部密度比它大的样本点的距离,采用决策图的形式确定聚类中心,能快速发现任意形状数据集的密度峰值点,并高效进行非中心样本点分配。但是当数据集中簇间密度差别较大或者某个簇中存在多密度峰值时,聚类结果较差。针对该问题,采用相对密度作为度量样本点密度的尺度搜索密度峰值,优化CFSFDP算法。人造数据集和UCI真实数据集上的实验表明,在没有显著提高时间复杂度的基础上,算法的性能优于CFSFDP算法和具有噪声的基于密度的聚类应用(DBSCAN)算法。最后将新算法应用于船舶位置数据,分析船舶交通流特征和群体行为模式,取得了满意的结果。     

基于谱聚类和隐语义模型的智能协同推荐方法

随着云计算及移动互联网技术的迅速发展,网络中可选服务信息呈爆炸性增长,信息过载问题日益严重.针对推荐系统中存在的数据稀疏性问题及冷启动问题,提出一种基于谱聚类和隐语义模型的智能协同推荐方法.该方法基于提取的用户标签特征信息,利用谱聚类算法对相似用户进行聚类,将原始高维评分矩阵转化为多个较低维的子评分矩阵.然后在子评分矩阵中利用隐语义模型对缺失评分进行局部预测.最后在获得缺失评分后利用改进的基于邻域的协同推荐算法对目标用户进行全局评分预测.所提算法有效解决了数据稀疏性问题和冷启动问题,在提高预测准确度的同时加快了推荐算法效率.