基于样本之间紧密度的模糊支持向量机方法

针对传统支持向量机方法中存在对噪声或野值敏感的问题,提出了一种基于紧密度的模糊支持向量机方法.在确定样本的隶属度时,不仅考虑了样本与类中心之间的关系,还考虑了类中各个样本之间的关系.通过样本之间的紧密度来描述类中各个样本之间的关系,利用包围同一类中样本的最小球半径大小来度量样本之间的紧密度.样本的隶属度依据样本在球中的位置,按照不同的规律确定与基于样本与类中心之间关系构建的模糊支持向量机方法相比,该方法有利于将野值或含噪声样本与有效样本进行区分.实验结果表明,与传统支持向量机方法及基于样本与类中心之间关系的模糊支持向量机方法相比,基于紧密度的模糊支持向量机方法具有更好的抗噪性能及分类能力.     

模糊支持向量机中隶属度的确定与分析

针对目前模糊支持向量机方法中，一般使用特征空间中样本与类中心之间的距离关系构建隶属度函数的不足，提出了一种新的有效地反映样本不确定性的隶属度计算方法——基于样本紧密度的隶属度方法。在确定样本的隶属度时，不仅考虑了样本与类中心之间的关系，还考虑了类中各个样本之间的关系，并采用模糊连接度来度量类中各个样本之间的关系。将其应用于模糊支持向量机方法中，较好地将支持向量与含噪声或野值样本区分开。实验结果表明，采用模糊支持向量机方法，其分类错误率比采用支持向量机方法的错误率低，在使用的3种隶属度函数中，采用基于紧密度隶属度的模糊支持向量机方法抗噪性能最好，分类性能最强。     

最小方差优化初始聚类中心的K-means算法

传统K-means算法随机选取初始聚类中心,容易导致聚类结果不稳定,而优化初始聚类中心的K-means算法需要一定的参数选择,也会使聚类结果缺乏客观性。为此,根据样本空间分布紧密度信息,提出利用最小方差优化初始聚类中心的K-means算法。该算法运用样本空间分布信息,通过计算样本空间分布的方差得到样本紧密度信息,选择方差最小(即紧密度最高)且相距一定距离的样本作为初始聚类中心,实现优化的K-means聚类。在UCI机器学习数据库数据集和含有噪音的人工模拟数据集上的实验结果表明,该算法不仅能得到较好的聚类结果,且聚类结果稳定,对噪音具有较强的免疫性能。     

基于模糊支持向量机的非平衡数据分类

支持向量机(SVM)作为一种有效的机器学习技术可以很好地处理平衡数据集,然而除了对噪声点和野点敏感以外,SVM在非平衡数据分类时会偏向多数类(负类)样本,从而导致少数类(正类)的分类精度变差。为了克服以上问题,提出了一种改进的模糊支持向量机(FSVM)算法。新算法在设计模糊隶属度时,不仅考虑样本到其所在类中心的距离,还考虑了样本的紧密度特征。实验结果表明,相对于标准SVM及已有的FSVM模型,新方法对于非平衡且含有噪声的数据集有更好的分类效果。     

一种改进的少数类样本识别方法

非均衡数据集的分类过程中,产生了向多数类偏斜、少数类识别率较低的问题。为了提高少数类的分类精度,提出了一种S-SMO-Boost方法。该方法基于Adaboost提升算法迭代过程中错分少数类样本,构造虚拟样本,以加强对易错分样本的训练;其中构造样本利用空间插值方法,即在错分少数类样本周围构造超几何体,在该超几何体内部空间随机插值产生有效虚拟样本。在实际数据集上进行实验验证,结果表明,S-SMO-Boost方法提高了非均衡数据集的分类性能。     

大型数据库中基于邻域连接的层次聚类算法

提出了一种基于邻域连接的层次聚类算法HANL,该算法首先采用分割的方法将数据集划分为若干个子簇,通过对子簇间的连接的分析,建立子簇间的连接构成图,图中带权的边代表了子簇间的连接紧密度。合并连接紧密度高的结点,得到最后的聚类结果。该算法适用于高维数据集,能够对任意形状的簇进行聚类,无论对于数值属性的数据库还是分类属性的数据库都是一个有效的聚类方法。同时这种方法聚类速度快,效率高,具有良好的伸缩性。     

鲁棒的交叉熵模糊聚类算法

针对模糊C-均值聚类(FCM)算法对噪声敏感、容易收敛到局部极小值的问题,提出一种基于交叉熵的模糊聚类算法。通过引入交叉熵重新定义了传统FCM算法的目标函数,利用交叉熵度量样本隶属度之间的差异性,并采用拉格朗日求解方法和朗伯W函数解决了目标函数的优化问题,此外,分析了样本划分矩阵的分布情况,依据分布特性对噪声样本进行识别。人工数据集合和标准数据集加噪的实验结果表明,该算法提高了传统FCM算法的抗干扰能力,具有更强的鲁棒性,噪声样本识别的准确率较高。     

一种新的聚类有效性函数

聚类有效性函数是用于评价聚类结果优劣的指标,准确地给出初始聚类类别数将使得聚类结果趋于合理化。根据模糊不确定性理论及聚类问题的基本特性,引入了新的紧密度度量指标D_i（U;c）,在此基础上提出了一个旨在寻求最优聚类类别数的有效性函数。该函数基于数据集的紧密度与分离度特征,综合考虑了数据成员的隶属度及数据集的几何结构。实验结果表明该有效性函数能够发现最优的聚类类别数,对于分类结构较为明确的数据集表现出良好的性能,并且对于权重系数具有良好的鲁棒性。     

融合先验知识的模糊最小二乘支持向量机模型及其应用

为了解决最小二乘支持向量机(LSSVM)对噪声或孤立点敏感的问题,融合数据样本中的先验知识,提出一种基于噪声分布模型和样本紧密度的模糊最小二乘支持向量机模型。在训练的过程中,考虑样本的噪声分布信息。为了区分有效样本和噪声,研究了基于样本紧密度的策略。运用该策略和噪声分布模型,可自动生成相应样本的模糊隶属度。该方法提高了最小二乘支持向量机的抗噪声能力以及处理含有噪声或孤立点样本的灵活性。将提出的方法运用于润滑油精制生产过程的故障诊断。实验结果表明,该方法具有很好的分类精度和鲁棒性。     

基于分裂式K均值聚类的图像分割方法

模糊C均值聚类(FCM)算法是一种有效的无监督图像分割方法,适用于任意分类数,不需要预知图像特征,但其聚类效果直接受待分类样本噪声和分类初始条件的影响。因此,提出了一种适用于彩色图像分割的分裂式K均值聚类(FKM)算法,该算法首先使用中值滤波对分类样本去噪,然后使用一种分裂聚类法对图像样本进行预分类,得到一组样本集初始划分,最后以这组划分为起点,使用基于概率距离的K均值聚类对图像分割进行迭代优化。实验结果表明,该算法可以避免FCM的误分类,诸如陷于中心死区、中心重叠和局部极小值,而且提高了分割速度。     

改进的一对一支持向量机多分类算法

支持向量机的一对一多分类算法具有良好的性能,但该算法在分类时存在不可分区域,影响了该方法的应用.因此,提出一种一对一与基于紧密度判决相结合的多分类方法,使用一对一算法分类,采用基于紧密度决策解决不可分区,依据样本到类中心之间的距离和基于kNN (k nearest neighbor)的样本分布情况结合的方式构建判别函数来确定类别归属.使用UCI (university of California Irvine)数据集做测试,测试结果表明,该算法能有效地解决不可分区域问题,而且表现出比其它算法更好的性能.     

基于半监督KFCM及邻域信息的遥感图像分类算法

针对传统的模糊C-均值在遥感图像分类时容易产生局部最优现象以及对噪声过于敏感等问题,提出了一种基于半监督、核函数及空间邻域信息的模糊C-均值遥感图像分类算法。该算法基于遥感图像的光谱特征空间,根据地物的地表反射率大小进行聚类;在聚类迭代过程中,考虑到像素单元空间邻域的相关性,根据空间邻域信息加权调整像素点的隶属度大小;引入了核理论,解决遥感图像分类的非线性问题,使用内核诱导距离取代原模糊C-均值中的欧氏距离,优化图像样本特征;算法还使用了半监督分类技术,充分利用少量的已知标记信息,达到提高分类精度的目的。实验结果表明,该算法能有效提高分类精度,有效抑制噪声干扰,减少了迭代次数和时间。     

基于两阶段聚类的模糊支持向量机

为了提高模糊支持向量机在大数据集上的训练效率,提出一种基于两阶段聚类的模糊支持向量机算法。第1阶段为粗粒度聚类阶段,在每类训练样本上执行密度聚类算法,设置较大的邻域半径(给定邻域内最小点数),保证可能成为支持向量的样本点都被选取;第2阶段为自适应聚类阶段,在粗选的数据集合上,执行自适应密度聚类算法,根据各个点距离分类面的远近,自适应决定该点的邻域半径(给定邻域内最小点数)。这样可有效地减少远离分类面的聚类边缘点的数量,同时在分类面附近保持较多的样本点,试验结果表明,基于两阶段聚类模糊支持向量机算法,相比以往的方法,不仅提高了模糊支持向量机的训练效率,同时保持了较好的分类效果。     

基于隶属度的模糊加权k近质心近邻算法

模糊k近质心近邻算法（FKNCN）的分类结果易受噪声点和离群点影响,并且算法对所有样本特征同等对待,不能体现样本特征的差异性。针对这两个问题,提出基于隶属度的模糊加权k近质心近邻算法MRFKNCN。利用密度聚类思想构造新的隶属度函数计算训练样本的隶属度,以减小噪声或离群样本对分类结果的影响。在此基础上,设计基于冗余分析的Relief-F算法计算每个特征的权重,删去较小权重所对应的特征和冗余特征,并通过加权欧氏距离选取有代表性的k个近质心近邻,提高分类性能。最终,根据最大隶属度原则确定待分类样本的类别。利用UCI和KEEL中的多个数据集对MRFKNCN算法进行测试,并与KNN、KNCN、LMKNCN、FKNN、FKNCN2和BMFKNCN算法进行比较。实验结果表明,MRFKNCN算法的分类性能明显优于其他6个对比算法,平均准确率最高可提升4.68个百分点。     

一种扩展的紧密度模糊支持向量机及其在文本分类中应用

采用模糊支持向量机时,隶属度函数的设计是整个算法的关键。详细阐述了已存在的隶属度函数,重点分析了目前应用较广的紧密度模糊支持向量机,针对紧密度模糊支持向量机的不足,提出了一种扩展的紧密度模糊支持向量机,并将其应用到文本分类领域。实验结果表明,与传统模糊支持向量机相比,该算法分类性能更好,抗噪能力更强。     

基于边界混合重采样的非平衡数据分类方法

在非平衡数据分类问题中,为了合成有价值的新样本和删除无影响的原样本,提出一种基于边界混合重采样的非平衡数据分类算法。该算法首先引入支持k-离群度概念,找出数据集中的边界点集和非边界点集;利用改进的SMOTE算法将少数类中的边界点作为目标样本合成新的点集,同时对多数类中的非边界点采用基于距离的欠采样算法,以此达到类之间的平衡。通过实验结果对比表明了该算法在保证G-mean值较优的前提下,一定程度上提高了少数类的分类精度。     

基于距离比值尺度的模糊粗糙集属性约简

属性约简能有效地去除不必要属性,提高分类器的性能。模糊粗糙集是处理不确定信息的重要范式,能有效地应用于属性约简。在模糊粗糙集中,样本分布的不确定性会影响对象的近似集,进而影响有效属性约简的获取。为有效地定义近似集,文中提出了基于距离比值尺度的模糊粗糙集,该模型引入了基于距离比值尺度的样本集的定义,通过对距离比值尺度的控制,避免了样本分布不确定性对近似集的影响;给出了该模型的基本性质,定义了新的依赖度函数,进而设计了属性约简算法;以SVM,NaiveBayes和J48作为测试分类器,在UCI数据集上评测所提算法的性能。实验结果表明,所提出的属性约简算法能够有效获取约简并提高分类的精度。     

基于有效距离的多模态特征选择*

在传统距离度量的基础上,提出利用有效距离进行特征选择,并用于多模态分类.为了更好地反映样本间全局和局部关系,提出基于有效距离的多模态特征选择方法.该方法针对样本间全局关系进行建模,实现基于有效距离的特征选择,从而增强所选特征的判别性.在ADNI、UCI数据集上进行的分类实验表明,与传统方法相比,文中方法能有效提高多模态数据的分类性能.     

一种基于DCT的模糊聚类自适应水印算法

在DCT域提出了基于模糊和人类视觉系统的新颖的数字水印算法，该算法将图像块按照亮度和纹理进行分类，可以自适应地根据图像特点嵌入水印。水印为二值图像，根据块分类以不同的嵌入强度嵌入到所选择块的中频系数中。该方法允许在一定的视觉距离下嵌入更为鲁棒的水印，达到鲁棒性和不可见性的良好折衷。仿真结果显示了该方法可以抵抗如压缩，加噪等常用攻击。     

模糊c-均值算法改进及其对卫星遥感数据聚类的对比

提出的改进的模糊c-均值聚类方法采用基于标准协方差矩阵的Mahalanobis距离，即椭球体聚类方法，这种聚类算法更接近遥感数据散点图的实际情况，从而可以显著提高聚类效果。对北京卫星ASTER数据的聚类分析实验表明，改进的模糊c-均值聚类方法的聚类效果要优于K-均值聚类方法和常规的模糊c-均值聚类方法。