一种面向不平衡数据集的过采样算法

传统过采样算法通过合成少数类样本来改善不平衡问题,但未考虑产生噪点与样本分布不均匀等问题,针对该类问题,提出了一种基于聚类与对改进SMOTE的过采样算法SK-SMOTE。该算法在聚类前,先合成一部分少数样本,以此提高少数类样本数量,同时根据合成的少数类样本的邻居样本的类别和距离赋予权重,通过权重总和是否大于设定的值来决定该样本是否可以被保留。在提高少数类样本数量后,再使用KMeans算法进行聚类,然后保留少数样本较多的簇。在簇内进行过采样,相对稀疏的簇将合成更多的少数类样本。选取UCI和KEEL数据库中的不平衡数据集,将SVM、RF、KNN作为分类算法,并选用几种经典的SMOTE算法与SK-SMOTE进行多组对比实验。实验结果表明,SK-SMOTE算法可有效平衡不平衡数据集,且在不平衡比例较高的数据集上取得了比传统过采样算法更好的结果。     

基于近邻密度改进的SVM不平衡数据集分类算法

针对不平衡数据集数据分布不均匀及边界模糊的特点,提出基于近邻密度改进的SVM(NDSVM)不平衡数据集分类算法.该算法先计算多数类内每个样本的近邻密度值,然后依据该密度值选出多数类中位于边界区域、靠近边界区域的与少数类数目相等的样本分别与少数类完成SVM初始分类,最后用所得的支持向量机和剩余的多数类样本完成初始分类器迭代优化.人工数据集和UCI数据集的实验结果表明,与WSVM、ALSMOTE -SVM和基本SVM算法相比,本文算法分类效果良好,能有效改进SVM算法在分布不均匀及边界模糊数据集上的分类性能.     

一种基于不平衡样本集的摩托车识别算法

提出了一种基于HSV(Hue-Saturation-Value)空间的Haar小波特征和多SVM(Support Vector Machine)分类器的摩托车识别算法,以解决因样本比例不平衡所导致的对摩托车识别性能差的问题.首先在HSV颜色空间基于无符号小波系数构造特征提取算法,然后对训练数据应用所提出的样本重构方法得到若干训练子集,基于各个训练子集训练相应的SVM分类器,识别时将各SVM的输出结果进行融合即可得到最终识别结果.实验结果表明:该方法识别性能高,鲁棒性好,对于受数据的不平衡性严重影响的对象识别具有较好的应用和推广价值.     

交通事件检测的一种滤波算法

利用维纳数字滤波原理,提出了交通事件检测的一种滤波算法,叙述了该算法的原理方法。     

不平衡数据集的CT结肠镜息肉检测方法

目前CT结肠镜的息肉检测分类器面临着数据集不平衡问题,数据集中的正样本(息肉)的数量远远小于负样本．针对这个问题,息肉检测分类器采用SMOTEBoost,结合SMOTE(Synthetic Minority Over-Sampling Technique)和Boosting:在数据层面,采用过采样技术SMOTE合成少数类样本,减轻数据集中两类样本的不平衡程度;在算法层面,采用Boosting方法提高弱分类器的性能,两者结合起来,既改善对少数类样本的预测能力,又保证了对整个数据集的分类精度．为了满足息肉检测对算法实时性的需求,采用MRMR(Minimum Redundancy Maximum Relevance)方法挑选最大相关、最小冗余的简单特征组成级联第1层强分类器,拒绝大多数负样本,极大地提高了分类器的处理速度．实验结果表明:设计的分类器检测直径大于5 mm息肉的敏感度达到90％,每个数据体6个假阳．     

基于人工神经网络的交通事件检测

回顾几种传统的交通事件检测算法，提出从多层前向人工神经网络角度建立模型，并运用BP算法予以实现。在将BP算法与传统算法进行比较之后，发现BP算法具有检测率高、误报率低、检测时间短的优点，同时也存在不足之处，指出了今后进一步研究的方向。     

加权最大夹角间隔核心集向量机的不平衡数据分类

为了处理大规模数据和不平衡数据分类问题,提出了一种新的分类方法,利用基于最大夹角间隔的核心集向量机算法实现对大样本数据的分类;针对不平衡数据分类问题,通过对不同的样本给予不同的权重,来提高算法的分类性能。加权最大夹角间隔核心集向量机方法不仅能够有效地解决不平衡数据的分类问题,而且能够实现对大样本数据的快速训练。     

基于优化SMOTE算法的非平衡大数据集分类研究

在处理非平衡大数据集中,提出一种基于优化SMOTE方案的分类算法研究,在临近样本插值分类中引入分簇聚类的理念,具体分为安全样本、危险样本和干扰样本,并重点对安全样本做插值处理.对插值后的数据样本做区间化处理,能够改善插值后数据过于集中的状况,提高样本分布的均匀度.算法性能验证结果表明,分类算法的规模成长性更好,具有更强...     

基于ν-SVM的不平衡数据挖掘研究

针对基于精度的现有分类算法对不平衡数据挖掘表现出“有偏性”,即正例样本的分类和预测性能差于反例样本的分类和预测性能,基于-νSVM及其启发,提出支持向量数和边界支持向量数的界,进而提出支持向量率和边界支持向量率的界,并把这些界分别扩展到正例和反例.在此基础上,证明了正例的支持向量率和边界支持向量率分别依概率大于反例的支持向量率和边界支持向量率,以及正例的分类性能依概率差于反例的分类性能.针对German credit和Heart disease两个Benchmark数据集的试验研究,验证了本文假设的合理性和上述结论的正确性.     

基于串行分类算法的不平衡时间序列多分类方法

提出了基于串行分类算法的不平衡时间序列多分类方法,并以“上证50指数”15 min交易数据为例,进行了实验检验与结果分析. 结果表明,在多数情况下,串行分类算法比单一算法有更高的准确率、召回率和F1值,可以更有效解决不平衡时间序列多分类问题.     

密度不均衡数据分类算法

针对不均衡数据下分类超平面偏移、少数类识别率较低的问题,提出一种基于样本密度的不均衡数据分类算法。该算法首先计算样本密度和类样本密度,依据类样本密度之间的关系确定聚类类数, 然后利用K-means聚类算法对多数类样本进行聚类,用聚类所得类中心作为样本集取代原多数类样本集, 最后对新构造的训练集进行训练得到最终决策函数。其实验结果表明,该算法能够提高SVM在不均衡数据下的分类性能,尤其是少数类的分类性能。       

一种基于同义词扩展的不平衡文本分类方法

针对传统文本分类方法的性能,尤其是其中少数类的分类性能会随着文本不平衡程度的加重而迅速恶化的现象,提出了一种基于同义词扩展的不平衡文本分类改进方法.该方法通过建立同义词词典、确定扩展规则和调整“特征保持因子”等几个步骤,实现了对少数类中的特征项的丰富和补偿,同时对扩展带来的原文档特征变化予以了补偿.实验结果表明,该方法可以从很大程度上改善少数类的分类性能,并且随着少数类中文本数量的减少,性能的提升会越发显著.与此同时,分类器的总体分类性能也得到了一定程度的提升.     

基于深度学习的不均衡网络数据分类技术研究

在现实网络环境中,数据分布不均衡是普遍现象,也是研究的热点问题.利用传统机器学习算法解决该问题的研究成果较多,综述性研究也较丰富.但当前从深度学习的角度探讨数据不均衡问题已成为新趋势.对此,综述了基于深度学习方法的研究成果.通过对数据不均衡问题进行深入分析,从数据预处理、分类器设计及改进两大方面梳理相关技术路线,包括传...     

基于统计学习的自适应文本聚类

针对文本数据的高维性和稀疏性从而使传统的聚类算法在文本聚类应用中的表现不能让人满意的问题,通过计算文档相似度矩阵,在聚类过程中动态地统计学习已划分和未划分文本集合的相关信息,探测剩余未划分的数据集中的与已划分类簇覆盖度较小的最大密集区域,逐步生成预定数目的初始聚类中心集合,最后将剩余文档划分到最相似的初始聚类中心集合完成聚类,从而有效地减小了划分聚类算法对初始聚类中心的敏感性。算法中的一些阈值参数均通过在聚类过程中动态地对数据集进行统计学习得到,避免了多数聚类算法通过经验或实验设定阈值参数的盲目性,在不同     

面向不平衡文本的特征选择方法

在分析了传统特征选择方法构造的4项基本信息元素的基础上提出一种强类别信息的度量标准,并在此基础上,提出一种适用于不平衡文本的特征选择方法。该方法综合考虑了类别信息因子、词频因子,分别用于提高少数类和多数类类别分类精度。该方法在reuter-21578数据集上进行了实验,实验结果表明,该特征选择方法比IG、CHI方法都更好,不但微平均指标有一定程度的提高,而且宏平均指标也有一定程度的提高。     

基于ADASYN与AdaBoostSVM相结合的不平衡分类算法

对于平衡数据集支持向量机(support vector machine,SVM)通常具有很好的分类性能和泛化能力,然而对于不平衡数据集,SVM只能得到次优结果,针对该问题提出了一种基于SVM的AS-Ada Boost SVM分类算法.首先,通过使用ADASYN采样,提高少类样本在边界区域的密度;然后,使用基于径向基核支持向量机(radial basis function kernel mapping support vector machine,RBFSVM)模型弱分类器的Ada Boost SVM算法训练得到决策分类器.通过将该算法在各种不平衡数据集上的测试结果与单纯运用ADASYN技术、Ada Boost SVM、SMOTEBoost等其他分类器进行比较,验证了该算法的有效性和鲁棒性.     

用于不同密度聚类的多阶段等密度线算法

多阶段等密度线算法是在基于网格的等密度线聚类算法的基础之上 ,采用多阶段的聚类方式来解决分布密度变化较大的数据集的聚类分析问题. 该算法能够找出分布密度不同的各种类别 ,并能很快地处理高维数据集. 此外 ,还能有效地对时间序列数据集进行聚类.     

基于KNN算法的改进K-means算法

针对于K-means算法的缺点做出了一些改进,提出了一种基于KNN算法改进K-means的算法。改进后的算法解决了K-means算法K值无法确定和数据分类中的不强、易受异常数据干扰的缺点,提高了算法的聚类效果以及削弱初始聚类中心选择的随机性对于聚类结果易陷入局部最优的影响。实验表明,改进后的算法不仅解决了传统算法确定K值的问题,而且聚类结果稳定且聚类效果良好。