一种模糊-证据kNN分类方法

 已有的以k-最近邻(k Nearest Neighbor,kNN)规则为核心的分类算法,如模糊kNN(Fuzzy kNN,FkNN)和证据kNN (Evidential kNN,EkNN)等,存在着两个问题:无法区别出样本特征的差异以及忽略了邻居距训练样本类中心距离的不同所带来的影响.为此,本文提出一种模糊-证据kNN算法.首先,利用特征的模糊熵值确定每个特征的权重,基于加权欧氏距离选取k个邻居;然后,利用邻居的信息熵区别对待邻居并结合FkNN在表示信息和EkNN在融合决策方面的优势,采取先模糊化再融合的方法确定待分类样本的类别.本文的方法在UCI标准数据集上进行了测试,结果表明该方法优于已有算法.     

基于ReliefF特征加权和KNN的自然图像分类方法

为对自然图像有效准确地分类,提出了一种对图像低层特征和KNN分类算法中的近邻样本分别进行加权的分类方法。针对不同类别图像的视觉特征的差异,通过ReliefF算法计算训练集中每个类别的特征权值,利用此权值来改进待测图像与训练集中图像的距离度量;按照不同近邻到待测样本的距离远近,为不同近邻赋予权值来改进KNN算法在类别决策上的不足。实验结果表明该方法较传统KNN和特征加权KNN方法,准确性提高且对不同K值具有良好的鲁棒性。     

混合kNN算法在2型糖尿病预测诊断中的研究

2型糖尿病(T2DM)原始医疗数据具有广维度、多噪声、强耦合、非线性等特点。传统的kNN算法不能很好地利用全局信息,对异常值也不敏感,并且算法中的近邻值k以及权重的确定对于实验结果有很明显的影响,因此,提出一种混合kNN算法(IPCA-kNN)预测诊断2型糖尿病患者的新型预测模型。采用ISODATA算法对离散点进行剔除,数据集中的缺失值使用随机加权热卡(BB-Hotdeck)算法进行插补;构造kNN分类器时使用主成分分析(PCA)对每个属性赋不同权重,对于k值的确定使用交叉验证中的K-fold Cross Validation(K-CV)算法,通过准确度、敏感度和特异度验证所提模型有效。     

基于健康医疗大数据的KNN分类算法研究

本文针对KNN算法在处理医疗大数据时存在的不足进行了研究,提出了一种基于域数加权的分层KNN算法.算法根据医学领域的专业知识,构建n层体系结构,在外层分类时有效地降低了分类的无效计算量;同时随着层数加深,文本聚合明显,此时根据近邻域数进行选择性文本加权,有效地提高了分类精度.实验结果表明,该算法在对样本容量大、类别聚合差异性较明显,分类精度要求高的医疗数据进行分类时能取得较好的分类效果.     

基于SSMFA与kNNS算法的高光谱遥感影像分类

 为了研究高光谱影像数据的维数约简和分类问题,提出了一种基于半监督边际费希尔分析(SSMFA)和kNNS的高光谱遥感影像数据分类算法.该方法利用有标记数据和无标记数据的信息获得数据的内在流形结构,通过SSMFA将高光谱数据从高维观测空间投影到低维流形空间,然后利用邻域内多个近邻点的信息通过kNNS分类器对低维空间中的数据进行分类.在Urban、Washington和Indian Pine数据集上的分类识别实验表明,该方法能够较为有效地发现高维空间中数据的内蕴结构,在每类随机选取4,6,8个有类别标记的样本10个无类别标记的样本的情况下,该方法的总体分类精度能够比MFA+kNNS提高0.8%~2.5%,比MFA+kNN提高2.8%~4.5%,比其他算法提高4.0%~7.0%,分类精度有了明显的提高.     

一种聚类模式下基于密度的改进KNN算法

KNN是基于实例的算法,训练样本的数量影响KNN的分类性能.合理的样本剪裁可以提高分类器的效率.提出了一种聚类条件下基于密度的KNN改进模型.首先使用聚类方法对训练集进行基于类别的选择,裁剪边缘样本以减少噪音;再基于类别密度对样本进行加权,改善k近邻选择时大类别、高密度训练样本的占优现象.试验结果表明,本文提出的改进KNN分类算法提高了KNN的分类效率.     

近邻类加权结构稀疏表示图像识别算法

针对如何将近邻、子空间学习与稀疏表示结合起来解决稀疏分类计算量较大的问题。由于子空间中样本的类内散度小,类间散度大,且同类中所有样本对重构的影响相似,因此按类而非样本处理的思想更符合基于类重构误差进行分类的算法要求,为此提出一种基于近邻类加权结构稀疏表示算法用于图像识别。该算法首先利用线性类重构误差选取 个最近邻类,并将其对应的系数作为权值对投影后的近邻类加权,其次在投影子空间上,用 个类的加权训练样本集对测试样本进行结构稀疏表示,最后根据最小类重构误差得出分类结果。在AR,Yale B,MNIST,PIE数据库上的实验结果表明该方法在训练样本数较少的情况下获得较高的识别率且具有一定的鲁棒性。      

原子-分子字典结合的联合扩展加权稀疏表示人脸识别算法

针对训练样本字典学习仅包含全局信息、缺乏局部信息的不足,引入与类别相关的原子字典, 提出基于原子与分子字典联合扩展的加权稀疏表示人脸识别方法。首先,对各类训练样本进行PCA学习,得到带标记的训练样本基,构造PCA基原子字典,同时将训练样本字典作为分子字典。进而,利用原子字典与分子字典结合得到扩展字典模型。测试时,根据测试样本与扩展字典基之间的距离进行加权得到与当前测试样本关联的重构字典集,最后对测试样本稀疏重构,利用残差进行分类判别。为验证本文方法有效性,分别在AR、Georgia Tech和CMU PIE人脸数据库上进行实验。      

基于局部加权的Citation-kNN算法

 Citation-kNN算法对传统的kNN算法进行了改进,使其可以应用于多示例学习问题,但其0-1决策方式具有一定的局限性,没有充分考虑样本的分布情况。为解决该问题,该文提出局部加权的Citation-kNN算法,综合考虑样本的分布情况,提出基于样本距离加权、基于样本离散度加权的方法,并对各种组合情况进行了实验。在标准数据集MUSK和乳腺超声图像数据库上的实验结果表明,该文提出的方法与Citation-kNN相比,性能有明显提高,并具有良好的适应性。     

改进的kNN分类算法在工业物联网中的应用

在工业物联网中,k近邻分类(kNN)被广泛应用于缺陷产品识别和异常检测。但kNN自身存在计算复杂度高、不适用于分布式环境等缺点。因此,文中提出了一种安全有效的分布式kNN分类算法,以防止信息泄漏和控制流泄漏,同时支持分布式服务器上的大规模数据分类。首先设计了一个安全有效的向量同态加密方案。在该方案的基础上,提出了DkNN,有效地实现了数据流的机密性、kNN查询和类标记,同时实现了对加密数据的同态操作。实验结果表明,提出的DkNN算法能够满足实际需要。     

基于核距离加权的k-最近邻红外小目标检测

城市复杂背景边缘给空中红外小目标检测带来的非线性、非平稳热辐射信号影响严重。在采用k-最近邻分类判别决策的基础上,提出了一种基于核距离加权的k-最近邻红外小目标检测算法。该方法将每个预测窗口内的原始数据核映射到高维空间中进行分类,再对各近邻进行距离加权,遍历图像后得到预测结果。实验结果证明了该方法在抑制背景、增强目标方面都有较好的效果。     

基于ADE的ReliefF特征选择在高光谱图像分类中的应用

针对高光谱图像谱段数目较多、近邻谱段相关性过高而导致分类困难的问题,提出了一种自适应差分进化特征选择的高光谱图像分类算法.首先初始化种群向量集,利用自适应差分进化算法搜索特征的自适应性生成特征子集;然后,通过使用ReliefF技术根据特征排序去除重复特征,从而为所有的特征构建一个特征列表;最后,借助于模糊k-近邻分类器计算每个向量的分类精度,利用包裹模型评估特征子集.在印第安纳数据集和KSC数据集上的实验结果验证了算法的有效性及可靠性,实验结果表明,相比其他几种特征选择算法,该算法取得了更高的总分类精度和更好的Kappa系数.     

Using FCM to Select Samples in Semi-Supervised Classification

For a semi-supervised classification system, with the increase of the training samples number, the system needs to be continually updated. As the size of samples set is increasing, many unreliable samples will also be increased. In this paper, we use fuzzy c-means （FCM） clustering to take out some samples that are useless, and extract the intersection between the original training set and the cluster after using FCM clustering. The intersection between every class and cluster is reliable samples which we are looking for. The experiment result demonstrates that the superiority of the proposed algorithm is remarkable.     

Computational Intelligence Prediction Model Integrating Empirical Mode Decomposition,Principal Component Analysis,and Weighted k-Nearest Neighbor

On the basis of machine leaning, suitable algorithms can make advanced time series analysis. This paper proposes a complex k-nearest neighbor (KNN) model for predicting financial time series. This model uses a complex feature extraction process integrating a forward rolling empirical mode decomposition (EMD) for financial time series signal analysis and principal component analysis (PCA) for the dimension reduction. The information-rich features are extracted then input to a weighted KNN classifier where the features are weighted with PCA loading. Finally, prediction is generated via regression on the selected nearest neighbors. The structure of the model as a whole is original. The test results on real historical data sets confirm the effectiveness of the models for predicting the Chinese stock index, an individual stock, and the EUR/USD exchange rate.     

基于影响函数的k-近邻分类

分类是一种监督学习方法,通过在训练数据集学习模型判定未知样本的类标号。与传统的分类思想不同,该文从影响函数的角度理解分类,即从训练样本集对未知样本的影响来判定未知样本的类标号。首先介绍基于影响函数分类的思想;其次给出影响函数的定义,设计3种影响函数;最后基于这3种影响函数,提出基于影响函数的k-近邻(kNN)分类方法。并将该方法应用到非平衡数据集分类中。在18个UCI数据集上的实验结果表明,基于影响函数的k-近邻分类方法的分类性能好于传统的k-近邻分类方法,且对非平衡数据集分类有效。     

一种改进的双线性插值图像放大算法

针对传统的双线性插值图像放大算法存在的边缘模糊问题,提出一种改进算法：先计算插值点的双线性插值和最近邻点插值,然后以4个邻点的灰度方差构造权重,将二种插值进行加权融合获得最终插值结果。该算法既考虑到插值点与邻点之间距离关系,又考虑到邻点的灰度分布特性,有效地提高了放大图像的质量。实验结果验证了算法的有效性。     

分类判别的覆盖算法研究

基于数据的机器学习是研究从观测数据出发寻找规律,并利用这些规律对未来数据进行预测.该文提出一种新的分类判别方法--覆盖算法,其主要过程是利用某种覆盖规则算法寻找一些训练样本集的支撑点(代表点),在决策的时候仅需计算待分类样本与支撑覆盖点之间的距离并进行比较,与之最近的支撑点所在类别即为代分类样本的类别.而支撑点仅占全部训练样本的一部分,所以相比最近邻方法具有较小运算量和存储量的优点.另一方面,覆盖算法主要是样本之间的距离运算,不需要像SVM那样考虑核函数的选择问题,因此更适用于大数据量的自动分类问题.对正常星系和恒星两类光谱数据进行实验,结果表明,覆盖算法具有较好的鲁棒性、较高的分类正确率.     

证据理论k-NN规则中确定相似度参数的新方法

本文提出了一种确定证据理论k-NN分类规则中相似度参数的新方法.对于一个模式识别问题,我们首先为每一模式类求得一个参考最近邻距离,使其在最小错误率意义下将训练样本集中属于该模式类的样本与其他样本分离,然后根据所得参考最近邻距离计算相似度函数参数.该方法在训练集比较小、样本非高斯分布条件下仍然能够计算出比较准确的参数,使得相应的分类错误率较小,而且时间复杂度比L.M.Zouhal的方法低约4-8倍.     

An evidence-theoretic k-NN rule with parameter optimization

The paper presents a learning procedure for optimizing the parameters in the evidence-theoretic k-nearest neighbor rule, a pattern classification method based on the Dempster-Shafer theory of belief functions. In this approach, each neighbor of a pattern to be classified is considered as an item of evidence supporting certain hypotheses concerning the class membership of that pattern. Based on this evidence, basic belief masses are assigned to each subset of the set of classes. Such masses are obtained for each of the k-nearest neighbors of the pattern under consideration and aggregated using Dempster's rule of combination. In many situations, this method was found experimentally to yield lower error rates than other methods using the same information. However, the problem of tuning the parameters of the classification rule was so far unresolved. The authors determine optimal or near-optimal parameter values from the data by minimizing an error function. This refinement of the original method is shown experimentally to result in substantial improvement of classification accuracy     

基于动态路网的分布式邻近目标查询算法

提出了一种基于实时路况信息的分布式邻近目标查询算法,采用基于Voronoi图的划分将地理信息存储在离它最近路口的智能摄像头上,实时路况信息由智能摄像头采集,通过对路口的畅通程度进行建模,估算出路口间通行所需要的时间。当有车辆查询邻近目标时,网络中的智能摄像头根据所在路口的畅通程度和到邻近路口的距离,在分布式查询过程中加入延时转发机制,广播目标路径询问的数据分组,使数据分组的发送能模拟当前的路况进行传输,从而获得到达邻近目标的路径。基于真实数据的实验结果表明算法是有效的,处理大量并发查询时的性能优于现有方法。