基于类属属性约简的多标记学习

在多标记学习中,由于不同的标记可能会带有自身的一些特性,所以目前已经出现了基于标记类属属性的多标记学习算法LIFT.然而,类属属性的构建可能会增加属性向量的维度,致使属性空间存在冗余信息.为此,借助模糊粗糙集提出了一种能够进行类属属性约简的多标记学习算法FRS-LIFT,其包含4个步骤:类属属性构建、属性维度约简、分类模型训练和未知样本预测.在5个多标记数据集上的实验结果表明,该算法与LIFT算法相比,不仅能够降低类属属性维数,而且在5种多标记评价指标上均具有较好的实验效果.     

特征特定标记关联挖掘的类属属性学习

在多标记分类中,某个标记可能只由其自身的某些特有属性决定,这些特定属性称之为类属属性.利用类属属性进行多标记分类,可以有效避免某些无用特征影响构建分类模型的性能.然而类属属性算法仅从标记角度去提取重要特征,而忽略了从特征角度去提取重要标记.事实上,如果能从特征角度提前关注某些标记,更容易获取这些标记的特有属性.基于此,提出了一种新型类属属性学习的多标记分类算法,将从特征层面提取重要标记与从标记层面提取重要特征进行双向联合学习.首先,为了保证模型求解速度与精度都较为合理,采用极限学习机构建学习模型.随后,将弹性网络正则化理论添加到极限学习机损失函数中,使用互信息构建特征标记相关性矩阵作为L\\-2正则化项,而L\\-1正则化项即提取类属属性.该学习模型改进了类属属性在多标记学习中的不足,通过在标准多标记数据集上与多个先进算法对比,实验结果表明了所提模型的合理性和有效性.     

缺失标记下基于类属属性的多标记特征选择

多标记特征选择已在图像分类、疾病诊断等领域得到广泛应用;然而,现实中数据的标记空间往往存在部分标记缺失的问题,这破坏了标记间的结构性和关联性,使得学习算法难以准确地选择重要特征。针对此问题,提出一种缺失标记下基于类属属性的多标记特征选择（MFSLML）算法。首先,通过利用稀疏学习方法获取每个类标记的类属属性;同时基于线性回归模型构建类属属性与标记的映射关系,以用于恢复缺失标记;最后,选取7组数据集以及4个评价指标进行实验。实验结果表明：相比基于最大依赖度和最小冗余度的多标记特征选择算法（MDMR）和基于特征交互的多标记特征选择算法（MFML）等一些先进的多标记特征选择算法,MFSLML在平均查准率指标上能够提升4.61~5.5个百分点,由此可见MFSLML具有更优的分类性能。     

一种基于标签相关性的类属属性多标签分类算法

多标签学习中一个样本可同时属于多个类别标签,每个标签都可能拥有反映该标签特定特点的特征,即类属属性,目前已经出现了基于类属属性的多标签分类算法LIFT。针对LIFT算法中未考虑标签之间相互关系的问题,提出一种基于标签相关性的类属属性多标签分类算法CLLIFT。该算法使用标签距离度量标签之间的相关性,通过在类属属性空间附加相关标签的方式完成标签相关性的引入,以达到提升分类性能的目的。在四个多标签数据集上的实验结果表明,所提算法与LIFT算法相比在多个多标签评价指标上平均提升21.1%。     

多类别相关性结合的类属属性多标签学习

现有的类属属性学习方法在提取类别标签的特征时,大多仅单一考虑标签间的相关性,忽略实例和实例间以及特征与特征间的相关性,可能会降低分类精度.为了解决此问题,文中设计多类别相关性结合的类属属性多标签学习算法,考虑标签相关性、特征相关性和实例相关性.利用标签之间的余弦相似度计算标签相关性,构建相似图矩阵计算特征相关性和实例相关性.文中算法紧凑地选择标签的类属属性,提高分类精度,有效解决多标签分类遇到的维度过大问题.     

基于引力模型的类属属性多标签分类算法

为解决基于类属属性的多标签分类算法(multi-label classification with label specific features,LIFT),在类属属性构造过程中未考虑数据间的相互作用且未利用近邻集合的特征和标签信息的问题,提出基于引力模型的类属属性多标签分类算法G-GMLIFT (global-gravitation model based label specific features)和L-GMLIFT (local-gravitation model based label specific features)。结合引力模型,利用近邻集合的特征和标签信息,构成基于相互作用的类属属性空间,度量数据间的相互作用。仿真结果表明,与现有方法相比,所提算法具有较好的分类性能。     

融合标记独有属性特征的k近邻多标记分类新算法

在多标记学习系统中,每个样本同时与多个类别标记相关,却均由一个属性特征向量描述。大部分已有的多标记分类算法采用的共同策略是使用相同的属性特征集合预测所有的类别标记,但它并非最佳选择,原因在于每个标记可能与其自身独有的属性特征相关性最大。针对这一问题,提出了融合标记独有属性特征的k近邻多标记分类算法—IML-kNN。首先对多标记数据的特征向量进行预处理,分别为每类标记构造对该类标记最具有判别能力的属性特征;然后基于得到的属性特征使用改进后的ML-kNN算法进行分类。实验结果表明,IML-kNN算法在yeast和image数据集上的性能明显优于ML-kNN算法以及其他3种常用的多标记分类算法。     

基于标签正负相关性的多标签类属特征学习

提出一种基于标签正负相关性的多标签类属特征学习方法(multi-label learning with label-specific features based on positive and negative label correlation,LIFTPNL).基于k近邻的思想构建全局和局部的标签信息矩阵,根据此...     

基于局部标记信息的多标记学习算法

一个样例的标记信息可能会对附近其他样例的学习提供有用信息,特别是在数据比较匮乏的情况下,利用已标记数据与未标记数据间的相关性,能够在一定程度上避免因数据不足所造成的误差。针对样例之间的相关性研究,提出基于局部标记信息的多标记学习算法,算法首先获取样例的局部标记信息,然后将样例的局部标记信息引入属性空间构造新的样例集合,并根据新的样例集合进行分类。实验结果表明,算法的分类性能得到较大提升,且优于其他常用多标记学习算法。     

基于稀疏表示的多标记学习算法

为解决多标记数据的分类问题,提出基于稀疏表示的多标记学习算法。首先将待分类样本表示为训练样本集上的稀疏线性组合,基于l¹-最小化方法求得最稀疏的系数解。然后利用稀疏系数的判别信息提出一个计算待分类样本对各标记的隶属度的方法。最后根据隶属度对标记进行排序,进而完成分类。在Yeast基因功能分析、自然场景分类和web页面分类上的实验表明,该算法能够有效解决多标记数据的分类问题,与其它方法相比取得更好的结果。     

Joint Label-Specific Features and Correlation Information for Multi-Label Learning

Multi-label learning deals with the problem where each instance is associated with a set of class labels.In multilabel learning,different labels may have their own inherent characteristics for distinguishing each other,and the correlation information has shown promising strength in improving multi-label learning.In this study,we propose a novel multilabel learning method by simultaneously taking into account both the learning of label-specific features and the correlation information during the learning process.Firstly,we learn a sparse weight parameter vector for each label based on the linear regression model,and the label-specific features can be extracted according to the corresponding weight parameters.Secondly,we constrain label correlations directly on the output of labels,not on the corresponding parameter vectors which conflicts with the label-specific feature learning.Specifically,for any two related labels,their corresponding models should have similar outputs rather than similar parameter vectors.Thirdly,we also exploit the sample correlations through sparse reconstruction.The experimental results on 12 benchmark datasets show that the proposed method performs better than the existing methods.The proposed method ranks in the 1st place at 66.7%case and achieves optimal average rank in terms of all evaluation measures.     

基于标签特征和相关性的多标签分类算法

针对标签特有特征和标签相关性的有效利用，提出了一种新的多标签算法LSFLC，它可以有效地集成标签特有特征和标签相关性。首先，对于每个标签，通过重采样技术生成新的正类实例以扩充其正类实例的数目；其次，通过特征映射函数将原始特征空间转换为特定的特征空间，得到每个标签的标签特征集；然后，对于每个标签，找到与其最相关标签，通过复制该标签的正类实例来扩大标签特征集，这不仅丰富了标签的信息，而且在一定程度上改善了类不平衡的问题；最后，对于不同的数据集进行实验分析，实验结果表明该算法的分类效果更好。     

基于标签相关性的K近邻多标签学习

多标签学习是机器学习领域的一个研究热点,其能够有效解决真实世界中的多语义问题。在多标签学习任务中,样本的多个标签之间存在一定的关联关系,忽略标签间的相关性会导致模型的泛化性能降低。提出一种基于标签间相关性的多标签学习K近邻算法。充分挖掘样本多标签间的相关性,通过Fp_growth算法得到标签的频繁项集。针对频繁项和标签分别构建评分模型和阈值模型,评分模型用于衡量样本与频繁项或标签之间的关联程度,阈值模型用于求解频繁项或标签对应的判别阈值,结合评分模型和阈值模型对样本所属频繁项进行预测,进而确定样本标签集。在经典数据集Emotions和Scene上的实验结果表明,该算法的F1-Measure指标分别达到66.6%和73.3%,相比CC、LP、RAKEL、MLDF等基准方法,其F1-Measure分别平均提高3.8和2.1个百分点,该算法通过合理利用标签间的相关性使得分类性能得到有效提升。     

共享子空间的多标记学习方法

在多标记问题中,一个样本对应的多个类别之间经常会存在一定的相关性,这些相关性可以为多标记分类提供有用的信息。已有的多标记学习对于类别之间的相关性研究是建立在原始数据上的,然而原始数据往往是高维且含有噪声的,使得已有学习方法无法达到满意的效果。提出了一种基于共享子空间的多标记学习方法。该方法可以在类别信息的指导下,学到从原始特征空间到高层共享空间的映射函数,从而可以把原始的高维数据映射到一个低维空间中。同时也学到一个从类别空间到高层空间的映射函数,使得数据进行低维的重新表示后,可以直接对应到类别信息。在5个实际的数据集合上进行了测试,实验结果表明该模型可以有效地提高多标记数据的分类性能。     

Stable Label-Specific Features Generation for Multi-Label Learning via Mixture-Based Clustering Ensemble

Multi-label learning deals with objects associated with multiple class labels, and aims to induce a predictive model which can assign a set of relevant class labels for an unseen instance. Since each class might possess its own characteristics, the strategy of extracting label-specific features has been widely employed to improve the discrimination process in multi-label learning, where the predictive model is induced based on tailored features specific to each class label instead of the identical instance representations. As a representative approach, LIFT generates label-specific features by conducting clustering analysis. However, its performance may be degraded due to the inherent instability of the single clustering algorithm. To improve this, a novel multi-label learning approach named SENCE (stable label-Specific features gENeration for multi-label learning via mixture-based Clustering Ensemble) is proposed, which stabilizes the generation process of label-specific features via clustering ensemble techniques. Specifically, more stable clustering results are obtained by firstly augmenting the original instance repre-sentation with cluster assignments from base clusters and then fitting a mixture model via the expectation-maximization (EM) algorithm. Extensive experiments on eighteen benchmark data sets show that SENCE performs better than LIFT and other well-established multi-label learning algorithms.      

针对弱标记数据的多标签分类算法

针对标签信息不完整的多标签分类问题,一种新的多标签算法MCWD被提出。它通过有效地恢复训练数据中缺失的标签信息,能够产生更好的分类结果。在训练阶段,MCWD通过迭代更新每个训练实例的权重以及利用两两标签之间的相关性来恢复训练数据中缺失的标签信息;在标签恢复完毕后,利用新得到的训练集来训练分类模型;用此模型对测试集进行预测。实验结果表明,该算法在14个多标签数据集上具有一定的优势。     

用于多标记学习的分类器圈方法

如何利用标记间关系来提高学习性能,是多标记学习领域的一个重要问题.分类器链方法及其变型是解决这类问题的一个有效技术.然而,它的学习过程需要预先给定标记的学习次序,这个信息真实情况难以获得.次序选择不当会导致学习性能提高受限.针对这个问题,提出用于多标记学习的分类器圈方法.该方法随机生成标记的学习次序,通过圈结构依次迭代地更新每个标记的分类器.实验结果表明,该方法在多个数据集上取得了比分类器链方法以及一系列经典多标记学习方法更好的性能.     

一种基于正则化的半监督多标记学习方法

多标记学习主要用于解决单个样本同时属于多个类别的问题.传统的多标记学习通常假设训练数据集含有大量有标记的训练样本.然而在许多实际问题中,大量训练样本中通常只有少量有标记的训练样本.为了更好地利用丰富的未标记训练样本以提高分类性能,提出了一种基于正则化的归纳式半监督多标记学习方法——MASS.具体而言,MASS首先在最小化经验风险的基础上,引入两种正则项分别用于约束分类器的复杂度及要求相似样本拥有相似结构化多标记输出,然后通过交替优化技术给出快速解法.在网页分类和基因功能分析问题上的实验结果验证了MASS方法的有效性.     

一类基于信息熵的多标签特征选择算法

在多标签分类问题中,特征选择是提升多标签分类器性能的一种重要手段.针对目前多标签特征选择算法计算复杂度大和无法给出一个合理的特征子集的问题,提出了一种基于信息熵的多标签特征选择算法.该算法假设特征之间相互独立,使用特征与标签集合之间的信息增益来衡量特征与标签集合之间的重要程度,并据此提出一种信息增益阈值选择方法.首先计算每一个特征与标签集合之间的信息增益,然后使用信息增益阈值选择算法得到一个合理的阈值,最后根据阈值删除不相关的特征,得到一组合理的特征子集.在2个不同分类器和4个多标签数据集上的实验结果表明:特征选择算法能够有效地提升多标签分类器的分类性能.