基于类属特征和实例相关性的多标签分类算法

学习类属特征方法为每个标签选择特有特征并考虑成对标签的相关性以降低维度,可有效解决多标签分类遇到的维度过大问题,但缺乏对实例相关性的考虑.针对此问题,文中提出基于类属特征和实例相关性的多标签分类算法,不仅考虑标签相关性还考虑实例特征的相关性.通过构建相似性图,学习实例特征空间的相似性.在8个数据集上的实验表明,文中算法可有效提取类属特征,具有较好的分类性能.     

一种近似Markov Blanket最优特征选择算法

特征选择可以有效改善分类效率和精度,传统方法通常只评价单个特征,较少评价特征子集.在研究特征相关性基础上,进一步划分特征为强相关、弱相关、无关和冗余四种特征,建立起Markov Blanket理论和特征相关性之间的联系,结合Chi-Square检验统计方法,提出了一种基于前向选择的近似Markov Blanket特征选择算法,获得近似最优的特征子集.实验结果证明文中方法选取的特征子集与原始特征子集相比,以远小于原始特征数的特征子集获得了高于或接近于原始特征集的分类结果.同时,在高维特征空间的文本分类领域,与其它的特征选择方法OCFS,DF,CHI,IG等方法的分类结果进行了比较,在20 Newsgroup文本数据集上的分类实验结果表明文中提出的方法获得的特征子集在分类时优于其它方法.     

基于自适应相似性的无监督多视图特征选择

为解决传统特征选择方法忽略视图内部特征的相关性及不同视图之间的特征关联性问题,提出一种基于自适应相似性的特征选择学习方法.在特征选择时考虑视图内部的特征相关性,对每个视图进行特征选择,通过引入图正则化,充分利用数据的局部几何特性,使同类别特征之间的联系更加紧密,达到增强算法的鲁棒性.引入L1/2稀疏范数降低噪声,提高分类模型的准确率.通过与现有的特征方法进行对比分析,提出方法在ACC和NMI上优于其它方法.     

基于特征正则稀疏关联的无监督特征选择方法

针对高维无标签数据中的特征冗余问题,提出一种基于特征正则稀疏关联的无监督特征选择方法 （FRSA）。建立特征选择模型:利用Frobenius范数建立损失函数项表示特征之间的关联关系,对特征权重矩阵施加L₁稀疏正则化约束。设计一种分治-收缩阈值迭代算法对目标函数进行优化。根据特征权重评估每个特征的重要性,选择出具有代表性的特征。在6个不同类型的标准数据集上与目前常用的无监督特征选择方法进行对比实验,实验结果表明,所提方法的性能优于其它无监督特征选择方法。     

面向函数型数据的快速特征选择方法*

函数型数据的特征选择是从庞大的函数信息中选出那些相关性小、代表性强的少部分特征,以简化后期分类器的计算,提高泛化能力.由于特征选择方法用于函数数据分类效果并不理想,文中提出面向函数型数据的结合主成分分析法和最小凸包法的快速特征选择(FFS)方法,可以快速获得稳定的特征子集.此外,考虑到特征之间可能存在相关性,将FFS的结果作为其它方法的初始特征子集,故融合FFS与条件互信息方法.在UCR数据集上的实验证明FFS的有效性,并通过对比实验给出在不同时间代价和分类精度需求下的方法选择策略.     

基于稀疏线性重构的主动学习算法

传统的主动学习算法,或需要随机选择已标注样本为基础,或忽略数据的结构细节,或需要预先设定固定的邻域规模。基于稀疏表示模型和最优实验设计方法,文中提出一种基于稀疏线性重构的主动学习算法。该算法首先用稀疏表示模型获得样本和其它样本之间的稀疏重构模式,接着在保证样本间稀疏重构关系和重构样本精度的目标下选择合适的样本。实验结果表明,基于文中算法挑选样本无需任何先验知识,克服其它方法需固定邻域范围的缺点,样本选择结果与近邻熵方法、转换实验设计、局部线性重构方法相比,可获得更好的分类性能。     

一种文本特征选择方法的研究

在文本分类中,对高维的特征集进行降维是非常重要的,不但可以提高分类精度和效率,也可以找出富含信息的特征子集.而特征选择是有效降低特征向量维数的一种方法.目前常用的一些特征选择算法仅仅考虑了特征词与类别间的相关性,而忽略了特征词与特征词之间的相关性,从而存在特征冗余,影响了分类效果.为此,在分析了常用的一些特征选择算法之后,提出了一种基于mRMR模型的特征选择方法.实验表明,该特征选择方法有助于提高分类性能.     

高光谱图像分类的融合分层深度网络联合稀疏表示算法

在高光谱图像分类领域中每个像素的局部邻域一旦包含来自不同类别的样本,联合稀疏表示将受邻域内字典原子与测试样本之间同谱异类的影响,严重降低分类性能.根据高光谱图像的特点,文中提出融合分层深度网络的联合稀疏表示算法.在光谱和空间特征学习之间交替提取判别性光谱信息和空间信息,构建兼具空谱特征的学习字典,用于联合稀疏表示.在分类过程中将学习字典与测试样本间的相关系数与分类误差融合并决策.在两个高光谱遥感数据集上的实验验证文中算法的有效性.     

基于自适应稀疏结构学习的神经精神疾病特征选择方法

在计算机辅助诊断神经精神疾病研究中,需要专业人士为样本进行诊断级的语义标注,耗费大量时间和精力,因此,以无监督的方式开展神经精神疾病辅助诊断研究具有重要意义.文中提出基于自适应稀疏结构学习的无监督特征选择方法,用于精神分裂症和阿兹海默症辅助诊断.在统一框架下同时学习稀疏表示和数据流形结构,并在该框架中采用一般化范数对稀疏学习的重构误差进行建模,不断迭代更新数据集的流形结构,解决传统特征选择方法存在的鲁棒性不足问题.在精神分裂症和阿兹海默症两个公共数据集上的实验表明文中方法在神经精神疾病分类中的有效性     

基于特征优选和字典优化的组稀疏表示表情识别

针对在小样本人脸表情数据库上识别模型过拟合问题,文中提出基于特征优选和字典优化的组稀疏表示分类方法.首先提出特征优选准则,选择相同类级稀疏模式、不同类内稀疏模式的互补特征构建字典.然后对字典进行最大散度差优化学习,使字典在不失真重构特征的同时具有较高鉴别能力.最后联合优化后的字典进行组稀疏表示分类.在JAFFE、CK+数据库上的实验表明,文中方法对样本减少具有鲁棒性,泛化能力较强,识别精度较优.     

基于动态相关性的特征选择算法

特征选择是从原始数据集中去除无关的特征并选择良好的特征子集,可以避免维数灾难和提高学习算法的性能。为解决已选特征和类别动态变化（DCSF）算法在特征选择过程中只考虑已选特征和类别之间动态变化的信息量,而忽略候选特征和已选特征的交互相关性的问题,提出了一种基于动态相关性的特征选择（DRFS）算法。该算法采用条件互信息度量已选特征和类别的条件相关性,并采用交互信息度量候选特征和已选特征发挥的协同作用,从而选择相关特征并且去除冗余特征以获得优良特征子集。仿真实验表明,与现有算法相比,所提算法能有效地提升特征选择的分类准确率。     

Feature Interaction Maximisation

Feature selection plays an important role in classification algorithms. It is particularly useful in dimensionality reduction for selecting features with high discriminative power. This paper introduces a new feature-selection method called Feature Interaction Maximisation (FIM), which employs three-way interaction information as a measure of feature redundancy. It uses a forward greedy search to select features which have maximum interaction information with the features already selected, and which provide maximum relevance. The experiments conducted to verify the performance of the proposed method use three datasets from the UCI repository. The method is compared with four other well-known feature-selection methods: Information Gain (IG), Minimum Redundancy Maximum Relevance (mRMR), Double Input Symmetrical Relevance (DISR), and Interaction Gain Based Feature Selection (IGFS). The average classification accuracy of two classifiers, Naïve Bayes and K-nearest neighbour, is used to assess the performance of the new feature-selection method. The results show that FIM outperforms the other methods.     

联合特征选择和光滑表示的子空间聚类算法

基于自表示关联图的谱聚类模型性能受冗余特征影响较大.为了缓解高维数据无效特征的负面影响,文中提出联合特征选择和光滑表示的子空间聚类算法.首先基于自表示思想构建系数矩阵,将特征选择与数据重构纳入同一框架,同时使用权值因子衡量相关特征贡献度,并对系数矩阵进行组效应约束以保持局部性.通过交替变量更新法优化目标函数模型.在人造数据与标准数据库上的实验表明,文中算法在各项性能上均较优.     

A NEW SUPERVISED FEATURE SELECTION METHOD FOR PATTERN CLASSIFICATION

With the rapid development of information techniques, the dimensionality of data in many application domains, such as text categorization and bioinformatics, is getting higher and higher. The high‐dimensionality data may bring many adverse situations, such as overfitting, poor performance, and low efficiency, to traditional learning algorithms in pattern classification. Feature selection aims at reducing the dimensionality of data and providing discriminative features for pattern learning algorithms. Due to its effectiveness, feature selection is now gaining increasing attentions from a variety of disciplines and currently many efforts have been attempted in this field. In this paper, we propose a new supervised feature selection method to pick important features by using information criteria. Unlike other selection methods, the main characteristic of our method is that it not only takes both maximal relevance to the class labels and minimal redundancy to the selected features into account, but also works like feature clustering in an agglomerative way. To measure the relevance and redundancy of feature exactly, two different information criteria, i.e., mutual information and coefficient of relevance, have been adopted in our method. The performance evaluations on 12 benchmark data sets show that the proposed method can achieve better performance than other popular feature selection methods in most cases.     

双人交互行为的稀疏表征方法*

提出一种双人交互行为的稀疏表征方法,融合体现全局变化的轨迹特征和突出区域运动的时空特征。首先,采用词袋模型得到轨迹特征的稀疏表示。然后,对提取的时空特征采用三层时空金字塔分解得到多层特征,并对其进行稀疏编码,利用多尺度Maxpooling算法融合得到局部稀疏特征。最后,将2种稀疏特征加权串联得到双人交互行为的稀疏表征。采用基于隐动态条件随机场的识别算法对文中提取的稀疏表征进行验证,通过实验证明其有效性。     

基于特征选择与时间一致性稀疏外观模型的目标追踪算法

为了更有效利用追踪目标的判别特征信息,提高目标追踪的精度和鲁棒性,在粒子滤波追踪框架下提出基于特征选择与时间一致性稀疏外观模型的目标追踪算法.首先,采集目标的正负模板和候选目标,根据特征选择模型对正负模板和候选目标进行特征选择,去除多余的干扰信息,得到关键的特征信息.然后,利用正负模板和候选目标的特征建立多任务稀疏表示模型,引入时间一致性正则项,促进更多的候选目标与先前帧的追踪结果具有稀疏表示的相似性.最后,求解多任务稀疏表示模型,得到判别稀疏相似图,获取每个候选目标的判别分,根据目标追踪结果更新正负模板.实验表明,即使在复杂的环境下,文中算法仍然比其它一些追踪算法具有更高的准确性.     

A parameterless feature ranking algorithm based on MI

A parameterless feature ranking approach is presented for feature selection in the pattern classification task. Compared with Battiti's mutual information feature selection (MIFS) and Kwak and Choi's MIFS-U methods, the proposed method derives an estimation of the conditional MI between the candidate feature f_i and the output class C given the subset of selected features S, i.e. I(C;f_iS), without any parameters like β in MIFS and MIFS-U methods to be preset. Thus, the intractable problem can be avoided completely, which is how to choose an appropriate value for β to achieve the tradeoff between the relevance to the output classes and the redundancy with the already-selected features. Furthermore, a modified greedy feature selection algorithm called the second order MI feature selection approach (SOMIFS) is proposed. Experimental results demonstrate the superiority of SOMIFS in terms of both synthetic and benchmark data sets.     

SVM-FuzCoC: A novel SVM-based feature selection method using a fuzzy complementary criterion

An efficient filter feature selection (FS) method is proposed in this paper, the SVM-FuzCoC approach, achieving a satisfactory trade-off between classification accuracy and dimensionality reduction. Additionally, the method has reasonably low computational requirements, even in high-dimensional feature spaces. To assess the quality of features, we introduce a local fuzzy evaluation measure with respect to patterns that embraces fuzzy membership degrees of every pattern in their classes. Accordingly, the above measure reveals the adequacy of data coverage provided by each feature. The required membership grades are determined via a novel fuzzy output kernel-based support vector machine, applied on single features. Based on a fuzzy complementary criterion (FuzCoC), the FS procedure iteratively selects features with maximum additional contribution in regard to the information content provided by previously selected features. This search strategy leads to small subsets of powerful and complementary features, alleviating the feature redundancy problem. We also devise different SVM-FuzCoC variants by employing seven other methods to derive fuzzy degrees from SVM outputs, based on probabilistic or fuzzy criteria. Our method is compared with a set of existing FS methods, in terms of performance capability, dimensionality reduction, and computational speed, via a comprehensive experimental setup, including synthetic and real-world datasets.     

基于最大信息系数和近似马尔科夫毯的特征选择方法

最大信息系数（Maximum information coefficient,MIC）可以对变量间的线性和非线性关系,以及非函数依赖关系进行有效度量.本文首先根据最大信息系数理论,提出了一种评价各维特征间以及每维特征与类别间相关性的度量标准,然后提出了基于新度量标准的近似马尔科夫毯特征选择方法,删除冗余特征.在此基础上提出了基于特征排序和近似马尔科夫毯的两阶段特征选择方法,分别对特征的相关性和冗余性进行分析,选择有效的特征子集.在UCI和ASU上的多个公开数据集上的对比实验表明,本文提出的方法总体优于快速相关滤波（Fast correlation-based filter,FCBF）方法,与ReliefF,FAST,Lasso和RFS方法相比也具有优势.