一种采用冗余性动态权重的特征选择算法

由于候选特征与类标签间的相关性,候选特征、已选特征与类标签间的交互性以及特征间的冗余性是特征选择算法应考虑的重要因素,而一些基于互信息和三维互信息的特征选择算法没有同时考虑相关性、交互性和冗余性信息,这影响了它们的性能。针对该问题,提出一种采用冗余性动态权重的特征选择算法,将对称不确定性和三路交互信息作为评价指标,采用一种动态更新特征权重的方法使目标函数在考虑相关性、交互性的基础上,同时考虑特征间的冗余性。在10种数据集上利用3种分类器与典型的基于互信息的特征选择算法做了对比实验,结果表明所提算法具有更好的特征选择性能。     

联合互信息水下目标特征选择算法

在特征选择算法中,穷举特征选择算法可选择出最优特征子集,但由于计算量过高而在实际中不可实现。针对计算成本和最优特征子集搜索之间的平衡问题,提出一种新的用于水下目标识别的联合互信息特征选择算法。这个算法的核心思想是:利用顺序向前特征搜索机制,在选择出与类别具有最大互信息特征的条件下,选择具有更多互补分类信息的特征,从而达到快速去除噪声特征和冗余特征及提高识别性能的目的。利用4类实测水下目标数据进行仿真实验,结果表明:在支持向量机识别正确率几乎不变的情况下,联合互信息特征选择方法可以减少87%的特征,分类时间降低58%。与基于支持向量机和遗传算法结合的特征选择方法相比,可以选出更少的特征,特征子集具有更好的泛化性能。     

基于互信息的特征子集选择

通过互信息的思想提出一个新的评价函数来评价属性之间的相关性,并结合LV算法进行特征子集选择.结果表明,该方法对分类问题效果明显.     

结合ReliefF和互信息的多标签特征选择算法

针对传统单标签特征选择算法不能直接应用于多标签数据的问题,提出一种多标签特征选择算法——MML-RF算法.在ReliefF的基础上,MML-RF算法提出新的类内最近邻样本查找方式,并结合多标签的贡献值改进特征权值的计算方法,能很好地适应多标签数据的特点;同时为了减少特征冗余,MML-RF算法以互信息作为特征冗余度量方式,提出一种去冗余方法,能够得到更小的特征子集.实验表明,MML-RF多标签特征选择算法得到的特征子集规模较小,且在多标签数据集上具有很好的分类效果,能够提升多标签学习和数据挖掘工作的效率.     

基于广义信息论的贝叶斯分类器动态建模

基于广义互信息描述变量之间的条件独立和条件相关性,并根据信息非负递增性原则去除冗余变量,由测试样本而非整个样本空间构造贝叶斯分类子模型。结合局部计算近似推理进行概率密度和条件概率分布估计。在UCI机器学习数据集上的实验结果证明了该算法的合理性和有效性。     

基于最大相关信息系数的FCBF特征选择算法

在相关性快速过滤特征选择算法（FCBF）基础上,通过最大相关系数的方式改进FCBF算法.首先,通过最大相关系数和对称不确定性度量准则,计算出每个特征与标签之间的相关度量值,并按照数值大小顺序进行排序;其次,通过最大相关系数和近似马尔可夫毯原理进行无关特征和冗余特征的筛选,最终选择出最优特征子集.在加利福尼亚大学欧文分校的机器学习库（UCI）的8个公开数据集中进行对比实验结果表明基于最大相关系数的特征选择算法（NFCBF）总体优于FCBF算法,它所选择出特征数比FCBF算法所选择特征数平均少了3.625个,分类准确率平均提高了0.075%.与互信息最大算法（MIM）、最少的绝对收缩和选择算法（Lasso）和岭算法（Ridge）等相比也具有明显的优势.     

基于有序决策树的改进归纳算法

基于构建有序决策树,提出了一种新的归纳算法。该算法选择的扩展属性不仅和类的有序互信息值最大,而且要求和同一分支上已被用过的条件属性的有序互信息值最小。实验结果表明,考虑了条件属性之间的相关性后,可避免同一条件属性的重复选择,真正体现了条件属性和决策属性之间的有序互信息,与已有的算法相比,提高了测试精度。     

基于人工免疫和支持向量机的焊接缺陷分类方法

焊接缺陷的分类属于不平衡样本多分类问题,在不平衡样本中重要的特征子集通常也不相同,需要通过特征选择获得更具差异性的特征,提高稀有类样本的识别率。使用支持向量机作为分类器评价特征子集,人工免疫系统算法寻找可靠的特征,并且利用人工免疫算法优化支持向量机的参数,目的是同时完成参数优化和特征子集的选择。将此算法应用于低碳钢对接焊、低碳钢角接焊、低碳钢T型焊、低碳钢搭接焊、不锈钢对接焊、不锈钢角接焊、不锈钢T型焊、不锈钢搭接焊8类焊接缺陷数据集上进行常见焊接缺陷的气孔、夹渣、裂纹、未熔合、未焊透和伪缺陷的分类识别,并与未进行特征选择直接进行分类的结果进行比较及不同特征选择和分类算法下进行比较。结果表明,采用本文算法,焊接缺陷的气孔、夹渣、裂纹、未熔合、未焊透和伪缺陷的的平均分类准确率达到了(96.21±0.67)%,平均敏感度值达到了(85.43±1.65)%,比传统的基于相关性的特征选择算法(CFS)、最小冗余最大相关性算法(m RMR)、粗糙集条件互信息算法(RCMI)特征选择法和贝叶斯(Bayes)、分类回归树(CART)分类方法的组合具有明显的提高。因此,本文算法优于传统分类方法,利用较少属性的同时提高焊接接头缺陷分类准确率,保证稀有类的识别率,并能够提供不同缺陷的最优特征参数。     

动态权重最大相关最小冗余算法

为解决特征选择中分辨特征之间的依赖和冗余问题,采用动态权重最大相关最小冗余算法(DWMRMR),在5个公共数据集上进行了验证以及算法比较.     

不平衡标记差异性多标记特征选择算法

针对现有的特征选择算法大多未考虑不同标记对样本的描述程度可能存在差异的问题,提出一种不平衡标记差异性多标记特征选择算法(multi-label feature selection algorithm with imbalance label otherness,MSIO),将不同标记下正负标记的频率分布作为该标记的权值加入到特征选择的过程中,并修正传统的信息熵计算方法,从而得到一组更高效的特征序列.以多标记k近邻(multi-label k-nearest neighbor,ML-k NN)为基础分类器,在Mulan数据库的11个多标记基准数据集上,对基于最大相关性的多标记维数约简(multi-label dimensionality reduction via dependence maximization,MDDM)算法、基于多变量互信息的多标记特征选择算法PMU(pairwise multivariate mutual information)、多标记朴素贝叶斯分类的特征选择(feature selection for multi-label naive Bayes classification,MLNB)算法、基于标记相关性的多标记特征选择(multi-label feature selection with label correlation,MUCO)算法和MSIO算法进行评价,实验结果和统计假设检验说明,MSIO算法稳定性佳且分类精度高,具有一定的有效性和优越性.     

一种快速的特征选择框架和方法

针对特征选择过程中准确率和计算效率不平衡问题,提出了一种快速特征选择框架（FFFS）.基于该框架,使用最小冗余最大相关方法（MRMR）选择候选特征,借助序列前向选择方法（SFS）验证性能,并通过限定迭代次数提高计算性能.与MRMR、SFS和混合序列浮动前向选择算法（FDHSFFS）的对比实验结果表明,提出的快速特征选择算法MRMR-SFS能在预测准确率和计算效率之间取得较好的平衡.     

齿轮裂纹程度识别的有序分类算法

为识别齿轮裂纹的严重程度信息,提出一种基于有序分类的故障严重程度识别方法.将故障严重程度识别问题视为不同严重程度之间存在序结构,并且部分特征和故障严重程度之间存在单调依赖关系的有序分类问题,从有序分类出发,建立有序分类的故障严重程度识别模型.研究故障严重程度识别中的特征评价和特征选择问题,利用排序互信息指标区分原始特征集中的单调特征和非单调特征,提出单调特征和非单调特征混合存在情况下的有序分类特征选择算法.齿轮裂纹程度识别实验结果表明:提出的有序分类特征选择算法可以降低特征空间维数,能选择出分类能力强的故障特征子集,提高了故障严重程度识别的准确性.     

基于冗余分析的特征选择算法

针对冗余特征判定难题,分析了特征和特征之间的相关性以及特征和目标值之间相关性的联系,给出了判定冗余特征的准则,在此基础上给出了近似冗余特征的定义,并提出了一种基于冗余分析的特征选择算法.算法分2步去除无关特征和冗余特征.实验结果表明,所提出的特征选择算法能有效降低特征维数,提高预测准确率.     

基于LS-SVM与模糊补准则的特征选择方法

针对传统特征选择算法采用单一度量的方式难以兼顾泛化性能和降维性能的不足,提出新的特征选择算法(least squares support vector machines and fuzzy supplementary criterion, LS-SVM-FSC)。通过核化的最小二乘支持向量机(least squares support vector machines, LS-SVM)对每个特征的样本进行分类,使用新的模糊隶属度函数获得每个样本对其所属类的模糊隶属度,使用模糊补准则选择具有最小冗余最大相关的特征子集。试验表明:与其他10个特征选择方法与7个隶属度决定方法相比,所提算法在9个数据集上都具有很高的分类准确率和很强的降维性能,且在高维数据集中的学习速度依然很快。     

基于蚁群算法的行为识别特征优选方法

为了降低特征冗余,提高移动用户行为识别的准确率,提出一种基于蚁群算法的移动用户行为识别加速度信号特征优选方法。首先对样本数据进行预处理,根据特征对不同行为的分类敏感度进行初次优选,降低特征搜索空间的维度;然后利用蚁群算法结合神经网络分类器,以特征的分类准确度为评价准则对特征集合进行了二次优选。实验结果表明,该方法优选出的特征集具有较好的识别性能。     

基于特征融合和粒子群优化算法的运动想象脑电信号识别方法

由于运动想象脑电信号的信噪比较低,特征提取和特征选择比较困难,无法获得较高的分类准确率。针对上述问题,该文提取了时域、频域和空间域3个观察面的特征,并采用粒子群优化算法结合随机森林分类器来进行特征筛选。具体过程为,首先根据R2图来对信号进行带通滤波;其次,使用小波软阈值和得分共空间模式算法进行去噪和通道筛选;然后,通过3种算法提取时频域和空间域特征,待特征融合之后使用基于随机森林分类器的评价指标作为PSO的适应度函数,进行特征选择;最后,运用3种分类器以及集成分类器来验证效果。实验结果显示,通过特征融合以及特征选择可以去除冗余信息,保留有效信息,最终的分类正确率达到98.3%,为该技术在医疗康复等领域应用提供了新的方法。     

Feature selection algorithm for text classification based on improved mutual information

In order to solve the poor performance in text classification when using traditional formula of mutual information (MI),a feature selection algorithm were proposed based on improved mutual information.The improved mutual information algorithm,which is on the basis of traditional improved mutual information methods that enhance the MI value of negative characteristics and feature’s frequency,supports the concept of concentration degree and dispersion degree.In accordance with the concept of concentration degree and dispersion degree,formulas which embody concentration degree and dispersion degree were constructed and the improved mutual information was implemented based on these.In this paper,the feature selection algorithm was applied based on improved mutual information to a text classifier based on Biomimetic Pattern Recognition and it was compared with several other feature selection methods.The experimental results showed that the improved mutual information feature selection method greatly enhances the performance compared with traditional mutual information feature selection methods and the performance is better than that of information gain.Through the introduction of the concept of concentration degree and dispersion degree,the improved mutual information feature selection method greatly improves the performance of text classification system.