基于重复度分析的森林优化特征选择算法

森林优化算法是一种基于森林中树木播种思想的演化算法,其具有良好的特征空间搜索能力,且实现难度低。但该算法在森林整体的收敛速度和寻优能力上仍存在提升空间,而且对高维数据集的适应度较差。本文针对上述问题提出了基于重复度分析的森林优化特征选择算法(feature selection using forest optimization algorithm based on duplication analysis, DAFSFOA)。该算法提出了基于信息增益的自适应初始化策略、森林重复度分析机制、森林重启机制、候选最优树生成策略、综合考虑特征选择数量和分类正确率的适应度函数。实验结果表明,DAFSFOA在大部分数据集上达到了最高的分类准确率。同时,对于高维数据集SRBCT,在维度缩减率和分类准确率方面,DAFSFOA对比森林优化特征选择算法(feature selection using forest optimization algorithm, FSFOA)都有较大提升。DAFSFOA 比FSFOA具有更强的特征空间探索能力,而且能够适应不同维度的数据集。     

基于改进斑点鬣狗优化算法的同步优化特征选择

针对传统支持向量机（SVM）在封装式特征选择中分类精度低、特征子集选择冗余以及计算效率差的不足,利用元启发式优化算法同步优化SVM与特征选择。为改善SVM分类效果以及选择特征子集的能力,首先,利用自适应差分进化（DE）算法、混沌初始化与锦标赛选择策略对斑点鬣狗优化（SHO）算法改进,以增强其局部搜索能力并提高其寻优效率与求解精度;其次,将改进后的算法用于特征选择与SVM参数调整的同步优化中;最后,在UCI数据集进行特征选择仿真实验,采取分类准确率、选择特征数、适应度值及运行时间来综合评估所提算法的优化性能。实验结果证明,改进算法的同步优化机制能够在高分类准确率下降低特征选择的数目,该算法比传统算法更适合解决封装式特征选择问题,具有良好的应用价值。     

基于邻域粗糙集和帝王蝶优化的特征选择算法

针对经典的帝王蝶优化（MBO）算法不能很好地处理连续型数据,以及粗糙集模型对于大规模、高维复杂的数据处理能力不足等问题,提出了基于邻域粗糙集（NRS）和MBO的特征选择算法。首先,将局部扰动和群体划分策略与MBO算法结合,并构建传输机制以形成一种二进制MBO（BMBO）算法;其次,引入突变算子增强算法的探索能力,设计了基于突变算子的BMBO（BMBOM）算法;然后,基于NRS的邻域度构造适应度函数,并对初始化的特征子集的适应度值进行评估并排序;最后,使用BMBOM算法通过不断迭代搜索出最优特征子集,并设计了一种元启发式特征选择算法。在基准函数上评估BMBOM算法的优化性能,并在UCI数据集上评价所提出的特征选择算法的分类能力。实验结果表明,在5个基准函数上,BMBOM算法的最优值、最差值、平均值以及标准差明显优于MBO和粒子群优化（PSO）算法;在UCI数据集上,与基于粗糙集的优化特征选择算法、结合粗糙集与优化算法的特征选择算法、结合NRS与优化算法的特征选择算法、基于二进制灰狼优化的特征选择算法相比,所提特征选择算法在分类精度、所选特征数和适应度值这3个指标上表现良好,能够选择特征数少且分类精度高的最优特征子集。     

支持向量机辅助演化的算术优化算法及其应用

针对算术优化算法（arithmetic optimization algorithm,AOA）种群多样性较差、易陷入局部最优解等问题,提出支持向量机辅助演化的算术优化算法（arithmetic optimization algorithm assisted by support vector machine,SVMAOA）。引入平衡优化器算法中的平衡池概念,池内汇聚了基于成功历史自适应差分算法中四种突变策略生成的子代和平均候选解,以提高种群的多样性;引入支持向量机算法,依据适应度值和个体间距离计算得出的留存率将平衡池中候选解转换为训练集,并对平衡池中候选解进行分类,保留优势候选解;根据留存率对优势候选解排序,保留前[N]个个体用以构建新的平衡池;通过将SVMAOA与其他优化算法在基准函数上进行仿真实验,结果表明改进后算法寻优精度更高,收敛速度更快。并通过七个UCI数据集对基于SVMAOA的特征选择方法进行实验,评估平均分类准确率和所选特征个数,结果表明该算法可有效降低特征维度,实现数据分类,具有一定的工程应用价值。     

基于差分进化的多目标粒子群特征选择算法

特征选择技术在大数据分析、图像处理、生物信息学等领域具有重要作用。在实际应用中,降低分类错误率和减少提取出的特征数量便于后续数据的利用,往往是两个冲突的目标。基于拥挤、变异和支配策略的多目标粒子群特征选择（crowding,mutation,dominance particle swarm optimization for feature selection,CMDPSOFS）算法是一种面向特征选择应用中特征数量最小和分类错误率最低的双目标优化算法。它使用三种不同的变异机制,用于保持群体多样性和平衡全局、局部搜索的能力,但其中的均匀变异使算法的随机性大大增加,产生较多适应值差的解,降低了算法收敛速度。改进的CMDPSOFS-II算法将差分进化算法中的变异算子和选择操作引入到CMDPSOFS算法中,实验结果表明,CMDPSOFS-II算法在特征选择上得到比原来的方法更优的结果,更好地平衡了全局和局部搜索能力。     

基于HMIGW特征选择和XGBoost的毕业生就业预测方法

为了使高校的就业指导工作更具针对性,可以有针对性地培养学生,本文收集了毕业生的相关信息及其各自的就业情况,构建了基于HMIGW特征选择和XGBoost的分类预测建模算法,并将其应用于毕业生就业预测.本文首先考虑到学生信息数据具有离散型和连续型混合的特点,提出一种适应于就业预测的基于互信息和权重的混合（Hybrid feature selection based on Mutual Information and Gain Weight,以下简称HMIGW）特征选择算法,该方法先对学生数据的特征做相关性估值,然后采用前向特征添加后向递归删除策略进行特征选择,最后基于选择后的最优特征子集数据用XGBoost预测模型进行训练与结果预测.通过对比不同算法的结果,本文采用的预测方法在准确率和时间等评价指标上有较好的表现,对于毕业生培养就业指导具有积极作用.     

森林优化特征选择算法的增强与扩展

特征选择作为一种重要的数据预处理方法，不但能解决维数灾难问题，还能提高算法的泛化能力.各种各样的方法已被应用于解决特征选择问题，其中，基于演化计算的特征选择算法近年来获得了更多的关注并取得了一些成功.近期研究结果表明，森林优化特征选择算法具有更好的分类性能及维度缩减能力.然而，初始化阶段的随机性、全局播种阶段的人为参数设定，影响了该算法的准确率和维度缩减能力；同时，算法本身存在着高维数据处理能力不足的本质缺陷.从信息增益率的角度给出了一种初始化策略，在全局播种阶段，借用模拟退火控温函数的思想自动生成参数，并结合维度缩减率给出了适应度函数；同时，针对形成的优质森林采取贪心算法，形成一种特征选择算法EFSFOA（enhanced feature selection using forest optimization algorithm）.此外，在面对高维数据的处理时，采用集成特征选择的方案形成了一个适用于EFSFOA的集成特征选择框架，使其能够有效处理高维数据特征选择问题.通过设计对比实验，验证了EFSFOA与FSFOA相比在分类准确率和维度缩减率上均有明显的提高，高维数据处理能力更是提高到了100 000维.将EFSFOA与近年来提出的比较高效的基于演化计算的特征选择方法进行对比，EFSFOA仍具有很强的竞争力.     

基于多目标骨架粒子群优化的特征选择算法

针对在分类问题中,数据之间存在大量的冗余特征,不仅影响分类的准确性,而且会降低分类算法执行速度的问题,提出了一种基于多目标骨架粒子群优化（BPSO）的特征选择算法,以获取在特征子集个数与分类精确度之间折中的最优策略。为了提高多目标骨架粒子群优化算法的效率,首先使用了一个外部存档,用来引导粒子的更新方向;然后通过变异算子,改善粒子的搜索空间;最后,将多目标骨架粒子群算法应用到特征选择问题中,并利用K近邻（KNN）分类器的分类性能和特征子集的个数作为特征子集的评价标准,对UCI数据集以及基因表达数据集的12个数据集进行实验。实验结果表明,所提算法选择的特征子集具有较好的分类性能,最小分类错误率最大可以降低7.4%,并且分类算法的执行时间最多能缩短12 s,能够有效提高算法的分类性能与执行速度。     

基于可辨识矩阵的完全自适应2D特征选择算法

针对基于信息增益与皮尔森相关系数的特征选择算法FSIP(feature selection based on information gain and Pearson correlation coefficient)存在的特征子集选取需要人工参与的问题,提出基于可辨识矩阵的完全自适应2D特征选择算法DFSIP(disc...     

基于遗传乌燕鸥算法的同步优化特征选择

针对传统支持向量机方法用于数据分类存在分类精度低的不足问题, 将支持向量机分类方法与特征选择同步结合, 并利用智能优化算法对算法参数进行优化研究. 首先将遗传算法(Genetic algorithm, GA)和乌燕鸥优化算法(Sooty tern optimization algorithm, STOA)进行混合, 先通过对平均适应度值进行评估, 当个体的适应度函数值小于平均值时采用遗传算法对其进行局部搜索的加强, 否则进行乌燕鸥本体优化过程, 同时将支持向量机内核函数和特征选择目标共同作为优化对象, 利用改进后的STOA-GA寻找最适应解, 获得所选的特征分类结果. 其次, 通过16组经典UCI数据集和实际乳腺癌数据集进行数据分类研究, 在最佳适应度值、所选特征个数、特异性、敏感性和算法耗时方面进行对比研究, 实验结果表明, 该算法可以更加准确地处理数据, 避免冗余特征干扰, 在数据挖掘领域具有更广阔的工程应用前景.     

基于改进量子进化算法的特征选择

特征选择作为一种数据预处理技术被广泛研究,由于其具有NP难度而一直无法找到有效的求解方法。鉴于目前在特征选择中应用较多的遗传算法存在进化机制上的局限,将量子进化算法应用于特征选择,提出了一种基于改进量子进化算法的特征选择算法。以增加种群多样性和提高寻优性能为目标改进了量子进化算法,以Fisher比和特征维度为特征子集的评价准则构造了适应度函数,按照量子进化算法求解优化问题的步骤设计了特征选择算法。使用UCI数据库中的数据集对三种算法作对比验证,通过识别重要特征、提高学习算法性能、特征选择效率三组实验,结果表明,该算法能够识别出重要特征,并随着数据集特征维度升高,特征选择的性能逐渐优于对比算法,到了高维数据集,特征选择效率明显优于对比算法。     

基于广义重要度和runner-root算法的特征选择

特征选择是机器学习、模式识别和数据挖掘等领域数据预处理阶段的重要步骤.现实中采集的数据维度很高,存在大量冗余和噪声数据,这使得计算时间增加的同时还会对建模结果产生误导性.结合属性子集的广义重要度和智能优化runner-root算法提出一种特征选择算法,用runner-root算法进行迭代寻优,用属性子集的广义重要度和所...     

改进的MEA进行特征选择及SVM参数同步优化

特征选择和参数优化是提高支持向量机（SVM）分类性能的两个重要手段,将两者进行同步优化能提高分类器的分类精度。利用思维进化算法（MEA）进行特征选择和SVM参数同步优化能取得较好的分类效果,但也存在着收敛速度慢,易陷入局部最优的问题,无法进一步提高分类精度。针对这一问题,提出了一种改进的思维进化算法进行分类器优化（RMEA-SVM）,在传统思维进化算法的基础上引入了“学习”和“反思”机制,利用子群体间信息共享进行学习,通过适应度值的比较进行反思。通过这种方式保证种群的多样性,加快收敛速度,进一步提高分类精度。实验结果证明了算法的有效性。     

改进蚁群优化算法求解折扣{0-1}背包问题

折扣{0-1}背包问题（Discounted {0-1} Knapsack Problem,DKP）是一个NP-困难的组合优化问题,尽管已经存在一些求解DKP的智能优化算法,但目前尚没有用蚁群优化（Ant Colony Optimization,ACO）算法求解DKP的研究。提出了一个求解DKP的改进ACO（Modified ACO,MACO）算法。MACO算法使用整数编码以保证每组物品最多只有一个物品被选中,在MACO算法构造解的每一步,采用组内竞争选择来降低算法的时间复杂性,对计算选择概率的公式,放弃启发式信息以减少参数并简化算法参数设置,对蚂蚁构造出的解,经修复后使用基于价值密度和价值的混合贪婪优化算子来提高算法的寻优能力。在四类测试用例上对MACO算法进行了测试并与其他算法进行比较,实验结果表明MACO算法的性能明显优于其他算法。     

求解作业车间调度问题的禁忌分布估计算法

为优化作业车间调度问题的解,提出一个禁忌和分布估计的混合算法。分布估计算法是一种新的进化模式,通过概率优化模型在连续空间进行求解;通过对已获得的群体进行选择操作生成优势群体,提出的分布估计算法使用单变量边缘分布算法构建概率模型,估计离散空间中的联合概率分布,从概率向量采样生成新群体;采用基于工件编号的编码和解码机制保证解的可行性。为提高局部搜索能力,算法基于禁忌搜索算法设计新的双重移动组合、块禁忌和选择策略,在搜索陷入局部最优时利用遗传算法的变异算子生成新解;算法通过混合分布估计算法和禁忌搜索算法的优点,兼具全局搜索与局部搜索能力,提高了搜索的效率和性能。通过与现有算法在典型实例上的实验结果比较,表明该算法在求解作业车间调度问题上具有可行性和有效性。     

基于最大信息系数的ReliefF和支持向量机交互的自动特征选择算法

为解决特征选择ReliefF算法在利用欧氏距离选取近邻样本过程中,算法稳定性差以及选取的特征子集分类准确率低的问题,提出了一种利用最大信息系数（MIC）作为近邻样本选择标准的MICReliefF算法;同时,以支持向量机（SVM）模型的分类准确率作为评价指标,并多次寻优,以自动确定其最优特征子集,从而实现MICReliefF算法与分类模型的交互优化,即MICReliefF-SVM自动特征选择算法。在多个UCI公开数据集上对MICReliefF-SVM算法的性能进行了验证。实验结果表明,MICReliefF-SVM自动特征选择算法不仅可以筛除更多的冗余特征,而且可以选择出具有良好稳定性和泛化能力的特征子集。与随机森林（RF）、最大相关最小冗余（mRMR）、相关性特征选择（CFS）等经典的特征选择算法相比,MICReliefF-SVM算法具有更高的分类准确率。     

基于分形维数和多目标遗传算法的特征选择

在文本分类系统中,特征的优劣往往极大地影响着分类器的设计和性能。提出一种利用分形维数和带精英策略的非劣支配排序遗传算法进行特征选择的方法。在该方法中分形维数作为特征选择的一个评价机制,利用NSGA-II算法将特征子集选择问题视为多目标优化问题来处理。为了分析结果的有效性,利用SVM分类算法对复旦大学语料库进行测试。实验结果表明该方法具有较好的性能,它可以有效去除无效特征并提高分类准确性。