基于地标特征和元学习方法推荐最适用优化算法

设计并实证研究一种基于地标特征和元学习方法推荐最佳优化算法的实现框架.地标特征摒弃了传统的问题简单特征、统计特征和信息理论特征复杂的提取过程,通过简化运行算法并仅以算法的相对性能表现作为问题特征集.在此基础上,利用元学习方法训练建模并针对新问题作出算法推荐.为验证推荐效果,以多模式资源约束的项目调度问题(MRCPSP)为优化对象,以人工蜂群、蚁群、粒子群和禁忌搜索4种元启发式算法作为推荐对象,分别使用人工神经网络、k最近邻、决策树以及随机森林4种元学习方法建立推荐元模型.计算结果表明,多种元学习方法均指向相近的推荐准确率,平均稳定在70%以上,最高可达95%.基于地标特征和元学习方法实现优化算法推荐是一个值得进一步探讨的新方向.     

基于独立元的k近邻故障检测策略

k近邻故障检测(fault detection based on k nearest neighbors,FD–k NN)方法能够提高具有非线性和多模态特征过程的故障检测率.由于系统故障通常由潜隐变量异常变化引起,而该类型故障并不能被观测数据直观表现,因此直接在观测变量上执行FD–k NN方法,其故障检测率降低.本文旨在提高FD–k NN方法针对潜隐变量故障的检测能力,提出基于独立元的k近邻故障检测方法.首先,通过对观测数据应用独立元分析(independent component analysis,ICA)方法,获得独立元矩阵;接下来在独立元矩阵中应用FD–k NN方法进行故障检测.这等同于直接监控过程潜隐变量的变化,可以提高过程故障检测率.通过非线性实例仿真实验,证明本文方法检测潜隐变量故障是有效的;同时,在半导体蚀刻工艺过程的仿真实验中,与主元分析(principal component analysis,PCA)方法、核主元分析(kernel principal component analysis,KPCA)方法、基于主元分析的k近邻故障检测(principal component–based k nearest neighbor rule for fault detection,PC–k NN)方法和FD–k NN方法进行对比,实验结果进一步验证了本文方法的有效性.     

基于多分类支持向量机的优化算法智能推荐系统与实证分析

算法智能推荐是超启发式算法研究领域一个重要分支,其目标是从众多"在线"算法中自动选择出最适于当前问题的算法,从而大大提升解决问题的效率。基于此提出并验证了一种优化算法智能推荐系统,理论依据是无免费午餐定理和Rice算法选择框架,并假设问题特征与算法性能表现之间存在潜在关联关系,从而可以把算法推荐问题转换为一个多分类问题。为了验证假设的成立,以多模式资源约束项目调度问题为测试样本数据集,以粒子群、模拟退火、禁忌搜索和人工蜂群等元启发式优化算法为推荐对象,以支持向量机多分类策略实现算法的分类推荐。交叉验证结果表明,推荐准确率均在90%以上,各项评价指标表现优秀。     

结合旋转森林和AdaBoost分类器的多标签文本分类方法

针对一些多标签文本分类算法没有考虑文本-术语相关性和准确率不高的问题,提出一种结合旋转森林和AdaBoost分类器的集成多标签文本分类方法。首先,通过旋转森林算法对样本集进行分割,通过特征变换将各样本子集映射到新的特征空间,形成多个具有较大差异性的新样本子集。然后,基于AdaBoost算法,在样本子集中通过多次迭代构建多个AdaBoost基分类器。最后,通过概率平均法融合多个基分类器的决策结果,以此做出最终标签预测。在4个基准数据集上的实验结果表明,该方法在平均精确度、覆盖率、排名损失、汉明损失和1-错误率方面都具有优越的性能。     

基于元学习推荐的优化算法自动选择框架与实证分析

算法选择的目的是从众多可用优化算法中自动地选出最适用于当前问题的算法。针对算法选择问题提出了基于元学习推荐的优化算法自动选择框架。依据此框架,以多模式资源受限的项目调度问题为实证数据集,设计实现了遗传算法（GA）、粒子群算法（PSO）和模拟退火算法（SA）三种算法的自动选择过程。从项目调度问题数据库中随机选取了378个问题算例,提取其中的固有特征和统计特征作为元数据,并利用前馈型神经网络（FNN）算法训练获得用于预测的元模型对未见算例作出预测。实证结果表明两选一的算法预测准确率最高可超过95%,交叉验证准确率平均达到85%;三选一的算法预测准确率最高可达92%,交叉验证准确率平均超过80%。实证结果验证了所提算法选择框架是成功的,基于元学习思想的优化算法自动选择方法是可行的。     

基于综合相似度和社交标签的推荐算法

针对传统个性化推荐方法所面临的冷启动、数据稀疏等问题,本论文结合了项目组的前期研究,在综合考虑用户特征和用户信任度的基础上,引入了用户兴趣,形成综合相似度.针对目前推荐系统中评分数据较少的问题,论文结合了社交标签,丰富了推荐数据.首先利用综合相似度,找到用户的相似近邻,并将相似近邻所标注的标签形成一个标签集.其次利用基于标签的推荐算法,产生最终的推荐列表.实验结果表明,该算法能够有效提高推荐的准确率和召回率.     

基于引力模型的多标签分类算法

针对多标签分类算法不能充分利用标签相关性的问题,通过建立标签的正、负相关性矩阵来挖掘标签间不同的相关关系,提出一种基于引力模型的多标签分类算法（MLBGM）。首先,遍历训练集中所有样本并分别求取每个训练样本的k个近邻样本,组成该样本的近邻集合;其次,根据每个样本的近邻集合中所有近邻样本的标签分布情况,分别为每个训练样本建立正、负相关矩阵来获取标签间的相关性;然后,为每个训练样本的近邻集合计算其近邻密度和近邻权重;最后,采用计算数据粒子间相互作用力的方式构建多标签分类模型。实验结果显示,MLBGM与5种未考虑标签负相关的对比算法相比,汉明损失（HammingLoss）平均降低了15.62%,微平均F1值（MicroF1）平均提升了7.12%,子集准确率（SubsetAccurary）平均提升了14.88%。MLBGM充分利用了标签间不同的相关性,获得了有效的实验结果且分类效果优于未考虑标签负相关的对比算法。     

面向元启发式算法的多无人机路径规划现状与展望

多无人机路径规划是一个复杂的多约束组合优化问题,通过传统算法很难求得优良结果,元启发式算法由于其快速高效而成为解决该类优化问题的有效手段.首先,针对多无人机路径规划的关键要素提出一种新的分类方法;其次,从算法改进方式入手,对各项研究中所采用的元启发式算法进行分类梳理,阐述它们的应用效果和优缺点,并根据所提出的分类方法和...     

结合流形学习与逻辑回归的多标签特征选择

对于多标签特征选择算法,通常假设数据与标签间呈现某种关系,以该关系为基础并通过正则项的约束可解决多标签特征选择问题,但该关系也可能是两种或多种关系的结合。为准确描述数据与标签间的关系并去除不相关的特征和冗余特征,基于logistic回归模型与标签流形结构提出多标签特征选择算法FSML。使用logistic回归模型的损失函数学习回归系数矩阵,利用标签流形结构学习数据特征的权重矩阵,通过L_2,1-范数将系数矩阵和权重矩阵进行柔性结合,约束系数矩阵与权重矩阵的稀疏性并实现多标签特征选择。在经典多标签数据集上的实验结果表明,与CMLS、SCLS等特征选择算法相比,FSML算法在汉明损失、排名损失、1-错误率、覆盖率、平均精度等5个性能评价指标上表现良好,能更准确地描述数据与标签间的关系。     

基于Relief的特征加权壳近邻分类算法

壳近邻分类算法克服了k近邻分类在近邻选择上可能存在偏好的问题,使得在大数据集上的分类效果优于k近邻分类,为了进一步提高壳近邻算法的分类性能,提出了基于Relief特征加权的壳近邻分类算法.该算法在Relief算法的基础上求解训练集的特征权值,并利用特征权值来改进算法的距离度量方法和投票机制.实验结果表明,该算法在小数据和大数据上的分类性能都优于k近邻和壳近邻分类算法.     

基于局部正、负标记相关性的k近邻多标记分类新算法

在多标记学习中,每个样本都由一个实例表示,并与多个类标记相关联。现有的多标记学习算法大多是在全局利用标记相关性,即假设所有的样本共享不同类别标记之间的正相关性。然而,在实际应用中,不同的样本共享不同的标记相关性,标记间不仅存在正相关性,而且存在相互排斥的现象,即负相关性。针对这一问题,提出了基于局部正、负成对标记相关性的k近邻多标记分类算法PNLC。首先,对多标记数据的特征向量进行预处理,分别为每类标记构造对该类标记最具有判别能力的属性特征;然后,在训练阶段,PNLC算法通过所有训练样本中各样本的每个k近邻的真实标记构建标记之间的正、负局部成对相关性矩阵;最后,在测试阶段,首先得到每个测试样例的k近邻及其对应的正、负成对标记关系,利用该标记关系计算最大后验概率对测试样例进行预测。实验结果表明,PNLC算法在yeast和image数据集上的分类准确率明显优于其他常用的多标记分类算法。     

融合标记独有属性特征的k近邻多标记分类新算法

在多标记学习系统中,每个样本同时与多个类别标记相关,却均由一个属性特征向量描述。大部分已有的多标记分类算法采用的共同策略是使用相同的属性特征集合预测所有的类别标记,但它并非最佳选择,原因在于每个标记可能与其自身独有的属性特征相关性最大。针对这一问题,提出了融合标记独有属性特征的k近邻多标记分类算法—IML-kNN。首先对多标记数据的特征向量进行预处理,分别为每类标记构造对该类标记最具有判别能力的属性特征;然后基于得到的属性特征使用改进后的ML-kNN算法进行分类。实验结果表明,IML-kNN算法在yeast和image数据集上的性能明显优于ML-kNN算法以及其他3种常用的多标记分类算法。     

基于相似度优化和流形学习的协同过滤算法改进研究

协同过滤算法中存在着数据稀疏性和可扩展性问题,由于用户和项目数据量巨大致使数据十分稀疏,且不同数据集中数据存在差异,致使现有算法中的相似度计算不够准确和用户聚类效果不佳,对推荐算法准确率产生了显著影响。为了提高相似度计算和最近邻居搜索的准确率,提出了一种基于相似度优化和流形学习的协同过滤算法。通过加权因子优化相似度计算,结合流形学习对稀疏的用户评分数降维后进行谱聚类,通过获得的全局最优解提高聚类所得目标用户最近邻居的准确率,进而提高协同过滤推荐精度。在Epinions数据集和MovieLens数据集上进行实验,结果表明,提出的算法可以有效降低协同过滤算法的平均绝对误差和均方根误差,提高召回率,拥有更高的推荐准确率。     

利用最近邻信息快速分类多标签数据

为克服ML-KNN在分类效率方面的局限性,提出了一种基于KNN的快速多标签数据分类算法FKMC,利用待分类实例的k个最近邻的局部信息进行排序分类。从已分类数据实例集中选择待分类数据实例的k个最近邻;根据每个最近邻拥有的标签数和每个标签归属的最近邻数对待分类实例进行排序分类。仿真结果表明,最近邻的选择方法对分类器性能有显著的影响;在分类效果上FKMC与ML-KNN相当,有时甚至优于后者;而在分类效率上FKMC则显著优于ML-KNN。     

基于浮动阈值分类器组合的多标签分类算法

针对目标可以同时属于多个类别的多标签分类问题,提出了一种基于浮动阈值分类器组合的多标签分类算法.首先,分析探讨了基于浮动阈值分类器的AdaBoost算法(AdaBoost.FT)的原理及错误率估计,证明了该算法能克服固定分段阈值分类器对分类边界附近点分类不稳定的缺点从而提高分类准确率;然后,采用二分类(BR)方法将该单标签学习算法应用于多标签分类问题,得到基于浮动阈值分类器组合的多标签分类方法,即多标签AdaBoost.FT.实验结果表明,所提算法的平均分类精度在Emotions数据集上比AdaBoost.MH、ML-kNN、RankSVM这3种算法分别提高约4%、8%、11%;在Scene、Yeast数据集上仅比RankSVM低约3%、1%.由实验分析可知,在不同类别标记之间基本没有关联关系或标签数目较少的数据集上,该算法均能得到较好的分类效果.     

A multi-objective feature selection method based on bacterial foraging optimization

Feature selection plays an important role in data preprocessing. The aim of feature selection is to recognize and remove redundant or irrelevant features. The key issue is to use as few features as possible to achieve the lowest classification error rate. This paper formulates feature selection as a multi-objective problem. In order to address feature selection problem, this paper uses the multi-objective bacterial foraging optimization algorithm to select the feature subsets and k-nearest neighbor algorithm as the evaluation algorithm. The wheel roulette mechanism is further introduced to remove duplicated features. Four information exchange mechanisms are integrated into the bacteria-inspired algorithm to avoid the individuals getting trapped into the local optima so as to achieve better results in solving high-dimensional feature selection problem. On six small datasets and ten high-dimensional datasets, comparative experiments with different conventional wrapper methods and several evolutionary algorithms demonstrate the superiority of the proposed bacteria-inspired based feature selection method.

     

粒子群算法和K近邻相融合的网络入侵检测

为了提高网络入侵检测效果,提出一种粒子群优化算法（PSO）和K最近邻相融（KNN）的网络入侵检测模型（PSO-KNN）。首先特征子集和KNN参数作为一个粒子,然后通过粒子之间的信息交流和相互协作,找到最优特征子集和KNN参数,从而建立最优网络入侵检测模型,最后利用KDD 1999数据集对模型性能进行测试。结果表明,相对于其他入侵检测算法,PSO-KNN更有效地精简网络数据特征,提高分类算法的网络入侵检测速度及检测率。     

一种基于Tri-training的半监督多标记学习文档分类算法

多标记学习主要用于解决因单个样本对应多个概念标记而带来的歧义性问题,而半监督多标记学习是近年来多标记学习任务中的一个新的研究方向,它试图综合利用少量的已标记样本和大量的未标记样本来提高学习性能。为了进一步挖掘未标记样本的信息和价值并将其应用于文档多标记分类问题,该文提出了一种基于Tri-training的半监督多标记学习算法(MKSMLT),该算法首先利用k近邻算法扩充已标记样本集,结合Tri-training算法训练分类器,将多标记学习问题转化为标记排序问题。实验表明,该算法能够有效提高文档分类性能。     

基于联合概率的多标签分类算法

针对多标签k邻域(ML-kNN)算法忽略了多个标签间可能存在的相关性的问题,提出了一种基于联合概率的RML-kNN多标签分类算法。首先,在样本空间遍历求得每个标签的先验概率;其次,根据样本k邻域内某个标签的概率分布计算在该标签取值的条件下样本k邻域内有m个该标签出现的条件概率;然后,提出使用多个标签在k邻域的联合概率分布作为多标签分类模型的方法,并在样本空间进行计算;最后,以最大化后验概率的方法推导出RML-kNN多标签分类模型。理论分析和实验论证表明,在SubSet Accuracy上最高达到0.9612,相比ML-kNN最多有2.25%的提升;在Hamming Loss上比RM-kNN有明显降低,最低达到0.0022;在Micro-FMeasure上最高可达到0.9767,相比ML-kNN最高可有2.88%的提升。实验结果表明,RML-kNN充分考虑了标签间相关性,分类效果优于ML-kNN算法。