基于SVM的fMRI数据分类及MCI诊断应用

为了有效提高轻度认知障碍(mild cognitive impairment,MCI)的早期诊断效果,提出了基于SVM的fMRI数据分类方法,并构建分类准确率更高的集成分类器.传统的MCI诊断过程,检验周期长、主观误差较大,为此,利用数据挖掘技术,采用SVM数据分类方法,通过提取单个体素的分类特征,对fMRI图像作分类,并分析分类准确率较高的体素分布区域.通过加权平均的方法,构建集成分类器,更好地辅助临床诊断.     

引力搜索优化ELM的企业财务危机预警方法

为提高企业财务危机的预测准确率,提出一种基于引力搜索算法优化核极限学习机(KELM)的并行模型PHGSA-KELM。模型考虑了特征选择机制和参数优化两者对KELM模型起着同等重要的作用,提出改进的引力搜索算法(HGSA)同步实现特征选择机制和KELM参数优化,同时设计的线性加权多目标函数综合考虑了分类精度和特征子集数量,改善了算法的分类性能,并且基于多核平台的多线程并行方式进一步提高了算法的计算效率。通过真实数据集的实验结果表明,提出的模型不仅获得了较少的特征子集个数,找出了与企业财务危机紧密相关的特征,得到了很高的分类准确率,并且计算效率也得到极大提高,是一种有效的企业财务危机预警模型。     

基于ReliefF和改进乌鸦搜索优化的并行入侵检测方法

针对微阵列基因表达数据高维小样本、高冗余且高噪声的问题,提出一种基于FCBF特征选择和集成优化学习的分类算法FICS-EKELM。首先使用快速关联过滤方法FCBF滤除部分不相关特征和噪声,找出与类别相关性较高的特征集合;其次,运用抽样技术生成多个样本子集,在每个训练子集上利用改进乌鸦搜索算法同步实现最优特征子集选择和核极限学习机KELM分类器参数优化;然后基于基分类器构建集成分类模型对目标数据进行分类识别;此外运用多核平台多线程并行方式进一步提高算法计算效率。在六组基因数据集上的实验结果表明,本文算法不仅能用较少特征基因达到较优的分类效果,并且分类结果显著高于已有和相似方法,是一种有效的高维数据分类方法。     

基于深层特征和集成分类器的微博谣言检测研究

微博中存在着大量的虚假信息甚至谣言,微博谣言的广泛传播影响社会稳定,损害个人和国家利益。为有效检测微博谣言,提出了一种基于深层特征和集成分类器的微博谣言检测方法。首先,对微博情感倾向性、微博传播过程和微博用户历史信息进行特征提取得到深层分类特征;然后利用分类特征训练集成分类器;最后利用集成分类器对微博谣言进行检测。实验结果表明,提出的基于深层特征和集成分类器的方法能够有效提高微博谣言检测的性能。     

基于自我训练的长效垃圾分类方法

目的 目前垃圾主要采用名称检索的方式开展分类,这类方法通常基于事先设定的数据分类,很难有效包含现有所有的垃圾,更难应对未来持续增多的垃圾,针对上述问题,面向生活垃圾,提出一种基于自我训练的长效垃圾分类方法。方法 首先,采用Bagging将两类分类能力和训练机制不同的基分类器：K近邻分类器和支持向量机,根据它们各自独立的投票和权重进行有机组合,提出了一种新颖的集成分类器对生活垃圾进行分类;其次,基于直观的图像交互反馈,动态地更新分类器相应分类结果的置信度和基于云的训练样本集,提升后续分类的准确性和方法本身的自学习能力。结果 使用包含233条生活垃圾的训练样本集对原型系统进行训练,并使用151条垃圾样例进行测试,实验表明本文提出的集成分类器对生活垃圾的分类准确性可以达到95%左右。通过逐步提高训练样本集中错误样本的比例（≤ 30%）并重新训练集成分类器,再采用上述151条样例共开展了150次分类测试。相应的平均准确率分析表明,本文的集成分类器具有较高且较为稳定的分类准确率（≥ 93%）。此外,在上述实验中加入反馈机制后,平均准确率分析表明,该机制能有效地减轻错误样本对本文集成分类器准确率衰减带来的影响。结论 本文方法对生活垃圾分类具有较高的分类准确率、鲁棒性且具有良好的长效性。     

一种基于粗糙集属性约简的多分类器集成方法

为提高多分类器系统的分类精度,提出了一种基于粗糙集属性约简的分类器集成方法 MCS_ARS。该方法利用粗糙集属性约简和数据子集划分方法获得若干个特征约简子集和数据子集,并据此训练基分类器;然后利用分类结果相似性得到验证集的若干个预测类别;最后利用多数投票法得到验证集的最终类别。利用UCI标准数据集对方法 MCS_ARS的性能进行测试。实验结果表明,相较于经典的集成方法,方法 MCS_ARS可以获得更高的分类准确率和稳定性。     

基于稀疏表示和决策融合的图像分类方法

利用多个稀疏表示分类器融合的决策信息对图像进行分类,可避免单个特征对图像分类的影响。提出一种自适应调节权重的多稀疏分类器融合图像分类方法。对原始图像分别提取3组不同特征,并训练出各自稀疏表示分类器;根据各个子分类器的准确率,通过迭代计算自适应确定各分类器最终权重;融合各子分类器的输出结果进行最终类别判断。基于Cifar-10图像数据集进行多组实验,结果表明,相对仅提取单特征的图像分类方法,该方法有效提高了图像分类准确率。     

基于深度学习的桥小脑角区听神经瘤和脑膜瘤的辅助诊断模型

针对桥小脑角区听神经瘤和脑膜瘤在临床诊断中不易区分的问题,提出了一种基于深度学习的辅助诊断模型.首先,采集肿瘤的T1WI(T1 Weighted Imaging)增强图像和T2WI(T2 Weighted Imaging)图像,构建基于VGG-net改进的s-VGG网络对两组图像分别进行训练,得到s-VGG-T1 和s-VGG-T2 两个分类模型.其次,集合放射科与放疗科的临床诊断结果,建立深度学习辅助诊断模型,将分类模型结果与临床诊断结果加权平均得到诊断模型结果.相比单独的诊断结果,诊断模型对 10 例肿瘤的诊断准确率有所提升,表明基于深度学习的辅助诊断模型具有良好的性能,可降低误诊率,提升诊断的准确性和临床工作的效率.     

局部Fisher判别分析算法及仿真研究*

复杂化工过程常被多种类型的故障损坏,正常的训练数据无法建立准确的操作模型。为了提高复杂化工过程中故障的检测和分类能力,传统无监督Fisher判别分析(Fisher Discriminant Analysis,FDA)算法无法在多模态故障数据中的应用,本文提出基于局部Fisher判别分析(Local Fisher Discriminant Analysis,LFDA)的故障诊断方法。首先计算训练数据的局部类内和类间离散度矩阵,寻找LFDA的投影方向;其次把训练数据和测试数据向投影向量上投影,提取特征向量;最后计算特征向量间的欧氏距离,运用KNN分类器进行分类。把提出的LFDA方法应用到Tennessee Eastman(TE)过程,监控结果表明,LFDA的效果好于FDA和核Fisher判别分析(Kernel Fisher Discriminant Analysis,KFDA),说明LFDA方法在分类及检测不同类的故障方面具有高准确性及高灵敏度的优势。     

集成基于EP的分类器用于分类数据流

近年来,数据流挖掘已成为知识发现领域中的一个研究热点.数据流中数据的无限性和概念漂移等特征使得传统的分类算法不能很好地适用于数据流环境.提出了一种基于eEP的分类器集成算法CEEPCE(classification by eEP-based classifiers ensemble)对数据流进行分类.CEEPCE使用eEP建立基分类器,当新数据块流入时训练新的分类器,并调整集成分类器中的基分类器.依据基分类器在新流入数据上的分类误差对其进行加权,集成权重最高的若干个基分类器来分类未来数据.实验表明,与单分类器相比,CEEPCE具有更好的分类准确率,并足以与以C4.5为基分类器的集成方法相媲美.     

基于特征提取的选择性神经网络集成方法

针对现有神经网络集成研究方法在输入属性、集成方式和集成形式上的不足,提出一种基于特征提取的选择性神经网络集成模型-NsNNEIPCABag.该模型通过Bagging算法产生若干训练子集;利用改进的主成分分析(IPCA)提取主成分作为输入来训练个体网络;采用IPCA从所有个体网络中选择出部分线性无关的个体网络;采用神经网络对选择出来的个体网络进行非线性集成.为检验该模型的有效性,将其用于时间序列预测,结果表明本文提出的方法的泛化能力优于流行的其它集成方法.     

基于Ext-GBDT集成的类别不平衡信用评分模型

针对现实信用评分业务中样本类别不平衡和代价敏感问题,以及金融机构更期望以得分的方式直观地认识贷款申请人的信用风险的实际需求,提出一种基于Ext-GBDT集成的类别不平衡信用评分模型。使用欠采样的方法从"好"客户(大类)中随机采样多份与全部"坏"客户(小类)等量的样本,分别与全部小类构成训练子集;用不同的训练子集及特征采样和参数扰动的方法训练得到多个差异化的Ext-GBDT子模型;然后使用简单平均法整合子模型的预测概率;最后将信用概率转换为信用评分。在UCI德国信用数据集上,以AUC和代价敏感错误率作为评价指标,与决策树、逻辑回归、朴素贝叶斯、支持向量机、随机森林及其集成模型等当前最为常用的信用评分模型进行对比,验证了该模型的有效性。     

融合密度聚类与集成学习的数据库异常检测

目前,针对数据库系统内部攻击与威胁的检测方法较少,且已有的数据库异常检测方案存在代价开销高、检测准确率低等问题.为此,将密度聚类和集成学习融合,提出一种基于密度聚类和集成学习的数据库异常检测方法.利用OPTICS(Ordering Points To Identify the Clustering Structure)密度聚类算法对用户产生的数据库SQL操作日志进行聚类,通过对SQL语句中的各属性进行分析,提取用户的异常行为,形成先验知识;将Bagging、Boosting和Stacking进行组合,形成集成学习模型,以OPTICS聚类形成的先验知识为基础,并利用该集成学习模型对用户行为作进一步分析,并创建用户行为特征库.基于用户形成特征库,对用户行为进行检测.给出了方案的详细构建过程,包括数据预处理、训练、学习模型建立以及异常检测;利用相关实验数据进行测试,结果表明本方案能以较高的效率检测出数据库异常行为,并且在准确率方面优于同类方案.     

基于樽海鞘算法优化的帕金森病早期诊断模型研究与并行优化

帕金森病是一种常见的神经性慢性疾病,由于其病因尚不明确,导致早期诊断精度低的问题,提出一种改进的优化核极限学习机方法用于帕金森病的早期诊断.研究利用混沌理论和高斯变异方法改进樽海鞘算法(salp swarm algorithm,SSA),提出一种基于进化机制的智能诊断模型ISSA-KELM.改进的SSA算法同步实现特征选择和KELM核函数的参数优化,有效地解决了模型的参数设定和最优特征选择问题,并基于OpenMP平台多线程调度处理模型,在保证模型分类精度最大化的同时进一步提高计算效率.实验结果表明,提出模型在分类精度上高于已有方法,计算效率也得到极大提高,具有较好的综合性能,验证了本模型有着很好的应用前景,有助于辅助临床医生在诊断中作出更准确的决策.     

基于免疫克隆特征选择和欠采样集成的垃圾网页检测

为解决垃圾网页检测过程中的“维数灾难”和不平衡分类问题,提出一种基于免疫克隆特征选择和欠采样（US）集成的二元分类器算法。首先,使用欠采样技术将训练样本集大类抽样成多个与小类样本数相近的样本集,再将其分别与小类样本合并构成多个平衡的子训练样本集;然后,设计一种免疫克隆算法遴选出多个最优的特征子集;基于最优特征子集对平衡的子样本集进行投影操作,生成平衡数据集的多个视图;最后,用随机森林（RF）分类器对测试样本进行分类,采用简单投票法确定测试样本的最终类别。在WEBSPAM UK-2006数据集上的实验结果表明,该集成分类器算法应用于垃圾网页检测：与随机森林算法及其Bagging和AdaBoost集成分类器算法相比,准确率、F1测度、AUC等指标均提高11%以上;与其他最优的研究结果相比,该集成分类器算法在F1测度上提高2%,在AUC上达到最优。     

基于互信息加权集成迁移学习的入侵检测方法

入侵检测系统（IDS）已成为网络安全体系结构中的必要组成部分。在面对现代网络安全需求时,现有的入侵检测方法的可行性和持续性仍然存在提高空间,主要体现在更早地发现入侵威胁和提高入侵检测系统的检测精准度,为此提出一种基于互信息加权的集成迁移学习（ETL）入侵检测方法。首先,通过迁移策略对多组特征集进行建模;然后,使用互信息度量在迁移模型下特征集在不同域中的数据分布;最后,根据度量值对多个迁移模型进行集成加权,得到集成迁移模型。该方法通过学习新环境下的少量有标记样本和以往环境下的大量有标记样本的知识,可以建立效果优于传统非集成、非迁移的入侵检测模型。使用基准NSL-KDD数据集对该方法进行评估,实验结果表明,所提方法具有良好的收敛性能,并提高了入侵检测的精准率。     

基于平均特征重要性和集成学习的异常检测

异常检测系统在网络空间安全中起着至关重要的作用,为网络安全提供有效的保障.对于复杂的网络流量信息,传统的单一的分类器往往无法同时具备较高检测精确度和较强的泛化能力.此外,基于全特征的异常检测模型往往会受到冗余特征的干扰,影响检测的效率和精度.针对这些问题,本文提出了一种基于平均特征重要性的特征选择和集成学习的模型,选取决策树(DT)、随机森林(RF)、额外树(ET)作为基分类器,建立投票集成模型,并基于基尼系数计算基分类器的平均特征重要性进行特征选择.在多个数据集上的实验评估结果表明,本文提出的集成模型优于经典集成学习模型及其他著名异常检测集成模型.且提出的基于平均特征重要性的特征选择方法可以使集成模型准确率平均进一步提升约0.13%,训练时间平均节省约30%.     

小样本问题下培训弱教师网络的模型蒸馏模型

针对深度神经网络在图像识别中存在的训练数据不足,以及多模型蒸馏中存在的细节特征丢失和蒸馏计算量大的问题,提出一种小样本问题下培训弱教师网络的模型蒸馏模型。首先通过集成学习算法中的引导聚集（Bagging）算法培训弱教师网络集,在保留图像数据集细节特征的同时进行并行计算以提升网络生成效率;然后融合知识合并算法,并基于弱教师网络特征图形成单个高质量、高复杂度的教师网络,从而获得细节重点更突出的图像特征图;最后在目前先进的模型蒸馏基础上提出了针对组合特征图改进元网络的集成蒸馏模型,该算法在减少了元网络训练计算量的同时实现了小样本数据集对目标网络的训练。实验结果表明,所提模型在准确率上相较于单纯以优质网络为教师网络的蒸馏方案有6.39%的相对改进;比较自适应增强（AdaBoost）算法训练教师网络再加以蒸馏得到的模型和集成蒸馏模型的模型准确率,二者相差在给定误差范围内,而集成蒸馏模型比AdaBoost算法的网络生成速率提升了4.76倍。可见所提模型能有效提高目标模型在小样本问题下的准确率和训练效率。