拉普拉斯多层极速学习机

极速学习机不仅仅是有效的分类器,还能应用到半监督学习中.但是,半监督极速学习机和拉普拉斯光滑孪生支持向量机一样是一种浅层学习算法.深度学习实现了复杂函数的逼近并缓解了以前多层神经网络算法的局部最小性问题,目前在机器学习领域中引起了广泛的关注.多层极速学习机（ML-ELM）是根据深度学习和极速学习机的思想提出的算法,通过堆叠极速学习机-自动编码器算法（ELM-AE）构建多层神经网络模型,不仅实现复杂函数的逼近,并且训练过程中无需迭代,学习效率高.我们把流形正则化框架引入ML-ELM中提出拉普拉斯多层极速学习机算法（Lap-ML-ELM）.然而,ELM-AE不能很好的解决过拟合问题,针对这一问题我们把权值不确定引入ELM-AE中提出权值不确定极速学习机-自动编码器算法（WU-ELM-AE）,它学习到更为鲁棒的特征.最后,我们在前面两种算法的基础上提出权值不确定拉普拉斯多层极速学习机算法（WUL-ML-ELM）,它堆叠WU-ELM-AE构建深度模型,并且用流形正则化框架求取输出权值,该算法在分类精度上有明显提高并且不需花费太多的时间.实验结果表明,Lap-ML-ELM与WUL-ML-ELM都是有效的半监督学习算法.     

改进的加权极速学习机

针对加权极速学习机人为固定权重可能会错失更优权重的问题,提出了改进的加权极速学习机。该方法的多数类的初始权重设为1,使用多数类与少数类样例数的比值作为少数类的初始权重,然后通过在多数类或者少数类中添加权重调节因子,从缩小和扩大两个方向去调节权重,最后通过实验结果选出最优的权重。实验分别使用原加权极速学习机、其他权重的极速学习机和新方法在改造的UCI数据集上进行比较。结果表明新方法无论是在F-mea-sure还是G-mean上都要优于其他加权极速学习机。     

基于共轭梯度的极速学习机

极速学习机(ELM)由于具有较快的训练速度和较好的泛化能力而被广泛的应用到很多的领域,然而在计算数据样例个数较大的情况下,它的训练速度就会下降,甚至会出现程序报错,因此提出在ELM模型中用改进的共轭梯度算法代替广义逆的计算方法。实验结果表明,与求逆矩阵的ELM算法相比,在同等泛化精度的条件下,共轭梯度ELM有着更快的训练速度。通过研究发现:基于共轭梯度的极速学习机算法不需要计算一个大型矩阵的广义逆,而大部分广义逆的计算依赖于矩阵的奇异值分解(SVD),但这种奇异值分解对于阶数很高的矩阵具有很低的效率;因为已经证明共轭梯度算法可通过有限步迭代找到其解,所以基于共轭剃度的极速学习机有着较高的训练速度,而且也比较适用于处理大数据。     

基于数据随机性特征和极速学习机的加密数据流识别

为了在不解密加密数据的前提下获取加密数据流的类型信息,提出一种基于数据随机性特征和模式识别的加密数据流识别方法。该方法利用加密数据与非加密数据,或者不同类型加密数据0,1分布的随机性特性作为分类特征,再利用模式识别方法对不同数据进行建模,从而实现对不同类型数据的自动识别。首先利用NIST随机性测试方法对数据流进行分析,将得到的15类随机性测试得分作为分类特征;然后对不同类型的数据流分别建立分类模型;最后利用训练好的数据模型对未知数据流进行识别。仿真实验显示,与仅用单个随机性特征进行明密数据识别相比,采用模式识别方法可以将错分率由原来的60%以上下降到30%左右;进一步利用滤波器方法对15类随机性特征进行优化降维,平均错分率进一步下降到15%左右。     

基于小样本学习的意图识别与槽位填充方法

“意图识别”与“槽位填充”是智能人机交互中的两个核心任务,受到学术界和工业界的广泛关注。目前业界前沿主流的方法,在一些学术公开数据集上已取得了不错的效果。不过这些方法大多依赖于丰富的标注数据集来完成训练,而数据集需要经过人工采集、标注等流程构造,且需满足其分布的均匀性。然而,真实业务场景下的数据却很难达到以上标准,往往面临小样本学习困难的难题,大多主流方法在小样本学习任务上的表现远不如其在大样本学习上的效果。针对此业界难点,该文提出一种基于半监督学习与迁移学习的“意图识别”与“槽位填充”的串联方法。该方法根据“意图识别”和“槽位填充”的各自任务特性,分别设计了针对性更强的小样本解决思路,即通过半监督学习的思想,在不需引入大量标注数据的情况下,利用无标签数据丰富、构造训练样本集,提高小样本意图识别的准确性;以及通过迁移学习的思想,将从大样本数据中学习到的先验知识迁移到小样本数据模型中,利用大样本数据与小样本数据间的公共知识,提高小样本槽位填充的精准度。该文所提出的方法通过实验对比被证实有效,且在2021年中国计算机学会大数据与计算智能大赛(CCF-BDCI)组委会与中国中文信息学会(CI...     

基于半监督极限学习机的轴承故障诊断

鉴于在实际的应用中滚动轴承的故障信号所属的类别往往是未知的,而且为了得到一定的测试数据需要花费大量的时间,甚至对机械设备造成了一些损害.利用极限学习机训练速度快且泛化能力强的特点,提出了一种基于半监督极限学习机的滚动轴承故障诊断方法,该方法允许在有少量带标签的轴承故障数据的情况下,将带标签的历史数据与新采集到的部分未带标签的数据一起用来训练得到一个最优的诊断模型.首先通过相空间重构将原始一维信号映射到一个高维的相空间,在相空间中提取初始的轴承特征集,然后将特征集输入半监督的极限学习机中进行训练和测试.实验结果表明,这种基于半监督算法的诊断模型简单,在神经元个数较少的情况下仍然具有很好的泛化能力,具有一定的应用价值.     

基于优化样本分布抽样集成学习的半监督文本分类方法研究

针对现有文本分类方法在即时性文本信息上面临的挑战,考虑到即时性文本信息具有已标注数据规模小的特点,为了提高半监督学习的分类性能,该文提出一种基于优化样本分布抽样集成学习的半监督文本分类方法。首先,通过运用一种新的样本抽样的优化策略,获取多个新的子分类器训练集,以增加训练集之间的多样性和减少噪声的扩散范围,从而提高分类器的总体泛化能力;然后,采用基于置信度相乘的投票机制对预测结果进行集成,对未标注数据进行标注;最后,选取适量的数据来更新训练模型。实验结果表明,该方法在长文本和短文本上都取得了优于研究进展方法的分类性能。     

基于在线序列极限学习机的车牌字符识别方法

当前基于神经网络方法的车牌字符识别技术都使用固定的训练样本,学习的效果受初始样本限制,对于识别过程中新出现的不同角度、光线等特征的字符图片不能自适应地学习。本文针对这个问题提出了基于在线序列极限学习机(OS-ELM)的车牌字符识别方法。在样本实时更新中使系统自适应调整网络权值,不断提高识别准确率。本文设计了汉字、字母、字母混合数字三个字符分类器,根据车牌字符的排列特征识别相应的字符。通过与传统ELM方法和BP神经网络法对比,结果证明该字符识别技术达到了较高的识别率,在训练速度上也比BP神经网络法提高了2~3个数量级。     

代价敏感分类的软件缺陷预测方法

软件缺陷预测是提高软件测试效率,保证软件可靠性的重要途径。考虑到软件缺陷预测模型对软件模块错误分类代价的不同,提出了代价敏感分类的软件缺陷预测模型构建方法。针对代码属性度量数据,采用Bagging方式有放回地多次随机抽取训练样本来构建代价敏感分类的决策树基分类器,然后通过投票的方式集成后进行软件模块的缺陷预测,并给出模型构建过程中代价因子最优值的判定选择方法。使用公开的NASA软件缺陷预测数据集进行仿真实验,结果表明该方法在保证缺陷预测率的前提下,误报率明显降低,综合评价指标AUC和F值均优于现有方法。     

基于流形正则化极限学习机的文本分类算法研究

基于极限学习机的文本分类方法在对输入的文本特征进行随机映射时,会呈现一种非线性的几何结构,利用最小二乘法无法对其进行求解,影响文本的分类性能。为此,引入一种新的流形正则化思想,提出基于极限学习机的改进算法。利用拉普拉斯特征映射保持输入文本特征的几何结构。基于样本的类别信息对样本点之间的距离进行修正,优先选择类别相同的样本点,以改善分类性能。在Reuters和20newsgroup数据集上的实验结果表明,与正则化极限学习机算法、AdaBELM算法等相比,该算法分类性能较好,F1-measure值可达91.42%。     

基于核极限学习机的多标签数据流集成分类方法

极限学习机因具有高效处理、性能优越以及更少人工参数设定等优点,已成功应用于批处理多标签分类问题.然而,实际应用领域涌现的数据流呈现海量快速、多标签和概念漂移等特点,使得这些传统的多标签分类算法面临精度与时空的挑战.本文提出一种基于核极限学习机的多标签数据流集成分类方法.首先,为适应数据流环境,利用滑动窗口机制将数据流划...     

基于半监督极限学习机的增量式定位算法

针对目前室内指纹定位算法存在实时性差、对动态环境适应性不足的问题,提出一种新的基于半监督极限学习机的定位算法.该算法首先通过半监督极限学习机建立初始化位置估计模型,然后利用新增的半标记数据对原定位模型进行动态调整,最后为新增训练数据分配合适惩罚权重,使模型具有时效机制.仿真结果表明,该定位算法在保证定位实时性的同时提高了对动态环境的适应性.     

基于多特征融合与CELM的场景分类算法

场景分类对于场景图像的语义解译至关重要,是遥感领域近期的主要研究课题之一。针对大部分图像分类方法中提取的特征结构单一,依赖于大量人工标记的数据以及分类器的训练过程缓慢等问题,提出了一种基于多特征融合与约束极限学习机（constrained extreme learning machines,CELM）的场景图像分类方法。该方法采用三种不同结构的预训练卷积神经网络,利用特定数据集对其进行微调,将微调后网络提取到的三种特征进行融合并送入CELM分类器进行分类,最终得到图像的类别标签。以SIRI-WHU、WHU-RS19与UC-Merced数据集作为实验数据集,在预训练卷积神经网络、单一特征和传统分类器上进行的对比实验表明,基于多特征融合与CELM相结合的方法产生了较好的分类效果,三种数据集上的总分类精度分别高达99.25%、98.26%与97.70%。     

集成重复训练极限学习机的数据分类

极限学习机是一种随机化算法,它随机生成单隐含层神经网络输入层连接权和隐含层偏置,用分析的方法确定输出层连接权。给定网络结构,用极限学习机重复训练网络,会得到不同的学习模型。本文提出了一种集成模型对数据进行分类的方法。首先用极限学习机算法重复训练若干个单隐含层前馈神经网络,然后用多数投票法集成训练好的神经网络,最后用集成模型对数据进行分类,并在10个数据集上和极限学习机及集成极限学习机进行了实验比较。实验结果表明,本文提出的方法优于极限学习机和集成极限学习机。     

基于多核超限学习机的实时心电信号分析

心电分类是一种复杂的模式识别问题。目前,大部分基于不同机器学习模型的心电分类方法都取得了很高的分类精度,但学习效率不高,因此需要一种快速的心电学习方法。文章提出了基于多种核函数的超限学习方法,利用不同的核函数将特征映射到希尔伯特空间,使心电数据在高维空间中线性可分,并在 MIT-BIH 标准库进行了该方法的实验验证。与其他方法相比,文章所提出的方法具有较高的分类准确率和更快的学习速度,对临床上动态心电图的检测与分析和个性化的实时心电监测具有重要意义。     

基于极限学习机的蚜虫刺吸电位波形的分类识别

刺吸电位(Electrical Penetration Graph,EPG)仪是研究蚜虫取食行为、传毒机制等的有力工具,然而EPG波形的分类识别一直是靠人工进行,迫切需要波形自动识别来提高分析效率。采用了小波变换、希尔伯特-黄变换和极限学习机等算法对蚜虫EPG信号中7种波形的特征提取和分类识别进行了研究。实验中对不同特征向量的决策树分类性能进行了对比,发现分形盒维数、Hurst指数、HHT前2层谱质心、第2~3层低频小波能量组成的6维特征向量识别效果最好,平均识别率可达91.61%。采用该特征向量进入极限学习机时可以获得更好的分类性能,平均识别率为93.57%,相比前期研究提高了2.14%。实验结果表明本文提出的基于极限学习机的EPG波形分类识别方法具有较高的识别性能,为研发EPG波形自动识别分析系统奠定了理论基础。     

用于大数据分类的快速隐层优化分布式极限学习机

针对大数据分类问题应用设计了一种快速隐层优化方法来解决分布式超限学习机（Extreme Learning Machine,ELM）在训练过程中存在的突出问题--需要独立重复运行多次才能优化隐层结点个数或模型泛化性能。在不增加算法时间复杂度的前提下,新算法能同时训练多个ELM隐层网络,全面兼顾模型泛化能力和隐层结点个数的优化,并通过分布式计算避免大量重复计算。同时,在算法求解过程中通过这种方式能更精确、更直观地学习隐含层结点个数变化带来的影响。比较多种类型标准测试函数的实验结果,相对于分布式ELM,新算法在求解精度、泛化能力、稳定性上大大提高。     

基于改进花粉算法的极限学习机分类模型

针对多输出极限学习机（MELM）分类模型输入层权值和阈值随机选取导致的分类精度波动问题,提出一种基于改进花粉算法（CS-ACFPA）的极限学习机多分类模型（CS-ACFPA-MELM）。利用自适应算子和Tent策略优化花粉算法的寻优方式,构造一种基于代价敏感的适应度函数,使花粉算法能够更好地匹配MELM模型的输出,最后使用改进的花粉算法和基于代价敏感的适应度函数优化极限学习机的输入权值和阈值,以提高MELM模型的的分类性能。通过对比实验验证了CS-ACFPA算法对MELM模型改进的有效性,并且体现了CS-ACFPA-MELM模型在大规模样本上的优势以及小样本上的适用性。