极限学习机的分类器集成模型研究

将极限学习机算法与旋转森林算法相结合,提出了以ELM算法为基分类器并以旋转森林算法为框架的RF-ELM集成学习模型。在8个数据集上进行了3组预测实验,根据实验结果讨论了ELM算法中隐含层神经元个数对预测结果的影响以及单个ELM模型预测结果不稳定的缺陷;将RF-ELM模型与单ELM模型和基于Bagging算法集成的ELM模型相比较,由稳定性和预测精度的两组对比实验的实验结果表明,对ELM的集成学习可以有效地提高ELM模型的性能,且RF-ELM模型较其他两个模型具有更好的稳定性和更高的准确率,验证了RF-ELM是一种有效的ELM集成学习模型。     

基于风格感知的无监督领域适应算法

近年来,神经机器翻译的译文质量取得了显著的进步,但是其在训练过程中严重依赖平行的双语句子对.然而对于电子商务领域来说,平行资源是稀缺的,此外,文化的不同导致产品信息表达存在风格差异.为了解决这两个问题,提出了一种基于风格感知的无监督领域适应算法,该算法在互训练方法中充分利用电子商务单语数据,同时引入拟知识蒸馏的方法处理...     

基于半监督极限学习机的轴承故障诊断

鉴于在实际的应用中滚动轴承的故障信号所属的类别往往是未知的,而且为了得到一定的测试数据需要花费大量的时间,甚至对机械设备造成了一些损害.利用极限学习机训练速度快且泛化能力强的特点,提出了一种基于半监督极限学习机的滚动轴承故障诊断方法,该方法允许在有少量带标签的轴承故障数据的情况下,将带标签的历史数据与新采集到的部分未带标签的数据一起用来训练得到一个最优的诊断模型.首先通过相空间重构将原始一维信号映射到一个高维的相空间,在相空间中提取初始的轴承特征集,然后将特征集输入半监督的极限学习机中进行训练和测试.实验结果表明,这种基于半监督算法的诊断模型简单,在神经元个数较少的情况下仍然具有很好的泛化能力,具有一定的应用价值.     

基于多输出极限学习机的快速一致性分类器

一致性分类器是建立在一致性预测基础上的分类器,其输出结果具有很高的可靠性,但由于计算框架的限制,学习的时间往往较长.为了加快学习速度,首次将一致性预测与多输出极限学习机相结合,提出基于两者的快速一致性分类算法.该算法利用了极限学习机,能够快速计算样本标签的留一交叉估计的特性,极大地加快了学习速度.算法复杂度分析表明,所提算法的计算复杂度与多输出极限学习机的算法复杂度相同,该算法继承了一致性预测的可靠性特征,即预测的错误率能够被显著性水平参数所控制.在10个公共数据集上的对比实验表明,所提算法具有极快的计算速度,且与其他常用一致性分类器相比,该算法的平均预测标签个数在某些数据集上更少,预测结果更有效.     

流形极限学习机自编码特征表示

极限学习机（ELM）作为一种无监督分类方法,具有学习速度快、泛化性能高、逼近能力好的优点。随着无监督学习的发展,将ELM与自动编码器集成已成为无标签数据集提取特征的新视角,如极限学习机自动编码器（ELM-AE）是一种无监督的神经网络,无需迭代即可找到代表原始样本和其学习过程的主要成分。其重建输入信号获取原始样本的主要特征,且考虑了原始数据的全局信息以避免信息的丢失,然而这类方法未考虑数据的固有流形结构即样本间的近邻结构关系。借鉴极限学习机自动编码器的思想,提出了一种基于流形的极限学习机自动编码器算法（M-ELM）。该算法是一种非线性无监督特征提取方法,结合流形学习保持数据的局部信息,且在特征提取过程中同时对相似度矩阵进行学习。通过在IRIS数据集、脑电数据集和基因表达数据集上进行实验,将该算法与其他无监督学习方法PCA、LPP、NPE、LE和ELM-AE算法经过[k]-means聚类后的准确率进行了比较,以表明该算法的有效性。     

选择性集成极限学习机分类器建模研究

极限学习机ELM(Extreme Learning Machine)具有训练过程极为快速的优点,但在实际分类应用中ELM分类器的分类精度和稳定性有时并不能满足要求。针对这一问题,在ELM用于分类时引入一种训练结果信息量评价指标来改进输出权值矩阵的求解方法,并增加隐层输出矩阵竞争机制来提高ELM的稳定性。为了进一步提高ELM的分类正确率,借鉴神经网络集成的理论,提出一种选择性集成ELM分类器。在集成方法中采用改进Bagging法并提出一种基于网络参数向量的相似度评价方法和选择性集成策略。最后通过UCI数据测试表明,同Bagging法和传统的全集成法相比,该方法拥有更为优秀的分类性能。     

基于极限学习机参数迁移的域适应算法

针对含少量标签样本的迁移学习问题,本文提出了基于极限学习机（Extreme learning machine,ELM）参数迁移的域适应算法,其核心思想是将目标域的ELM分类器参数投影到源域参数空间中,使其最大限度地与源域的分类器参数分布相同.此外,考虑到迁移中有可能带来负迁移的情况,在目标函数中引入正则项约束.本文算法与以往的域适应算法相比优势在于,其分类器参数以及转移矩阵是同时优化得到的,并且其目标函数求解过程相对简单.实验结果表明,与主流的域适应算法相比,本文算法在精度与效率上都表现出明显的优势.     

基于半监督极限学习机的增量式定位算法

针对目前室内指纹定位算法存在实时性差、对动态环境适应性不足的问题,提出一种新的基于半监督极限学习机的定位算法.该算法首先通过半监督极限学习机建立初始化位置估计模型,然后利用新增的半标记数据对原定位模型进行动态调整,最后为新增训练数据分配合适惩罚权重,使模型具有时效机制.仿真结果表明,该定位算法在保证定位实时性的同时提高了对动态环境的适应性.     

无逆矩阵在线序列极限学习机*

无逆矩阵极限学习机只能以批量学习方式进行训练,将其拓展为无逆矩阵在线学习版本,提出了无逆矩阵在线序列极限学习机算法(IOS-ELM).所提算法增加训练样本时,利用Sherman Morrison Woodbury公式对新增样本数据后的模型进行更新,直接计算出新增隐含层输出权重,避免对已经分析过的训练样本的输出权重进行重...     

基于健壮主成分分类器的无监督异常检测方法研究

入侵检测系统在训练过程中需要大量有标识的监督数据进行学习,不利于其应用和推广,经典主成分分析方法对离群数据非常敏感,进而导致分类准确性的下降。为了解决该问题,提出了一种基于健壮主成分分类器的方法,得到被离群数据干扰较少的主成分。根据主成分空间距离和数据重构误差构建异常检测模型。实验表明：该方法能够有效检测未知入侵,在检测率、误警率方面都达到较满意的结果。     

自闭症干预中无监督自编码的语音情感识别

语音情感识别是人机交互中重要的研究内容,儿童自闭症干预治疗中的语音情感识别系统有助于自闭症儿童的康复,但是由于目前语音信号中的情感特征多而杂,特征提取本身就是一项具有挑战性的工作,这样不利于整个系统的识别性能.针对这一问题,提出了一种语音情感特征提取算法,利用无监督自编码网络自动学习语音信号中的情感特征,通过构建一个3层的自编码网络提取语音情感特征,把多层编码网络学习完的高层特征作为极限学习机分类器的输入进行分类,其识别率为84.14%,比传统的基于提取人为定义特征的识别方法有所提高.     

融合动态残差的多源域自适应算法研究

多源域自适应问题通常是指拥有多个源域与单个目标域的场景.常见做法是依据域标签两两对齐源域与目标域分布,通过减小域间距离,将分布映射到共同隐空间内,去预测未知目标域的数据分类.源数据集通常需要域标签,且模型在经过训练阶段后,参数固定,这就很难达到拟合未知目标域分布的目的.基于动态残差块的多源域自适应算法不是从域的角度而是...     

Supervised extended ART: A fast neural network classifier trained by combining supervised and unsupervised learning

A neural network classifier, called supervised extended ART (SEART), that incorporates a supervised mechanism into the extended unsupervised ART is presented here. It uses a learning theory called Nested Generalized Exemplar (NGE) theory. In any time, the training instances may or may not have desired outputs, that is, this model can handle supervised learning and unsupervised learning simultaneously. The unsupervised component finds the cluster relations of instances, and the supervised component learns the desired associations between clusters and classes. In addition, this model has the ability of incremental learning. It works equally well when instances in a cluster belong to different classes. Also, multi-category and nonconvex classifications can be dealt with. Besides, the experimental results are very encouraging.     

基于非监督学习的入侵分析新方法*

提出一种新的基于非监督学习的入侵分析方法.该方法具有发现未知攻击类型的能力,既可以作为独立的分析方法使用,又可以作为基于数据融合的入侵检测的一个分析引擎.在该方法中,核心非监督学习算法采用最大最小距离算法,同时融合非线性的归一化预处理和非数值型特征的有效编码等技术.与同类方法相比,该方法检测率较高,尤其是对于DoS和Probing两大类攻击效果更好.     

跨域和跨模态适应学习的无监督细粒度视频分类

细粒度视频分类旨在识别粗粒度大类中的细粒度子类,是计算机视觉中一个极具挑战的任务.考虑到视频数据的标注成本巨大,而图像的标注成本相对较小,且细粒度图像分类已经取得了较为显著的进展,一个自然的想法是不用标注,以无监督的方式将细粒度图像分类中学习到的知识自适应地迁移到细粒度视频分类中.然而,来源不同的图像和视频之间存在着域差异和模态差异,这导致细粒度图像分类的模型不能直接应用于细粒度视频分类.为了实现无监督的细粒度视频分类,提出一种无监督辨识适应网络,能够将辨识性定位能力从细粒度图像分类迁移到细粒度视频分类.进一步,提出一种渐进式伪标签策略来迭代地引导无监督辨识适应网络学习目标域视频的数据分布.在CUB-200-2011、Cars-196图像数据集和YouTube Birds、YouTube Cars视频数据集上验证该方法跨域、跨模态的适应能力,实验结果证明了该方法在无监督细粒度视频分类上的优势.     

深层自动编码机的文本分类算法改进

自动编码机作为一种新兴的深层神经网络学习算法,在高维数据的降维和图像重构中取得了很好的效果.针对该方法在文本分类中重构出大量的对学习没有帮助的含噪数据,提出一种利用原型数据监督学习的改进模型,称做深层原型自动编码机,该方法改善了无监督学习的不足.并且,通过建立多个实例对应一个原型模型,可以大大降低算法对于原型数量的需求,提升了算法的运行效率,而且更加有利于原型学习在多种不同的数据上展开.实验证明该方法可以增加文本分类的准确率.     

基于伪标签的无监督领域自适应分类方法

现有的领域自适应方法在匹配分布时并未完全考虑伪标签置信度或伪标签损失计算问题,针对此类问题,提出循环选择伪标签分类模型（CSPL）。利用深度网络提取图像特征,为目标域打上高置信度伪标签使得训练数据增强,采用MMD距离度量方法对齐源域和目标域的概率分布,同时设计伪标签损失同步迭代学习,更新模型作为下一次循环的训练模型直至模型收敛。在常用的领域自适应数据集Office31、Office-Home、ImageCLEF-DA以及Amazon-Review上实验表明,该模型相比之前域适应模型在准确度方面平均提升4%~8%且模型的鲁棒性也明显增加。