t-SNE LDA算法在仿生嗅觉中的应用研究*

将流形学习中的t-SNE算法引入仿生嗅觉领域中,本研究提出一种基于t-SNE与LDA算法相结合的气味分类鉴定新方法。由PEN3电子鼻获取物质气味特征信息,通过t-SNE算法将非线性、高维度的气味响应数据降维到低维空间,并利用LDA算法对低维数据进行分类和识别。本研究利用五种不同成分的纺织品材料气味信息,通过t-SNE、PCA LDA和t-SNE LDA三种算法作对比实验。实验结果表明,相较于其他两种方法,t-SNE LDA算法对常见的不同成分纺织品材料拥有更好的分类和识别效果,而且t-SNE LDA算法得到的结果具有较小的类内离散度和较大的类间离散度。因此,t-SNE LDA算法是仿生嗅觉中气味分类和识别的一个新方法。     

基于E-t-SNE的混合属性数据降维可视化方法

针对传统的t分布随机近邻嵌入（t-SNE）算法只能处理单一属型数据,不能很好地处理混合属性数据的问题,提出一种扩展的t-SNE降维可视化算法E-t-SNE,用于处理混合属性数据。该方法引入信息熵概念来构建分类属性数据的距离矩阵,采用分类属性数据距离与数值属性数据欧式距离相结合的方式构建混合属性数据距离矩阵,将新的距离矩阵输入t-SNE算法对数据进行降维并在二维空间可视化展示。此外,为验证算法有效性,采用[k]近邻[(kNN)]算法对混合数据降维后的效果进行评价。通过在UCI数据集上的实验表明,该方法在处理混合属性数据方面,不仅具有较好的可视化能力,而且能有效地对不同类别的数据进行降维分簇,提升后续分类器的分类准确率。     

面向复杂多流形高维数据的t-SNE降维方法

针对t-SNE方法不能很好地区分相互交叉的多个流形的问题,提出一种可视化降维方法.在t-SNE方法的基础上,在计算高维概率时考虑欧几里得度量和局部主成分分析以区分不同流形.然后可直接使用t-SNE的梯度求解方法得到降维结果.最后分别用3个人工生成的三维数据集和2个通用的机器学习数据集进行实验,并根据不同流形的区分度和流形内的邻域可信度2个指标对降维结果进行量化分析.结果表明,该方法在处理有交叉的多流形数据时的效果要明显优于原来的t-SNE方法,并能够较好地保持每个流形的邻域结构.     

基于距离的关联规则相关性分析优化方法

关联规则挖掘常常会产生大量的规则,这使得用户分析和利用这些规则变得十分困难。为了帮助用户做探索式分析,提出了一种基于距离的相关性关联规则优化方法,该方法从数学分析关联规则相关性概念公式的值的特点出发,通过根据关联规则结构上的相关性差别来挖掘出包括正负两种关联规则在内的更多潜在的相关规则,实验结果表明该方法有效且可靠。     

一种基于约束FP树的天体光谱数据相关性分析方法

寻找未知的天文规律是人类探索宇宙奥妙所追求目标之一.利用关联规则来描述天体光谱数据特征与其物理化学性质之间存在的、未知的相关性,是实现该目标的一种有效手段.以国家重大科学工程LAMOST项目为背景,利用一阶谓词逻辑作为天体光谱知识表示技术,提出一种约束FP树及其构造算法,从而有效提高天体光谱数据相关性分析的针对性和效率.并在此基础上,提出一种基于约束FP树的天体光谱数据相关性分析方法.实验结果分析表明,利用该相关性分析方法挖掘天体光谱数据特征和物理化学性质之间存在的相关性,是可行的和有价值的.     

基于特征点相关性的行人重识别方法

目前行人重识别算法面临的主要问题包括背景过多、行人区域缺失及图片视角差异等。基 于行人区域中显著性特征之间存在着强相关性及行人区域与背景区域特征之间存在着弱相关性两方 面的观察,该研究提出一种基于特征点相关性的行人重识别方法。其中,通过采用一种基于视觉不 变性与弱检测的上下文信息处理模块,即 CIP(Contextual Information Processing)模块实现该方法。 由于具有强相关性的特征可能分布在不同的粒度之间,所以嵌入 CIP 模块的多粒度行人重识别方法 可以融合粒度之间的相关性信息。实验中,通过以第一配准率(Rank-1)和平均准确率为评价指标, 使用单数据集测试、跨数据集测试两种方法,在 4 个大型的行人重识别数据集上进行了充分的测试 实验,并利用两个可视化的方法——弱检测效果与行人区域中显著特征点的相关性效果,对 CIP 模 块的有效性进行验证。实验结果显示,目前主流的多粒度网络通过嵌入 CIP 模块,性能均有明显的 提升。     

BH随机邻域嵌入在驾驶行为识别中的应用

针对驾驶系统处理大量驾驶数据时出现的效率和精度不足的问题,提出一种基于巴恩斯哈特随机邻域嵌入(BH-SNE)和径向基函数神经网络(RBFNN)的识别算法。从手机传感器中获取加速度数据、陀螺仪数据和磁强计数据,融合这三种传感器数据,经过预处理后使用BH-SNE完成降维处理,将降维数据输入到RBFNN中识别出驾驶行为。实验结果表明,BH-SNE的效率远高于t分布式随机邻域嵌入(t-SNE),并且可视化效果优于t-SNE,该模型的整体识别率为98.8%,分类效果优于传统的机器学习算法。     

基于WPT和t-SNE的直升机桨叶损伤特征提取

旋翼桨叶的损坏可能会导致直升机坠落损毁,开展桨叶健康状态的在线监测评估对保障飞行安全至关重要。提出一种将小波包变换(WPT)与t-分布随机近邻嵌入(t-SNE)相结合的桨叶损伤识别方法。首先利用振动台模拟直升机服役时的真实振动,用传感器获取不同故障桨叶模型在振动环境下的输出响应。然后对信号进行小波包分解,提取小波包能量作为原始特征向量,接着用流形学习对特征向量进行维数约简,最后输入到K近邻分类器进行故障识别。实验结果表明:首先,在原始特征选取方面,小波包能量特征优于时域特征与小波包能量组合成的混合特征;其次,t-SNE的降维效果优于PCA、Sammon映射、LTSA、HLLE、SNE这5种方法,且不受嵌入维数的制约。研究结果证明了所提出的方法能提高桨叶损伤评估的准确性。     

面向数据集的ST-SNE算法高维数据降维研究

在数据挖掘和机器学习等领域中,数据降维是解决高维数据分析与处理难题的有效手段。对t-SNE 降维算法进行了深入的研究,并对t-SNE 计算高维空间样本点相似度的过程进行了改进。t-SNE 算法直接利用样本点在高维空间中的欧氏距离来度量样本点的相似度,但欧氏距离在高维空间中不能忠实反映样本位于非线性流形上的相似关系。利用样本点在高维空间中的邻居结构,提出使用二阶邻近距离来度量样本点的相似度,并提出基于二阶邻近距离的随机近邻嵌入算法（Second Order t-SNE,ST-SNE）。在MNIST、USPS、COIL-20等多个数据集上进行了对比实验。实验结果表明,改进后的算法提升了降维结果的分类准确度和可视化效果。     

基于平行坐标的关联规则可视化新技术

详细讨论了用于关联规则可视化的几种常用技术,分析了各自的优缺点。提出了关联规则可视化的一种新方法ARVir,该方法巧、妙地利用平行举标技术的思想,对原有的可视化技术进行改进,能够解决当前关联规则可视化技术中普遍存在的界面紊乱、产生歧义等多种问题。利用Java3D技术实现了基于ARVir的关联规则可视化系统原型,实验表明该系统不仅能够有效地显示大量关联规则,而且用户可以给定约束条件对挖掘结果进行过滤。     

基于改进极限学习机的软测量建模

极限学习机（ELM）因其泛化能力好和学习速度快而成为软测量的新方法,但当应用到铝电解工艺参数建模时,ELM通常需要较多隐层节点并且泛化能力较低。针对这一问题,提出一种基于改进极限学习机（IELM）的软测量模型。首先,利用粗糙集中的约简理论剔除输入变量中的冗余或不相关属性,以降低ELM的输入复杂性;然后,利用偏相关系数对输入变量和输出变量间的相关性进行分析,将输入数据分为正输入和负输入两部分,分别对这两部分建立输入单元,重新构建ELM网络;最后,建立了基于改进极限学习机的铝电解分子比软测量模型。仿真实验结果表明,基于改进极限学习机的软测量模型具有较好的泛化能力和稳定性。     

局部感知的类限制极限学习机

极限学习机(ELM)由于高效的训练方式被广泛应用于分类回归,然而不同的输入权值在很大程度上会影响其学习性能。为了进一步提高ELM的学习性能,针对ELM的输入权值进行了研究,充分利用图像局部感知的稀疏性,将局部感知的方法运用到基于自动编码器的ELM(ELM-AE)上,提出了局部感知的类限制极限学习机(RF-C₂ELM)。通过对MNIST数据集进行分类问题分析实验,实验结果表明,在具有相同隐层结点数的条件下,提出的方法能够获得更高的分类精度。     

Manifold regularized extreme learning machine

Extreme learning machine (ELM) works for generalized single-hidden-layer feedforward networks (SLFNs), and its essence is that the hidden layer of SLFNs need not be tuned. But ELM only utilizes labeled data to carry out the supervised learning task. In order to exploit unlabeled data in the ELM model, we first extend the manifold regularization (MR) framework and then demonstrate the relation between the extended MR framework and ELM. Finally, a manifold regularized extreme learning machine is derived from the proposed framework, which maintains the properties of ELM and can be applicable to large-scale learning problems. Experimental results show that the proposed semi-supervised extreme learning machine is the most cost-efficient method. It tends to have better scalability and achieve satisfactory generalization performance at a relatively faster learning speed than traditional semi-supervised learning algorithms.     

基于流形学习的极端学习机及其在人脸识别中的应用

极端学习机以其快速高效和良好的泛化能力在模式识别领域得到了广泛应用,然而现有的ELM及其改进算法并没有充分考虑到数据维数对ELM分类性能和泛化能力的影响,当数据维数过高时包含的冗余属性及噪音点势必降低ELM的泛化能力,针对这一问题本文提出一种基于流形学习的极端学习机,该算法结合维数约减技术有效消除数据冗余属性及噪声对ELM分类性能的影响,为验证所提方法的有效性,实验使用普遍应用的图像数据,实验结果表明本文所提算法能够显著提高ELM的泛化性能。     

基于Spark的极限学习机算法并行化研究

极限学习机算法虽然训练速度较快,但包含了大量矩阵运算,因此其在面对大数据量时,处理效率依然缓慢。在充分研究Spark分布式数据集并行计算机制的基础上,设计了核心环节矩阵乘法的并行计算方案,并对基于Spark的极限学习机并行化算法进行了设计与实现。为方便性能比较,同时实现了基于Hadoop MapReduce的极限学习机并行化算法。实验结果表明,基于Spark的极限学习机并行化算法相比于Hadoop MapReduce版本的运行时间明显缩短,而且若处理数据量越大,Spark在效率方面的优势就越明显。     

基于超限学习机的非线性典型相关分析及应用

典型相关分析是目前常用的研究两个变量间相关性的统计方法。针对线性典型相关分析难以准确揭示变量之间复杂关系的问题,提出一种基于超限学习机的非线性典型相关分析多模态特征提取方法。首先,采用超限学习机分别的对每个模态进行无监督特征学习,得到抽象的深度特征表示;然后将这些深度抽象特征通过典型相关分析极大化模态之间的相关性,同时得到两组相关变量,实现多模态数据的复杂非线性和高相关性表示。最后在康奈尔大学机器抓取公开数据集上进行实验验证,结果表明,所提出的方法与其他相关算法相比,训练速度得到显著提升。     

基于去噪自编码器的极限学习机

针对极限学习机算法（ELM）参数随机赋值降低算法鲁棒性及性能受噪声影响显著的问题，将去噪自编码器（DAE）与ELM算法相结合，提出了基于去噪自编码器的极限学习机算法（DAE-ELM）。首先，通过去噪自编码器产生ELM的输入数据、输入权值与隐含层参数；然后，以ELM求得隐含层输出权值，完成对分类器的训练。该算法一方面继承了DAE的优点，自动提取的特征更具代表性与鲁棒性，对于噪声有较强的抑制作用；另一方面克服了ELM参数赋值的随机性，增强了算法鲁棒性。实验结果表明，在不含噪声影响下DAE-ELM相较于ELM、PCA-ELM、SAA-2算法，其分类错误率在MNIST数据集中至少下降了5.6%，在Fashion MNIST数据集中至少下降了3.0%，在Rectangles数据集中至少下降了2.0%，在Convex数据集中至少下降了12.7%。     

集成重复训练极限学习机的数据分类

极限学习机是一种随机化算法,它随机生成单隐含层神经网络输入层连接权和隐含层偏置,用分析的方法确定输出层连接权。给定网络结构,用极限学习机重复训练网络,会得到不同的学习模型。本文提出了一种集成模型对数据进行分类的方法。首先用极限学习机算法重复训练若干个单隐含层前馈神经网络,然后用多数投票法集成训练好的神经网络,最后用集成模型对数据进行分类,并在10个数据集上和极限学习机及集成极限学习机进行了实验比较。实验结果表明,本文提出的方法优于极限学习机和集成极限学习机。     

A hybrid model through the fusion of type-2 fuzzy logic systems and extreme learning machines for modelling permeability prediction

Extreme learning machines (ELM), as a learning tool, have gained popularity due to its unique characteristics and performance. However, the generalisation capability of ELM often depends on the nature of the dataset, particularly on whether uncertainty is present in the dataset or not. In order to reduce the effects of uncertainties in ELM prediction and improve its generalisation ability, this paper proposes a hybrid system through a combination of type-2 fuzzy logic systems (type-2 FLS) and ELM; thereafter the hybrid system was applied to model permeability of carbonate reservoir. Type-2 FLS has been chosen to be a precursor to ELM in order to better handle uncertainties existing in datasets beyond the capability of type-1 fuzzy logic systems. The type-2 FLS is used to first handle uncertainties in reservoir data so that its final output is then passed to the ELM for training and then final prediction is done using the unseen testing dataset. Comparative studies have been carried out to compare the performance of the proposed T2-ELM hybrid system with each of the constituent type-2 FLS and ELM, and also artificial neural network (ANN) and support Vector machines (SVM) using five different industrial reservoir data. Empirical results show that the proposed T2-ELM hybrid system outperformed each of type-2 FLS and ELM, as the two constituent models, in all cases, with the improvement made to the ELM performance far higher against that of type-2 FLS that had a closer performance to the hybrid since it is already noted for being able to model uncertainties. The proposed hybrid also outperformed ANN and SVM models considered.     

基于共轭梯度的极速学习机

极速学习机(ELM)由于具有较快的训练速度和较好的泛化能力而被广泛的应用到很多的领域,然而在计算数据样例个数较大的情况下,它的训练速度就会下降,甚至会出现程序报错,因此提出在ELM模型中用改进的共轭梯度算法代替广义逆的计算方法。实验结果表明,与求逆矩阵的ELM算法相比,在同等泛化精度的条件下,共轭梯度ELM有着更快的训练速度。通过研究发现:基于共轭梯度的极速学习机算法不需要计算一个大型矩阵的广义逆,而大部分广义逆的计算依赖于矩阵的奇异值分解(SVD),但这种奇异值分解对于阶数很高的矩阵具有很低的效率;因为已经证明共轭梯度算法可通过有限步迭代找到其解,所以基于共轭剃度的极速学习机有着较高的训练速度,而且也比较适用于处理大数据。