稀疏降噪自编码器在IR-BCI的应用研究

针对脑-机接口的特征提取问题,提出了一种基于非监督学习的稀疏降噪自编码器,对刺激诱发的脑电信号进行自主学习,构建原始数据的深层特征表达。该编码器引用稀疏自编码神经网络,通过加入噪声,增强其学习的泛化能力,增加了神经网络的鲁棒性。首先对多导联信号进行重新拼接,输入稀疏降噪自编码器,得到原始数据的稀疏特征表达;然后,采用支持向量机将学习到的特征进行分类;最后,同直接使用最优单通道相对比。实验结果为：稀疏降噪自编码器的分类准确率要优于单通道,表明该方法能够更好地学习到特征,并提高了“模拟阅读”脑-机接口的识别正确率,为脑-机接口系统的特征提取和分类提供了新思路。     

用于文本分类的均值原型网络

文本分类是自然语言处理的基本任务之一。该文在原型网络基础上,提出了按时序移动平均方式集成历史原型向量的均值原型网络,并将均值原型网络与循环神经网络相结合,提出了一种新的文本分类模型。该模型利用单层循环神经网络学习文本的向量表示,通过均值原型网络学习文本类别的向量表示,并利用文本向量与原型向量的距离训练模型并预测文本类别。与己有的神经网络文本分类方法相比,模型在训练和预测过程中有效利用了样本间的特征相似关系,并具有网络深度浅、参数少的特点。该方法在多个公开的文本分类数据集上取得了最好的分类准确率。     

融减自动编码器

自动编码器(AE)是深度学习领域中一种结构简单且应用广泛的无监督特征提取算法.在图像特征提取方面,现有自动编码器普遍存在特征提取不充分、模型参数量较多等问题.针对上述问题,提出了一种用于图像特征提取的融减自动编码器(MRAE).首先,在该算法中提出"融减网络结构",该结构在编码器中通过特征交叉传递实现了特征融合,在解码器中通过优化解码结构降低了特征损失并减少了模型参数量;其次,设计一种联合重构损失函数,该函数通过计算特征层之间的重构损失,在加强特征层之间联系的同时可有效避免模型早熟.实验结果表明:在肺部CT图像数据集上,基于融减自动编码器所提取的特征使用支持向量机(SVM)、K-means和分类回归决策树(CART)等分类器,肺炎筛查准确率均在97％以上;在CvD数据集上,基于融减自动编码器所提取的特征使用全连接分类的准确率均在90％以上.     

静息态功能脑连接的空间动态分析及分类研究

现有的精神疾病分类模型仅采用脑网络的静态指标作为特征,忽略了脑网络的空间动态信息,导致分类性能不高。为克服这一局限性,提升分类模型的性能,提出了基于功能脑连接空间动态的分类方法。通过高维模板对脑连接进行空间动态分析,提取脑连接空间动态特征。利用统计分析进行特征选择,构建基于静息态功能脑连接的分类模型。通过对抑郁症患者与正常被试的分类实验结果表明,脑连接空间动态特征的分类准确率（83.0%）比传统采用脑网络的静态指标特征的分类准确率（77.8%）高5.2个百分点。     

面向加密流量分类的深度可解释方法

目前的深度学习模型在加密流量分类任务上相较于传统机器学习方法的性能优势显著，然而由于它固有的黑盒特性，用户无法获知深度学习模型作出分类决策的机理。为了在保证分类准确率的同时提高深度学习模型的可信度，提出一种面向加密流量分类深度学习模型的可解释方法，包括基于原型的流量层级主动解释和基于特征相似显著图的数据包层级被动解释。首先，利用基于原型的流量原型网络（FlowProtoNet），在训练时自动提取各类流量的典型片段，即流量原型；其次，在测试时计算出待测流量与各类原型的相似度，从而在分类的同时实现训练集的溯源解释；然后，为进一步提升可视化解释能力，提出梯度加权的特征相似度显著图（Grad-SSM）方法。Grad-SSM首先通过梯度对特征图加权，过滤分类决策无关区域；接着，计算待测流量与FlowProtoNet提取的原型之间的推土机距离（EMD）得到相似矩阵，从而通过比较测试流量与该类原型，实现注意力热图的进一步聚焦。在ISCX VPN-nonVPN数据集上，所提方法的准确率达到96.86%，与不可解释的人工智能方法持平，而FlowProtoNet能通过给出与原型的相似度，进一步提供分类依据...     

基于低秩堆栈式语义自编码器的零样本学习

在图像分类领域,现有的深度学习等方法在训练时需要大量有标注的数据样本,且无法识别在训练阶段未出现的类别。零样本学习能有效缓解此类问题。本研究基于堆栈式自编码器和低秩嵌入,提出了一种新的零样本学习方法,即基于低秩嵌入的堆栈语义自编码器（low-rank stacked semantic auto-encoder,LSSAE）。该模型基于编码-解码机制,编码器学习到一个具有低秩结构的投影函数,用于将图像的视觉特征空间、语义描述空间以及标签进行连接;解码阶段重建原始视觉特征。并通过低秩嵌入,使得学习到的模型在预见未见类别时能共享已见类的语义信息,从而更好地进行分类。本研究在五个常见的数据集上进行实验,结果表明LSSAE的性能优于已有的零样本学习方法,是一种有效的零样本学习方法。     

基于多通道卷积的心电信号识别方法

为解决复杂非线性多通道心电信号识别问题,提出一种基于多通道多维度深度卷积神经网络的识别方法.将心电信号转换为灰度心电图像,构建一维与二维深度卷积神经网络分别提取心电信号的数值特征与心电图像的波形特征,基于迁移学习融合提取到的数值与波形特征,训练新的全连接层提取融合后的特征并使用Softmax完成分类.该方法使用波形与数值两种特征进行诊断,更加符合医生的诊断原则.结合实例,对算法进行了仿真分析,验证了该算法的可行性与有效性.     

基于去噪自编码器和长短时记忆网络的语音测谎算法

为进一步提升语音测谎性能,提出了一种基于去噪自编码器（DAE）和长短时记忆（LSTM）网络的语音测谎算法。首先,该算法构建了优化后的DAE和LSTM的并行结构PDL;然后,提取出语音中的人工特征并输入DAE以获取更具鲁棒性的特征,同时,将语音加窗分帧后提取出的Mel谱逐帧输入到LSTM进行帧级深度特征的学习;最后,将这两种特征通过全连接层及批归一化处理后实现融合,使用softmax分类器进行谎言识别。CSC（Columbia-SRI-Colorado）库和自建语料库上的实验结果显示,融合特征分类的识别准确率分别为65.18%和68.04%,相比其他对比算法的识别准确率最高分别提升了5.56%和7.22%,表明所提算法可以有效提高谎言识别精度。     

基于Bi-LSTM和CNN并包含注意力机制的社区问答问句分类方法

问句分类的目标是将用户提出的自然语言问句分到预先设定的类别.在社区问答中,如何准确高效的对问句进行分类是一项重要任务.本文提出了一种基于深度神经网络的问句分类方法,该方法首先将问句用词向量进行表示,然后用融合双向长短时记忆网络（Bi-LSTM）和卷积神经网络（CNN）结构并包含注意力机制的深度学习模型提取问句特征进行分类.该方法的特色在于利用Bi-LSTM和CNN在句子级文本表示的优点,充分捕捉问句特征,并结合问句的对应答案来表示问句,丰富了问句信息.实验表明,该问句分类方法准确率较高,在多个数据集上取得不错结果.     

基于未知类语义约束自编码的零样本图像分类

为缓解传统零样本图像分类模型中存在的领域偏移问题,提出一种基于未知类语义约束自编码的零样本图像分类模型.首先,利用预训练的ResNet101网络提取所有已知类和未知类图像的视觉特征;其次,通过编码器将提取的图像深度视觉特征从视觉空间映射到语义空间;然后,通过解码器将映射后得到的语义向量重构为视觉特征向量,在语义自编码器的训练过程中,利用未知类图像的聚类视觉中心和未知类语义类原型的分布对齐施加约束,以缓解领域偏移问题;最后,基于经编码器预测得到的测试图像语义向量和各测试类语义类原型之间的相似性,采用最近邻算法实现零样本图像分类.在AwA2和CUB数据集上的实验结果表明,所提出模型具有较高的分类准确度.     

一种基于Curv-SAE特征融合的人脸降维和识别方法

相比于传统的降维算法,深度学习中的栈式自编码器(Stacked Autoencoder,SAE)能够有效地学习特征并实现高效降维,然而对输入特征极其敏感。第二代离散曲波变换(Discrete Curvelet Transform,DCT)能够提取出人脸的各向信息(包含边缘和概貌特征),确保SAE的输入特征充分,从而弥补了其不足。因此,提出了一种基于Curv-SAE特征融合的人脸识别降维算法,即对人脸图像进行DCT得到特征脸并将其作为SAE的输入特征进行训练,特征融合后将其输入到分类器中进行识别。在ORL和FERET人脸数据库上的实验表明,与小波变换相比,曲波的特征信息更丰富;与传统的降维算法相比,SAE的特征表达更充分且识别精度更高。     

Stacked autoencoder based deep random vector functional link neural network for classification

Extreme learning machine (ELM), which can be viewed as a variant of Random Vector Functional Link (RVFL) network without the input–output direct connections, has been extensively used to create multi-layer (deep) neural networks. Such networks employ randomization based autoencoders (AE) for unsupervised feature extraction followed by an ELM classifier for final decision making. Each randomization based AE acts as an independent feature extractor and a deep network is obtained by stacking several such AEs. Inspired by the better performance of RVFL over ELM, in this paper, we propose several deep RVFL variants by utilizing the framework of stacked autoencoders. Specifically, we introduce direct connections (feature reuse) from preceding layers to the fore layers of the network as in the original RVFL network. Such connections help to regularize the randomization and also reduce the model complexity. Furthermore, we also introduce denoising criterion, recovering clean inputs from their corrupted versions, in the autoencoders to achieve better higher level representations than the ordinary autoencoders. Extensive experiments on several classification datasets show that our proposed deep networks achieve overall better and faster generalization than the other relevant state-of-the-art deep neural networks.     

基于栈式去噪自动编码器的边际Fisher分析算法

特征学习是模式识别领域的关键问题。基于自动编码器的深度神经网络通过无监督预训练与有监督微调能够有效地提取数据中关键信息,形成特征。提出一种基于栈式去噪自编码器的边际Fisher分析算法,该算法将边际Fisher分析运用于有监督微调阶段,进一步提升算法的特征学习能力。实验结果表明,该算法与标准的栈式去噪自编码器和基于受限玻尔兹曼机的深度信念网相比,具有更好的识别效果。     

基于主动深度学习的高光谱影像分类

针对当前高光谱遥感影像分类人工标注样本费时费力,大量未标注样本未得到有效利用以及主要利用光谱信息而忽视空间信息等问题,提出了一种空-谱信息与主动深度学习相结合的高光谱影像分类方法。首先利用主成分分析对原始影像进行降维,在此基础上提取像素的一正方形小邻域作为该像素的空间信息并结合其原始光谱信息得到空谱特征。然后,通过稀疏自编码器得到原始数据的稀疏特征表达,并通过逐层无监督学习稀疏自编码器构建深度神经网络,输出原始数据的深度特征,将其连接到softmax分类器,利用少量标记样本以监督学习的方式完成模型的精调。最后,利用主动学习算法选择最不确定性样本对其进行标注,并加入至训练样本以提高分类器的分类效果。分别对PaviaU影像和PaviaC影像进行分类实验的结果表明,该方法在少量标记样本情况下,相对于传统方法能有效地提高分类精度。     

基于LBP和栈式自动编码器的人脸识别算法研究

LBP算法对光照敏感且能有效地提取图像的纹理结构特征。提出一种基于局部二值模式（Local Binary Pattern,LBP）和栈式自动编码器（Stacked Autoencoders,SAE）的人脸识别算法。用统一模式LBP算子提取分块后的人脸图像的直方图,按顺序连接形成整幅图像的LBP特征,并将其作为栈式自动编码器的输入,完成进一步的特征提取,实现人脸图像的识别与分类。在Extended Yale B等数据库上的实验结果表明,该算法与传统的人脸识别算法和标准的栈式自动编码器相比,对光照变化有更强的鲁棒性,具有更好的识别效果。     

基于双通道变分自编码器的高光谱图像分类

针对现有高光谱图像变分自编码器（variational autoencoder,VAE）分类算法存在空间和光谱特征利用效率低的问题,提出一种基于双通道变分自编码器的高光谱图像深度学习分类算法。通过构建一维条件变分自编码器（conditional variational autoencoder,CVAE）特征提取框架和二维循环通道条件变分自编码（channel-recurrent conditional variational autoencoders,CRCVAE）特征提取框架分别提取高光谱图像的光谱特征和空间特征,将光谱特征向量和空间特征向量叠加形成空谱联合特征向量,将联合特征送入Softmax分类器中进行分类。在Indian pines和Pavia University两种高光谱数据集上进行了分析验证,实验结果显示,与其他算法相比,提出的算法在总分类精度、平均分类精度和Kappa系数等评价指标上至少提高了3.40、2.75和3.57个百分点,结果显示提出的算法得到了最高的分类精度和更好的可视化效果。     

基于深度学习的无线传感器网络数据融合

在无线传感器网络数据融合算法中,BP神经网络被广泛用于节点数据的特征提取和分类。为了解决BP神经网络收敛慢,易陷入局部最优值且泛化能力差从而影响数据融合效果的问题,提出一种将深度学习技术和分簇协议相结合的数据融合算法SAESMDA。SAESMDA用基于层叠自动编码器(SAE)的深度学习模型SAESM取代BP神经网络,算法首先在汇聚节点训练SAESM并对网络分簇,接着各簇节点通过SAESM对采集数据进行特征提取,之后由簇首将分类融合后的特征发送至汇聚节点。仿真实验表明,和采用BP神经网络的BPNDA算法相比,SAESMDA在网络能耗大致相同的情况下具有更高的特征提取分类正确率。     

基于特征互补率矩阵的图像分类方法

在基于内容的图像检索和分类系统中,图像的底层特征和高层语义之间存在着语义鸿沟,有效减小语义鸿沟是一个需要广泛研究的问题。为此,提出一种基于特征互补率矩阵的图像分类方法,该方法通过计算视觉特征互补率矩阵进而指导融合特征集的选择,利用测度学习算法得到一个合适的距离测度以反映图像高层语义的相似度。实验结果表明,该方法能有效提高图像分类精度。     

基于深度学习模型的无线传感器网络数据融合算法

为了在无线传感器网络中提高数据融合性能,基于深度学习模型,提出一种将层叠自动编码器(SAE)和分簇协议相结合的数据融合算法SAEMDA,该算法在各个簇内构建特征提取分类模型SAEM,通过SAEM对节点数据进行特征提取和分类,之后将同类特征融合并发送给汇聚节点。SAEM的训练既可以采用离线有监督学习也可以采用在线无监督学习。仿真实验表明:和BPFDA,SOFMDA算法相比,SAEMDA在网络能耗大致相当的情况下能将数据融合正确率提高最多7.5%。     

基于去相关高精度分类网络与重排序的行人再识别

目前基于深度学习的行人再识别方法通常将分类网络作为基础网络进行训练,再用其提取行人图片的深度特征,最后在欧氏距离度量下计算特征间相似度并建立排序表。因此,分类网络的特征表达能力将影响到再识别的准确率,而特征表达之间的相关性也会使相似度计算存在误差。针对这些问题,采用精度更高的分类网络作为行人再识别的特征提取网络,并使用奇异值分解来降低权向量之间的相关性,优化深度学习过程。此外,使用基于K互近邻的方法,对候选库中需要检索的图片进行重排序,也将进一步提升再识别的精度。在Market-1501数据集上的实验结果表明,该方法能显著提高行人再识别的准确性。