基于改进型SDA的自然图像分类与检索

将堆叠去噪编码器应用于图像识别中,并针对自然图像检索领域,使用卷积自动编码器改进堆叠去噪编码器,采用非监督贪婪逐层训练算法初始化网络权重,使用反向传播算法优化网络参数.利用改进的堆叠去噪编码器提取自然图像特征,使用softmax分类器分类.最后将提取的特征结合尺度不变特征转换技术实现图像检索.实验证明改进型堆叠去噪编码器大幅降低网络训练时长的同时增强网络的容错能力,提高分类器的分类精度,最终改善图像的检索效果.     

基于梯形网络和改进三训练法的半监督分类

为了提高半监督深层生成模型的分类性能, 提出一种基于梯形网络和改进三训练法的半监督分类模型. 该模型在梯形网络框架有噪编码器的最高层添加3个分类器, 结合改进的三训练法提高图像分类性能. 首先, 用基于类别抽样的方法将有标记数据分为3份, 模型以有标记数据的标签误差和未标记数据的重构误差相结合的方式调整参数, 训练得到3个Large-margin Softmax分类器; 接着, 用改进的三训练法对未标记数据添加伪标签, 并对新的标记数据分配不同权重, 扩充训练集; 最后, 利用扩充的训练集更新模型. 训练完成后, 对分类器进行加权投票, 得到分类结果. 模型得到的梯形网络的特征有更好的低维流形表示, 可以有效地避免因为样本数据分布不均而导致的分类误差, 增强泛化能力. 模型分别在MNIST数据库, SVHN数据库和CIFAR10数据库上进行实验, 并且与其他半监督深层生成模型进行了比较, 结果表明本文所提出的模型得到了更高的分类精度.     

基于改进堆叠自动编码机的垃圾邮件分类

针对堆叠自动编码机(SA)容易产生过拟合而降低垃圾邮件分类精度的问题,提出了一种基于动态dropout的改进堆叠自动编码机方法。首先分析了垃圾邮件分类问题的特殊性,将dropout算法引入到堆叠自动编码机算法中;同时,根据传统dropout算法容易使部分节点长期处于熄火状态的缺陷,提出了一种动态dropout改进算法,使用动态函数将传统静态熄火率修改为随着迭代次数逐渐减小的动态熄火率;最后,利用动态dropout算法改进堆叠自动编码机的预训练模型。仿真结果表明,相比支持向量机(SVM)和反向传播(BP)神经网络,改进的堆叠自动编码机平均准确率达到了97.66%,各个数据集上马修斯系数都大于89%;与传统堆叠自动编码机相比,改进的堆叠自动编码机的马修斯系数在Error1~6数据集上分别提高了3.27%、1.68%、2.16%、1.51%、1.58%、1.07%。实验结果表明,基于动态dropout算法的改进堆叠自动编码机具有更高的分类精度和更好的稳定性。     

基于类编码的判别特征学习

经典的自编码模型(BAE、SAE、DAE、CAE)都是基于输出数据对原始数据的重构,提取输入信息的低维度特征,将该特征用于图像分类不一定能够取得很好的判别效果。利用标签信息,提出了堆叠判别自编码模型(SDcAE),该模型将类编码作为隐层神经元约束加入到堆叠自编码器的训练中,使得隐层学习的特征具有更好的判别能力。同时,将类编码作为判别损失加入到Softmax分类器中,提出了类编码分类器(CEC)。由于类间样本特征误差的降低,该分类器可以取得更好的训练效果,从而提高了最终分类的正确率。实验表明,堆叠判别自编码器和类编码分类器在图像分类中是有效可行的。     

堆栈式混合自编码器的人脸表情识别方法

针对进一步提高人脸表情识别率的问题,采用了一种基于深度学习的堆栈式混合自编码器（Stacked Hybrid Auto-Encoder,SHAE）的人脸表情识别方法。该方法的结构是由去噪自编码器（Denoising Auto-Encoder,DAE）、稀疏自编码器（Sparse Auto-Encoder,SAE）以及自编码器（Auto-Encoder,AE）组合而成的5层网络结构。为了增加网络的鲁棒性以及泛化能力,采用去噪自编码器对样本进行提取特征,为了对提取的特征进行降维以及进一步提取更抽象的稀疏特征,采用稀疏自编码器进行级联,来对特征进一步处理。训练过程首先由无标签的数据进行预训练和整体微调,对整个结构的权重进行初始化和更新调整,然后使用有标签的数据进行测试训练。在JAFFE和CK+两个数据集上实验显示,相较于单纯的堆栈式去噪自编码或者单纯的堆栈式稀疏自编码,该方法具有更好的识别效果。     

基于栈式稀疏自编码器的矿用变压器故障诊断

鉴于将深度学习应用于变压器故障诊断具有良好的故障诊断效果,提出了一种基于栈式稀疏自编码器的矿用变压器故障诊断方法。通过在自编码器隐含层引入稀疏项限制构成稀疏自编码器,再将多个稀疏自编码器进行堆叠形成栈式稀疏自编码器,并以Softmax分类器作为输出层,建立矿用变压器故障诊断模型;利用大量无标签样本对模型进行无监督预训练,并通过有监督微调优化模型参数。算例分析结果表明,与栈式自编码器相比,栈式稀疏自编码器应用于矿用变压器故障诊断具有更高的准确率。     

深度置信网络在垃圾邮件过滤中的应用

针对深层神经网络初始化方法不明确、泛化能力差而导致解决垃圾邮件过滤时效果较差的问题,提出了基于深度置信网络的分类方法。深度置信网络通过逐层无监督的方法来预训练网络,实现了网络的初始化。在LingSpam,SpamAssassin和Enron1三个广泛使用的数据集上,通过与目前最好的垃圾邮件过滤方法支持向量机(SVM)在分类性能上进行比较,实验结果表明深度置信网络的垃圾邮件过滤方法是有效的,获得了较高的准确率和召回率。     

标签语义增强的弱监督文本分类模型

针对弱监督文本分类任务中存在的类别词表噪声和标签噪声问题,提出了一种标签语义增强的弱监督文本分类模型。首先,基于单词上下文语义表示对类别词表去噪,从而构建高度准确的类别词表;然后,构建基于MASK机制的词类别预测任务对预训练模型BERT进行微调,以学习单词与类别的关系;最后,利用引入标签语义的自训练模块来充分利用所有数据信息并减少标签噪声的影响,以实现词级到句子级语义的转换,从而准确预测文本序列类别。实验结果表明,与目前最先进的弱监督文本分类模型LOTClass相比,所提方法在THUCNews、AG News和IMDB公开数据集上,分类准确率分别提高了5.29、1.41和1.86个百分点。     

基于自监督学习的输电线路螺栓螺母异常检测技术

针对输电线路螺栓螺母异常检测问题,对无标签螺栓数据训练深度学习预训练模型进行了研究,首次采用了自监督学习的方法,使用大量无标签数据集进行学习,首先,使用少量带标签的螺栓目标检测数据集训练目标检测模型,推理获取大量的单图无标签螺栓数据集,然后,采用自监督学习方法通过单图无标签螺栓数据集训练螺栓预训练大模型并获取可视化的螺栓注意力图,最后通过实验对比螺栓预训练大模型在螺栓分类和检索任务中与非预训练模型的效果,实验结果表明无标签数据得到的预训练大模型可以注意到螺杆、螺母、连接件的位置,进一步表明螺栓预训练大模型在分类任务中准确率提升了2%到7%,在螺栓检索任务中平均精度提升了8%。     

基于堆叠稀疏自动编码器的手写数字分类

将稀疏自动编码器(Sparse Autoencoder,SAE)模型应用于数字识别中,并通过多个稀疏自动编码器的堆叠构建了深度网络,采用非监督贪婪逐层训练算法(Greedy Layer-Wise Unsupervised Learning Algorithm)初始化网络权重,使用反向传播算法优化网络参数。利用堆叠稀疏自动编码器学习数字图像的特征,使用softmax分类器进行数字分类。经实验证明,与其它浅层学习模型对比,深度网络不仅进一步学习了数据的高层特征,同时还降低了特征维数,提高了分类器的分类精度,最终改善了手写数字的分类效果。     

改进的基于符号数据的协同过滤推荐算法

随着用户和资源种类的不断增加,评价矩阵的稀疏性问题越来越突出,严重影响了推荐系统的推荐质量。奇异值分解(SVD)是一种对数据进行降维处理的方法,符号数据分析(SDA)是一种处理海量数据的全新数据分析思路。提出一种改进的基于符号数据的协同过滤推荐算法,即将奇异值分解和符号数据分析方法结合起来运用到推荐系统中。在EachMovie 数据库集上的实验结果表明该算法在数据稀疏时的推荐质量明显优于传统的推荐算法。     

基于可变精度粗糙集理论的规则获取算法

为了在处理噪声数据时获得更可靠的分类规则,提出了一种粗糙规则挖掘算法.通过粗糙规则集的不确定量度,在变精度粗糙集理论下近似约简分析的基础上,引入了信息熵,建立了变精度意义下的决策表的度量方式.利用离散粒子群算法,提出一种基于粒子群优化的粗糙集知识的近似约简算法,导出了粗糙规则集.经过实例分析说明,这种算法不但具有一定的噪声容忍度,而且该算法得到的规则具有较高的正确度和覆盖度,从而保证分类的准确性.     

基于深度信念网络的异常点集间的匹配算法

在存在异常值、噪声或缺失点的情况下,损坏的点集中很难区分异常点与正常点,并且点集之间的匹配关系也会受到这些异常点的影响。基于正常点之间存在某种联系以及正常点与异常点之间存在差异的先验知识,提出将点集间匹配关系的估计问题模型化为机器学习的过程。首先,考虑到两个正常点集之间的误差特征,提出了一种基于深度信念网络（DBN）的学习方法来训练具有正常点集的网络;然后,使用训练好的DBN测试损坏的点集,根据设置的误差阈值在网络输出端就可以识别异常值和不匹配的点。对存在噪声和缺失点的2D、3D点集所做的匹配实验中,利用模型预测样本的结果定量评估了点集间的匹配性能,其中匹配的精确率可以达到94%以上。实验结果表明,所提算法可以很好地检测点集中的噪声,即使在数据缺失的情况下,该算法也可以识别几乎所有的匹配点。     

基于二值特征和结构化输出支持向量机的目标快速跟踪算法

复杂场景下基于判别式分类器的目标跟踪通常采用复杂的外观表示模型以提高跟踪精度,但影响了算法的实时性。为此,提出一种基于半色调的二值特征来描述目标的外观,在此基础上对结构化输出支持向量机(SVM)的核函数进行改进,实现了判别模型的快速更新和判别;同时提出一种基于分块匹配的判别模型更新策略,保证了跟踪过程中样本的可靠性。在Benchmark数据集上进行的测试实验中,与压缩跟踪(CT)算法、跟踪学习检测(TLD)算法和核化的结构化输出跟踪(Struck)算法相比,在跟踪速度上,该算法分别提高了0.2倍、4.6倍、5.7倍;在跟踪精度上,当重叠率阈值取0.6时,该算法的成功率达到0.62,而其他三种算法的成功率均在0.4以下,当位置误差阈值取10时,该算法的精度为0.72,而其他三种算法精度均小于0.5。实验结果表明该算法在发生光照变化、尺度变化、严重遮挡和突变运动等复杂情况下均具有很好的鲁棒性和实时性。     

Choosing Multiple Parameters for Support Vector Machines

The problem of automatically tuning multiple parameters for pattern recognition Support Vector Machines (SVMs) is considered. This is done by minimizing some estimates of the generalization error of SVMs using a gradient descent algorithm over the set of parameters. Usual methods for choosing parameters, based on exhaustive search become intractable as soon as the number of parameters exceeds two. Some experimental results assess the feasibility of our approach for a large number of parameters (more than 100) and demonstrate an improvement of generalization performance.     

利用Lagrange支持向量回归机设计IDS的检测算法

为提高网络入侵检测系统中检测算法的分类精度,降低训练样本及学习时间,在基于支持向量回归机的基础上,提出一种新的利用Lagrange支持向量回归机设计IDS的检测算法。使用KDD CUP 1999数据集进行仿真实验,结果表明该算法较基于支持向量回归机的检测算法具有更良好的泛化性能、更快的迭代速度、更高的检测精度和更低的误报率。     

无线传感器网络TDOA测距误差分析与校正

测距是无线传感器网络定位的基础,基于TDOA的测距有较高的精度;分析现有的基于TDOA的无线传感器网络定位系统与算法,使用基于超声波传感器和无线射频模块的TDOA测距技术,并针对测距过程中存在的误差,提出一种新的误差补偿和校正方法;该方法在对TDOA误差源及其影响行为进行详细分析的基础上,建立了测距误差模型;对影响较大的误差因子给予单独校正,并结合相关数学原理,引入了最小二乘回归,建立了误差校正的方案;实验结果表明,该方法有效地减小了测距误差的影响,从而提高了系统定位精度。     

改进ADASYN-SDA的入侵检测模型研究

针对传统入侵检测模型在高维数据且数据不均衡环境下检测性能较差的问题,提出了一种自适应过采样算法（ADASYN）与改进堆叠式降噪自编码器（SDA）结合的入侵检测模型。使用ADASYN算法进行数据过采样处理。使用Adam优化算法,以及Dropout正则化对SDA深度学习模型进行改进,提取出低维数、高鲁棒性的集成特征。在softmax分类器中进行入侵检测识别。实验结果表明,ADASYN-SDA模型相较于SDA、AE-DNN和MSVM模型,在平均准确率、检测率和误判率上均有一定程度的提高。     

量子PSO粒子滤波在DR/GPS组合导航系统中的应用

将量子粒子群优化(QPSO)算法与粒子滤波(PF)相结合,提出了量子PSO粒子滤波(QPSO-PF)算法,对航位推算(DR)与GPS组合导航系统中的里程系数误差和航向误差进行辨识估计,并对里程系数和航向进行修正。该算法采用量子位对粒子进行编码,引入量子旋转门与变异操作保持了粒子集的多样性,通过QPSO搜索寻优重新分配粒子,使粒子集有效地逼近真实的后验概率分布,从而有效地减轻了退化现象,提高了PF的精度。DR/GPS组合导航系统跑车实验结果表明:该算法有效地抑制了DR导航系统误差的增长,提高了组合导航系统的定位精度。     

基于自适应提升的概率矩阵分解算法

针对推荐系统中概率矩阵分解模型(PMF)泛化能力(对新用户和物品的推荐性能)较差、预测准确性不高的问题,提出一种新的基于自适应提升的概率矩阵分解算法(AdaBoostPMF)。该算法首先为每个样本分配样本权重;然后根据PMF中的每一轮随机梯度下降法学习用户和物品特征向量,并计算总体预测误差均值和标准差。从全局的角度利用AdaBoost思想自适应调整样本权重,使算法更注重学习预测误差较大的样本;最后对预测误差分配样本权重,让用户和物品特征向量找到更合适的优化方向。相比传统的PMF算法,AdaBoostPMF算法能够将预测精度平均提高约2.5%。实验结果表明,该算法通过加权预测误差较大的样本,能够较好地拟合用户特征向量和物品特征向量,提高预测精度,可以有效地应用于研究个性化推荐。