基于变分自编码器的异构缺陷预测特征表示方法

跨项目软件缺陷预测技术可以利用现有的已标注缺陷数据集对新的无标记项目进行预测,但需要两者之间具有相同的度量集合,难以用于实际开发.异构缺陷预测技术可以在具有异构度量集合的项目间进行缺陷预测,该技术引起了大量研究人员的关注.现有的异构缺陷预测技术利用朴素的或者传统机器学习方法为源项目和目标项目学习特征表示,所学习到的特征表示能力很弱且缺陷预测性能很差.鉴于深度神经网络强大的特征抽取和表示能力,本文基于变分自编码器技术提出了一种面向异构缺陷预测的特征表示方法.该模型结合了变分自编码器和最大均值差异距离,能有效地学习源项目和目标项目的共性特征表示,基于该特征表示可以训练出有效的缺陷预测模型.在多组缺陷数据集上通过与传统跨项目缺陷预测方法及异构缺陷预测方法实验对比验证了所提方法的有效性.     

基于混合注意力机制的软件缺陷预测方法

软件缺陷预测技术用于定位软件中可能存在缺陷的代码模块,从而辅助开发人员进行测试与修复。传统的软件缺陷特征为基于软件规模、复杂度和语言特点等人工提取的静态度量元信息。然而,静态度量元特征无法直接捕捉程序上下文中的缺陷信息,从而影响了软件缺陷预测的性能。为了充分利用程序上下文中的语法语义信息,论文提出了一种基于混合注意力机制的软件缺陷预测方法 DP-MHA(Defect Prediction via Mixed Attention Mechanism)。DP-MHA首先从程序模块中提取基于AST树的语法语义序列并进行词嵌入编码和位置编码,然后基于多头注意力机制自学习上下文语法语义信息,最后利用全局注意力机制提取关键的语法语义特征,用于构建软件缺陷预测模型并识别存在潜在缺陷的代码模块。为了验证DP-MHA的有效性,论文选取了六个Apache的开源Java数据集,与经典的基于RF的静态度量元方法、基于RBM+RF、DBN+RF无监督学习方法和基于CNN和RNN深度学习方法进行对比,实验结果表明,DP-MHA在F1值分别提升了16.6%、34.3%、26.4%、7.1%、4.9%。     

基于深度自编码网络的软件缺陷预测方法

软件缺陷预测是提升软件质量的有效方法,而软件缺陷预测方法的预测效果与数据集自身的特点有着密切的相关性。针对软件缺陷预测中数据集特征信息冗余、维度过大的问题,结合深度学习对数据特征强大的学习能力,提出了一种基于深度自编码网络的软件缺陷预测方法。该方法首先使用一种基于无监督学习的采样方法对6个开源项目数据集进行采样,解决了数据集中类不平衡问题;然后训练出一个深度自编码网络模型。该模型能对数据集进行特征降维,模型的最后使用了三种分类器进行连接,该模型使用降维后的训练集训练分类器,最后用测试集进行预测。实验结果表明,该方法在维数较大、特征信息冗余的数据集上的预测性能要优于基准的软件缺陷预测模型和基于现有的特征提取方法的软件缺陷预测模型,并且适用于不同分类算法。     

融合稀疏编码与深度学习的草图特征表示

针对小数据集下单纯使用深度学习方法的草图特征提取可分辨性低下的问题,提出一种融合稀疏编码和深度学习的草图特征表示方法.该算法首先对草图进行语义分割;然后迁移深度学习方法,分别提取草图特征和草图部件特征,之后将部件特征降维聚类,获取聚类中心;最后利用部件聚类中心向量初始化稀疏编码中的字典,交替迭代求取获得最终的草图特征.不同于以往的草图特征表示方法,将迁移深度学习获得的草图部件特征引入到稀疏编码中,作为字典的初始基向量,将语义信息融入到稀疏编码,在提升草图特征表示性能的同时,使得稀疏表示具有更好的可解释性.实验结果显示,所提方法下的草图识别率高于采用传统非深度学习和深度学习方法提取的草图特征的草图识别率.     

基于人眼视觉皮层系统的SAR图像目标识别

人眼的视觉系统是已知最复杂最精确的目标识别系统;针对现有浅层学习模型提取SAR图像目标特征效果不理想、普适性不强及目标识别精度不高等问题,参考人眼视觉系统的分层特征提取机制提出了一种深层特征提取目标识别算法;算法首先提出一种针对SAR图像的预处理方法,在特征提取阶段应用多层稀疏自动编码器,通过逐层减少神经元数目使编码器学习得到输入数据的压缩表示,从而提取得到更抽象更鲁棒的目标特征;采用MSTAR数据库3个目标进行实验,试验结果表明,算法能很好地对MSTAR目标进行特征提取和识别,类比原有的方法有较高的识别准确率,达到96.7%。具有较强的实用性。     

基于流形学习的面向对象的软件缺陷预测模型

针对传统软件缺陷预测方法在预测面向对象的软件缺陷时存在的不足,提出一种基于流形学习的面向对象的软件缺陷预测模型。结合拉普拉斯特征映射法和分类方法,利用拉普拉斯特征映射法,对待预测的软件属性度量数据进行降维处理,得到其低维特征;利用分类算法,从低维特征数据中预测软件存在的缺陷。实验结果表明,该方法有效提高了面向对象的软件缺陷预测精度,也提高了算法的执行效率。     

基于不相似性的软件缺陷预测算法

软件缺陷预测是典型的类不均衡学习问题,其中有缺陷的样本数量远少于无缺陷的样本数量,但有缺陷的样本通常是预测的重点。现有的软件预测模型大多建立在基于静态度量元的软件缺陷数据集上,重点关注如何平衡类分布,而忽略了数据集中属性特征对软件缺陷的判别能力。当软件缺陷数据集中的属性特征对类目标概念缺乏判别能力时,传统机器学习算法难以构建有效的软件缺陷预测模型,从而无法获得有效的预测性能。为此,提出了一种基于不相似性的软件缺陷预测算法,通过改善软件缺陷数据集中属性的判别能力,进而提升软件缺陷预测性能。实验证明：基于不相似性的软件缺陷预测算法能够有效地改善传统机器学习算法在软件缺陷数据集上的预测性能。     

基于深度自动编码器的托攻击集成检测方法

在采用协同过滤技术的推荐系统中,恶意用户通过注入大量虚假概貌使系统的推荐结果产生偏离,达到其攻击目的。为了检测托攻击,根据用户的评分值或基于攻击时间的集中性假设,从不同视角提取攻击概貌的特征。但是,这些基于人工特征的检测方法严重依赖于特征工程的质量,而且人工提取的检测特征多限于特定类型的攻击,提取特征也需要较高的知识成本。针对这些问题,从用户评分项目的时间偏好信息入手,提出一种利用深度稀疏自动编码器自动提取检测特征的托攻击集成检测方法。利用小波变换将项目在不同时间间隔内的流行度设定为多个等级,对用户的评分数据预处理得到用户-项目时间流行度等级矩阵。然后,采用深度稀疏自动编码器对用户-项目时间流行度等级矩阵自动进行特征提取,得到用户评分模式的低层特征表达,消除了传统的人工特征工程。以SVM作为基分类器,在深度稀疏自动编码器的每层提取特征并进行攻击检测,生成最终的集成检测结果。在Netflix数据集上的实验表明,提出的检测方法对均值攻击、AoP攻击、偏移攻击、高级项目攻击、高级用户攻击具有较好的检测效果。     

基于改进稀疏自编码神经网络的软件缺陷预测

针对软件缺陷预测时普遍存在的样本缺陷数据不平衡、特征冗余等问题,引进稀疏自编码(SAE)神经网络并加以改进,提出了一种新的分类模型。模型结合了SAE神经网络和少数样本合成过采样技术(SMOTE)的优点,可弥补传统分类方法在软件缺陷预测时忽视少数类分类效果、不能很好地保留数据内部特征等不足。基于NASA软件缺陷公共数据库中多个数据集的实验结果表明:提出的模型在软件缺陷预测方面的分类效果明显优于其他算法,尤其提高了不平衡数据集中少数类的分类精度。     

基于改进降噪自动编码器的点击率预测

点击率(CTR)预测是个性化广告和推荐系统中的一项基本任务. 针对提升点击率预测效果和处理冷启动问题, 本文中提出了一种基于改进降噪自动编码器的点击率预测模型ADVAE (ADditional Variational AutoEncoder),该模型在输入数据加入高斯随机噪声, 利用改进的降噪自动编码器生成新的嵌入特征, 然后分别进行低阶和高阶的特征交互来预测用户点击行为. 该方法可以在数据稀疏以及系统冷启动情况下, 更深层地学习特征嵌入与交叉之间的关系. 该模型关注特征域之间的交互, 动态修复低频数据的特征嵌入, 具有更强的鲁棒性. 此外, 该方法可以动态应用到其他深度学习模型, 具有更高的灵活性. 实验结果表明, 该方法在点击率预测和系统冷启动问题上的性能表现均优于现有方法.     

Scene classification based on a hierarchical convolutional sparse auto-encoder for high spatial resolution imagery

Efficiently representing and recognizing the semantic classes of the subregions of large-scale high spatial resolution (HSR) remote-sensing images are challenging and critical problems. Most of the existing scene classification methods concentrate on the feature coding approach with handcrafted low-level features or the low-level unsupervised feature learning approaches, which essentially prevent them from better recognizing the semantic categories of the scene due to their limited mid-level feature representation ability. In this article, to overcome the inadequate mid-level representation, a patch-based spatial-spectral hierarchical convolutional sparse auto-encoder (HCSAE) algorithm, based on deep learning, is proposed for HSR remote-sensing imagery scene classification. The HCSAE framework uses an unsupervised hierarchical network based on a sparse auto-encoder (SAE) model. In contrast to the single-level SAE, the HCSAE framework utilizes the significant features from the single-level algorithm in a feedforward and full connection approach to the maximum extent, which adequately represents the scene semantics in the high level of the HCSAE. To ensure robust feature learning and extraction during the SAE feature extraction procedure, a ‘dropout’ strategy is also introduced. The experimental results using the UC Merced data set with 21 classes and a Google Earth data set with 12 classes demonstrate that the proposed HCSAE framework can provide better accuracy than the traditional scene classification methods and the single-level convolutional sparse auto-encoder (CSAE) algorithm.     

基于改进深度森林算法的软件缺陷预测

软件缺陷预测是合理利用软件测试资源、提高软件性能的重要途径。为处理软件缺陷预测模型中浅层机器学习算法无法对软件数据特征进行深度挖掘的问题,提出一种改进深度森林算法——深度堆叠森林(DSF)。该算法首先采用随机抽样的方式对软件的原始特征进行变换以增强其特征表达能力,然后用堆叠结构对变换特征做逐层表征学习。将深度堆叠森林应用于Eclipse数据集的缺陷预测中,实验结果表明,该算法在预测性能和时间效率上均比深度森林有明显的提升。     

基于深度学习的高维稀疏数据组合推荐算法

传统方法在对高维稀疏数据进行检测的过程中,受到高维特征扰动的影响,数据误差较大,因此提出一种基于深度学习的高维稀疏数据组合推荐算法。采用相空间重构方法进行高维稀疏数据的特征重构,根据重构结果结合非线性统计序列分析方法进行高维稀疏数据的回归分析和点云结构重组,在此基础上提取高维稀疏数据的组合特征量;依据特征量提取结果采用特征提取技术抽取高维稀疏数据的平均互信息特征量,并结合关联规则挖掘方法进行高维稀疏数据的主成分分析,挖掘高维稀疏数据的相似度属性类别成分,最终采用深度学习方法进行高维稀疏数据组合推荐过程中的自适应寻优,实现高维稀疏数据的组合推荐。仿真结果表明,采用该算法进行高维稀疏数据推荐的属性归类辨识性较好,特征分辨能力较强,提高了数据的检测和识别能力。     

结合改进LBP和SRC的高光谱图像分类研究

针对传统局部二值模型（local binary pattern,LBP）提取高光谱图像纹理特征信息量庞大的难题,提出一种基于对称旋转不变等价局部二值模型（symmetrical rotation invariant uniform LBP,SRIULBP）的高光谱图像特征提取方法,以缩减特征维度;针对稀疏表示分类（sparse representation classification,SRC）模型中稀疏字典冗余的缺陷,采用近邻思想,提出最近邻稀疏表示（nearest neighbor SRC,NNSRC）分类方法,实现高光谱图像的高效、高准确度分类。数据实验结合表明,SRIULBP能快速提取图像特征,提出的分类方法不仅在分类精度上优于其他稀疏表示分类算法,并且具有更强的时效性与泛化能力。     

基于SSAE深度学习特征表示的高光谱遥感图像分类方法

针对遥感图像中高光谱数据的分类问题,提出一种基于堆叠稀疏自动编码器(SSAE)深度学习特征表示的高光谱遥感图像分类方法。首先,将光谱数据样本进行预处理和归一化。然后,将其输入到SSAE中进行特征表示学习,并通过网格搜索来获得最优网络参数,以此获得有效的特征表示。最后通过支持向量机(SVM)分类器对输入图像特征进行分类,最终实现遥感图像中像素的分类。在两个标准数据集上的实验结果表明,该方法能够实现准确的高光谱地物分类。     

多模态融合的特征提取方法在SA检测中的应用

为解决睡眠呼吸暂停(Sleep Apnea, SA)检测中使用传统的机器学习方法需花大量工作在特征工程上导致效率低下,以及模型多以单通道信号进行特征提取存在识别效果不佳的问题,提出一种基于时序卷积网络(Temporal Convolutional Network, TCN)和堆叠稀疏降噪自编码器(Stacked Sparse Denoismg Auto-Encoder, SSDAEs)的多模态特征融合模型来实现特征自动提取。该模型以心电和呼吸2种信号作为输入,首先利用TCN网络提取输入信号的时序特征,然后通过SSDAEs提取信号的浅层与深层的高维特征,对于不同特征空间的心电信号特征和呼吸信号特征采用一个小型神经网络进行特征融合,将该模型与随机森林算法结合,用于解决SA片段检测问题。实验结果表明,该方法在SA片段检测的准确率、灵敏度、特异性分别是91.5%、88.9%、90.8%。通过与以往相关研究对比,验证了该模型的SA检测性能更好,效率更高。     

基于深度神经网络的字典学习

字典学习通常采用线性函数捕获数据潜在特征, 该方式无法充分提取数据的内在特征结构, 近年来深度学习方法因其强大的特征表示能力而备受关注, 由此本文提出一种结合深度学习与字典学习的非线性特征表示策略, 基于深度神经网络的字典学习(deep neural network-based dictionary learning, DNNDL). DNNDL将字典学习模块融入传统深度学习网络结构中, 在通过自编码器进行映射获取的低维嵌入空间中同时学习数据字典及在其上的稀疏表示系数, 从而实现端到端方式的数据潜在特征提取. DNNDL可为已有数据以及样本外点数据生成紧凑且具判别性的表示. DNNDL不仅是一种新的深度学习网络结构, 并且可将其看作为字典学习和深度学习相结合的统一框架. 通过在4个真实数据集上进行的大量实验, 验证表明所提方法较常用方法具有更好数据表示能力.