基于采样的半监督支持向量机软件缺陷预测方法

软件缺陷预测有助于提高软件开发质量,保证测试资源有效分配。针对软件缺陷预测研究中类标签数据难以获取和类不平衡分布问题,提出基于采样的半监督支持向量机预测模型。该模型采用无监督的采样技术,确保带标签样本数据中缺陷样本数量不会过低,使用半监督支持向量机方法,在少量带标签样本数据基础上利用无标签数据信息构建预测模型;使用公开的NASA软件缺陷预测数据集进行仿真实验。实验结果表明提出的方法与现有半监督方法相比,在综合评价指标[F]值和召回率上均优于现有方法;与有监督方法相比,能在学习样本较少的情况下取得相当的预测性能。     

面向对象软件度量阈值的确定方法: 问题、进展与挑战

面向对象软件度量是理解和保证面向对象软件质量的重要手段之一.通过将面向对象软件的度量值与其阈值比较,可简单直观评价其是否有可能包含缺陷.确定度量阈值方法主要有基于数据分布特征的无监督学习方法和基于缺陷相关性的有监督学习方法.两类方法各有利弊:无监督学习方法无需标签信息而易于实现,但所得阈值的缺陷预测性能通常较差;有监督学习方法通过机器学习算法提升所得阈值的缺陷预测性能,但标签信息在实际过程中不易获得且度量与缺陷链接技术复杂.近年来,两类方法的研究者不断探索并取得较大进展.同时,面向对象软件度量阈值确定方法研究仍存在一些亟待解决的挑战.对近年来国内外学者在该领域的研究成果进行系统性的总结.首先,阐述面向对象软件度量阈值确定方法的研究问题.其次,分别从无监督学习方法和有监督学习方法总结相关研究进展,并梳理具体的理论和实现的技术路径.然后,简要介绍面向对象软件度量阈值的其他相关技术.最后,总结当前该领域研究过程面临的挑战并给出建议的研究方向.     

监督机制多粒度决策粗糙集模型及应用

为弥补多粒度决策粗糙集刻画不确定性知识能力的不足,鉴于监督学习能够考虑对象现有或预测的类别标签信息,在多粒度决策粗糙集中引入类内阈值和类间阈值的概念,提出了基于监督机制的多粒度决策粗糙集,给出模型的下、上近似,并对相关性质和结论进行证明。以工地项目建设的实例验证了模型的有效性与可靠性。实验结果表明,通过调整类内阈值和类间阈值,可进一步提高原模型的容错和分类能力。     

不确定NNSB-OPTICS聚类算法在滑坡危险性预测中的研究与应用

针对滑坡危险性预测中降雨等不确定因素不能有效刻画及处理和现有的OPTICS-PLUS聚类算法需要设置密度阈值、时间复杂度高等问题进行了研究,为了提高滑坡危险性预测准确率,提出一种不确定NNSB-OPTICS聚类算法并应用于滑坡预测中。首先对OPTICS-PLUS算法扩张策略进行优化,避免了人工设置密度阈值,提高了算法效率;然后根据降雨量数据的分布特征,综合EW型距离公式和云模型理论,提出EC型距离公式,有效处理不确定数据降雨量;最后将不确定NNSB-OPTICS聚类算法应用于延安市宝塔区滑坡危险性预测中,建立滑坡危险性预测模型,滑坡预测精度达到89.7%。实验结果表明,该方法能够有效提高滑坡危险性预测精度,具有较高可行性。     

代价敏感的Boosting软件缺陷预测方法

软件缺陷预测可以有效提高软件的可靠性,修复系统存在的漏洞。Boosting重抽样是解决软件缺陷预测样本数量不足问题的常用方法,但常规Boosting方法在处理领域类不平衡问题时效果不佳。为此,提出一种代价敏感的Boosting软件缺陷预测方法CSBst。针对缺陷模块漏报和误报代价不同的问题,利用代价敏感的Boosting方法更新样本权重,增大产生第一类错误的样本权重,使之大于无缺陷类样本权重与第二类错误样本的权重,从而提高模块的预测率。采用阈值移动方法对多个决策树基分类器的分类结果进行集成,以解决过拟合问题。在此基础上,通过分析给出模型构建过程中权重和阈值的最优化设置。在NASA软件缺陷预测数据集上进行实验,结果表明,在小样本的情况下,与CSBKNN、CSCE方法相比,CSBst方法的BAL预测指标分别提升7%和3%,且时间复杂度降低一个数量级。     

一种存在级不确定数据流聚类算法

针对不确定数据流聚类算法——EMicro在聚类结果的精确性和聚类中数据的概率相似度方面的不足,提出一种新基于存在级的不确定数据流算法——UDs Stream。该算法通过设置概率阈值,将不确定性高的点和不确定性低的点分开处理,提高聚类结果的准确性和聚类中数据概率相似度。同时引入窗口和密度的方法,设置动态密度阈值,能够动态掌握数据流的分布特征,使聚类过程有更好的灵活性。实验结果证明,与EMicro相比,UDs Stream算法聚类效果更好。     

基于特征嵌入的无监督火花塞表面缺陷检测

针对火花塞缺陷检测任务中,现有无监督缺陷检测方法由于缺乏检测目标正常特征的界限以及训练样本的不均衡,导致对于标签,反光,油污等不影响产品使用的伪缺陷会产生误检的问题,提出一种基于特征嵌入的无监督缺陷检测算法。使用加入了特征相似度注意力模块的孪生网络训练特征提取器,在高维空间拉近正常特征样本的分布。采用基于密度信息的特征下采样方法,均衡特征的分布并去除冗余特征。使用K近邻算法对测试集特征进行离群点检测,获得每个特征的异常概率作为异常检测和定位的依据。实验结果表明,该方法在自采的火花塞数据集上取得了平均97.0%的检测准确率和96.9%的定位准确率,与几种同类异常检测方法相比,更适用于当下的火花塞缺陷检测任务。     

基于二次学习的半监督字典学习软件缺陷预测*

当软件历史仓库中有标记训练样本较少时,有效的预测模型难以构建.针对此问题,文中提出基于二次学习的半监督字典学习软件缺陷预测方法.在第一阶段的学习中,利用稀疏表示分类器将大量无标记样本通过概率软标记标注扩充至有标记训练样本集中.再在扩充后的训练集上进行第二阶段的鉴别字典学习,最后在学得的字典上预测缺陷倾向性.在NASA MDP和PROMISE AR数据集上的实验验证文中方法的优越性.     

一种多尺度无监督遥感图像分割方法

提出了一种多尺度无监督遥感图像分割方法。通过对多尺度图像数据在每个尺度上进行Gauss子集聚类,并将每个像素的邻域内的Gauss子集类别标记作为特征向量,利用Markov四叉树模型进行二次聚类,从而实现无监督图像分割。与其他基于多尺度Markov模型的无监督分割方法和传统动态聚类方法相比,该方法既无需假定每类的分布形式,又能较好地反映数据的概率结构。合成图像与SAR图像的实验结果表明,该方法的分割精度接近于有监督的H-MPM和H-SMAP方法。     

主动特征学习及其在盲图像质量评价中的应用

盲图像质量评价是指在没有原始图像信息的情况下,预测给定图像的视觉感知质量.迄今为止,基于无监督特征学习的盲图像质量评价方法取得了较好的性能,但其质量预测精度随特征维度的降低而显著下降.为了克服这一缺陷,作者将主动学习策略与无监督特征学习相结合,提出了一种主动特征学习框架,以提高图像特征表示的判别性,并利用所学特征进行质量预测.实验表明,在特征维度较低时,与基于无监督特征学习的方法相比,文中方法在图像质量预测精度上提高了8%.同时,文中方法的性能也优于现有的其他盲图像质量评价方法.     

基于文件粒度的多目标软件缺陷预测方法实证研究

软件缺陷预测技术通过挖掘和分析软件库训练出软件缺陷预测模型,随后利用该模型来预测出被测软件项目内的缺陷程序模块,因此可以有效地优化测试资源的分配.在基于代价感知的评测指标下,有监督学习方法与无监督学习方法之间的预测性能比较是最近的一个热门研究话题.其中在基于文件粒度的缺陷预测问题中,Yan等人最近对Yang等人考虑的无监督学习方法和有监督学习方法展开了大规模实证研究,结果表明存在一些无监督学习方法,其性能要优于有监督方法.基于来自开源社区的10个项目展开了实证研究.结果表明：在同项目缺陷预测场景中,若基于ACC评测指标,MULTI方法与最好的无监督方法和有监督方法相比,其预测性能平均有105.81%和123.84%的提高;若基于P_OPT评测指标,MULTI方法与最好的无监督方法和有监督方法相比,其预测性能平均有35.61%和38.70%的提高.在跨项目缺陷预测场景中,若基于ACC评测指标,MULTI方法与最好的无监督方法和有监督方法相比,其预测性能平均有22.42%和34.95%的提高.若基于P_OPT评测指标,MULTI方法与最好的无监督方法和有监督方法相比,其预测性能平均有11.45%和17.92%的提高.同时,基于Huang等人提出的PMI和IFA评测指标,MULTI方法的表现与代价感知的指标相比存在一定的折衷问题,但仍好于在ACC和P_OPT评测指标下表现最好的两种无监督学习方法.除此之外,将MULTI方法与最新提出的OneWay和CBS方法进行了比较,结果表明,MULTI方法在性能上仍然可以显著优于这两种方法.同时,基于F1评测指标的结果也验证了MULTI方法在预测性能上的显著优越性.最后,通过分析模型构建的时间开销,表明MULTI方法的模型构建开销对开发人员来说处于可接受的范围之内.     

基于深度自编码网络的软件缺陷预测方法

软件缺陷预测是提升软件质量的有效方法,而软件缺陷预测方法的预测效果与数据集自身的特点有着密切的相关性。针对软件缺陷预测中数据集特征信息冗余、维度过大的问题,结合深度学习对数据特征强大的学习能力,提出了一种基于深度自编码网络的软件缺陷预测方法。该方法首先使用一种基于无监督学习的采样方法对6个开源项目数据集进行采样,解决了数据集中类不平衡问题;然后训练出一个深度自编码网络模型。该模型能对数据集进行特征降维,模型的最后使用了三种分类器进行连接,该模型使用降维后的训练集训练分类器,最后用测试集进行预测。实验结果表明,该方法在维数较大、特征信息冗余的数据集上的预测性能要优于基准的软件缺陷预测模型和基于现有的特征提取方法的软件缺陷预测模型,并且适用于不同分类算法。     

即时软件缺陷预测研究进展

软件缺陷预测一直是软件工程研究中最活跃的领域之一,研究人员己经提出了大量的缺陷预测技术,根据预测粒度不同,主要包括模块级、文件级和变更级（change-level）缺陷预测.其中,变更级缺陷预测旨在于开发者提交代码时,对其引入的代码是否存在缺陷进行预测,因此又被称作即时（just-in-time）缺陷预测.近年来,即时缺陷预测技术由于其即时性、细粒度等优势,成为缺陷预测领域的研究热点,取得了一系列研究成果;同时也在数据标注、特征提取、模型评估等环节面临诸多挑战,迫切需要更先进、统一的理论指导和技术支撑.鉴于此,从即时缺陷预测技术的数据标注、特征提取和模型评估等方面对近年来即时缺陷预测研究进展进行梳理和总结.主要内容包括：（1）归类并梳理了即时缺陷预测模型构建中数据标注常用方法及其优缺点;（2）对即时缺陷预测的特征类型和计算方法进行了详细分类和总结;（3）总结并归类现有模型构建技术;（4）总结了模型评估中使用的实验验证方法与性能评估指标;（5）归纳出了即时缺陷预测技术的关键问题;（6）最后展望了即时缺陷预测的未来发展.     

基于混合注意力机制的软件缺陷预测方法

软件缺陷预测技术用于定位软件中可能存在缺陷的代码模块,从而辅助开发人员进行测试与修复。传统的软件缺陷特征为基于软件规模、复杂度和语言特点等人工提取的静态度量元信息。然而,静态度量元特征无法直接捕捉程序上下文中的缺陷信息,从而影响了软件缺陷预测的性能。为了充分利用程序上下文中的语法语义信息,论文提出了一种基于混合注意力机制的软件缺陷预测方法 DP-MHA(Defect Prediction via Mixed Attention Mechanism)。DP-MHA首先从程序模块中提取基于AST树的语法语义序列并进行词嵌入编码和位置编码,然后基于多头注意力机制自学习上下文语法语义信息,最后利用全局注意力机制提取关键的语法语义特征,用于构建软件缺陷预测模型并识别存在潜在缺陷的代码模块。为了验证DP-MHA的有效性,论文选取了六个Apache的开源Java数据集,与经典的基于RF的静态度量元方法、基于RBM+RF、DBN+RF无监督学习方法和基于CNN和RNN深度学习方法进行对比,实验结果表明,DP-MHA在F1值分别提升了16.6%、34.3%、26.4%、7.1%、4.9%。     

融合多策略特征筛选的跨项目软件缺陷预测

针对跨项目软件缺陷预测过程中,软件缺陷数据存在无关信息或数据冗余等问题,提出融合多策略特征筛选的跨项目软件缺陷预测（cross-project software defect prediction based on Multi-Policy Feature Filtering,MPFF）方法。采用多策略筛选方法与过采样方法进行数据预处理;使用代价敏感的域自适应方法进行分类,分类过程使用少量已标记目标项目数据改善项目间分布差异;在AEEEM、NASA MDP及SOFTLAB数据集上进行了不同度量下预测实验。实验结果表明,在同构度量下MPFF方法相比Burank filter、Peters filter、TCA+和TrAdaBoost方法预测效果最佳。     

面向软件缺陷个数预测的混合式特征选择方法*

针对软件缺陷数据集中不相关特征和冗余特征会降低软件缺陷个数预测模型的性能的问题,提出了一种面向软件缺陷个数预测的混合式特征选择方法-HFSNFP。首先,利用ReliefF算法计算每个特征与缺陷个数之间的相关性,选出相关性最高的m个特征;然后,基于特征之间的关联性利用谱聚类对这m个特征进行聚类;最后,利用基于包裹式特征选择思想从每个簇中依次挑选最相关的特征形成最终的特征子集。实验结果表明,相比于已有的五种过滤式特征选择方法,HFSNFP方法在提高预测率的同时降低了误报率,且G-measure与RMSE度量值更佳;相比于已有的两种包裹式特征选择方法,HFSNFP方法在保证了缺陷个数预测性能的同时可以显著降低特征选择的时间。     

FSDNP:针对软件缺陷数预测的特征选择方法

软件缺陷预测先前的研究工作主要关注软件缺陷分类问题，即判断一个软件模块是否含有缺陷。如何量化一个软件模块中含有软件缺陷的数量问题还未被很好地研究。针对该问题，提出了一种两阶段的软件模块缺陷数预测特征选择方法FSDNP：特征聚类阶段和特征选择阶段。在特征聚类阶段中，使用基于密度峰聚类的算法将高度相关的特征进行聚类；在特征选择阶段，设计了三种启发式的排序策略从簇中删除冗余的和无关的特征。在PROMISE数据集上，使用平均错误率和平均相对错误率指标，与6个经典的方法进行了比较。实验结果表明，FSDNP能够有效移除冗余的和无关的特征，构建高效的软件缺陷数预测模型。     

跨项目软件缺陷预测方法研究综述

软件缺陷预测是提高软件测试效率、保证软件可靠性的重要途径,已经成为目前实证软件工程领域的研究热点。在软件工程中,软件的开发过程或技术平台可能随时变化,特别是遇到新项目启动或旧项目重新开发时,基于目标项目数据的传统软件缺陷预测方法无法满足实践需求。基于迁移学习技术采用其他项目中已经标注的软件数据实现跨项目的缺陷预测,可以有效解决传统方法的不足,引起了国内外研究者的极大关注,并取得了一系列的研究成果。首先总结了跨项目软件缺陷预测中的关键问题。然后根据迁移学习的技术特点将现有方法分为基于软件属性特征迁移和软件模块实例迁移两大类,并分析比较了常见方法的特点和不足。最后探讨了跨项目软件缺陷预测未来的发展方向。