敏感变量和感知机结合的测试预言生成方法

测试预言生成技术是软件工程测试领域的研究热点之一.没有可以利用的历史测试用例是目前大部分测试预言生成技术的普遍假设，但是这种假设会使我们错过利用现有部分测试用例协助自动生成新测试用例预言的机会.在已知部分测试用例集的情况下，提出了基于敏感变量和线性感知机的新测试用例的测试预言自动生成方法.首先，收集已知测试用例执行的语句覆盖和不同断点处内存值集合作为训练集，计算与新测试用例执行覆盖信息高度相似的测试用例集；其次，计算各断点处表征成功或失败的敏感变量集；然后，应用线性感知机求解每个断点处成功或失败概率预测的门限值；在此基础上，给出新测试用例测试预言自动生成的方法，并对方法进行讨论；最后，采用7个程序的129个故障版本作为实验对象，对共计14 300个测试用例生成测试预言.实证评价表明，测试预言准确率平均达到96.2%.该成果可以形成测试用例集合构造的"滚雪球效应"，不断迭代自动生成新测试用例的测试预言.     

用于GUI软件的测试工具

为提高GUI软件测试的效率、降低软件成本,提出一种针对GUI软件的测试工具.该工具由测试配置设定模块、测试用例设计模块和测试用例执行模块组成.首先根据测试需求进行测试配置设定生成INI文件,然后根据INI文件内容将测试对象窗体中需要测试的控件及属性设定到测试用例设计界面中,在界面中进行测试用例设计,并将设计数据保存到XML文件中,测试用例执行模块通过读取XML文件中的数据完成测试用例的自动执行,同时进行测试结果判断,最后生成测试报告.测试人员只需输入数据,不用编写测试脚就能实现测试用例的自动执行,能减轻测试人员负担,提高软件测试效率.     

基于路径引导的回归测试用例集扩增方法

为了全面测试演化软件,回归测试通常需要生成新的测试用例。concolic测试是一种沿着具体执行路径进行符号执行的软件验证技术,通过生成测试数据来执行程序的所有可行路径。回归测试中,由于concolic测试关注于程序本身,没有利用已有测试用例和软件演化信息,导致生成大量无效测试数据,浪费资源和时间。为解决此问题,提出一种基于路径引导的回归测试用例集扩增方法。该方法将目标路径作为引导,根据软件演化信息选择有利于覆盖目标路径的测试用例,利用已有测试用例跳过重叠初始子路径,对后续目标子路径进行concolic测试并生成覆盖目标路径的测试数据。案例分析表明,本文方法相比传统concolic测试,本方法在覆盖程序可行路径的同时,可有效减少concolic测试路径,提高测试数据生成效率。     

UML模型驱动的划分测试用例生成方法研究

测试用例的自动生成是软件测试研究的主要方向之一。针对现有的UML模型驱动测试方法在测试数据生成方面存在低效、无目的性、冗余等问题,提出了基于UML活动图模型驱动的划分测试用例自动生成方法。该方法将测试场景归为五种类型,并为每种类型规划了测试数据取值范围和选择方法。构建了基于该方法的原型工具软件,提供被测软件原模型和数据约束即可生成测试用例。实验结果表明,该方法能够在不降低测试覆盖率的情况下,能生成数量少、针对性强的测试用例集。     

基于模型检测技术的变异测试用例生成方法

为了进行基于模型的软件测试变异分析,文中提出了一种基于模型检测的变异测试用例生成方法。基于模型检测工具UPPAAL的形式化分析与测试框架,首先用符合规范的时间自动机模型描述被测系统;然后基于时间自动机模型的基本结构和语法,对系统模型进行一组变异操作,并模拟实现时可能出现的一些错误;对变异后的模型分别使用UPPAAL Yggdrasil工具,生成一组能覆盖变异区域的测试用例;在系统变异模型上执行生成的测试用例,根据测试执行结果(是否能“杀死”变异体)筛选出一组有效的测试用例。通过实例验证,所提方案生成的测试用例是有效的,且测试用例集变异分数优于现有的基于状态机复制的变异测试用例自动生成方法和基于模型中变换覆盖的变异测试用例生成方法。     

回归测试中测试用例集优化方法的研究

回归测试是软件演化过程中频繁进行的且开销巨大的一项任务,测试用例集的优化程度直接影响着测试的成本和效率。针对回归测试过程的特点,提出一种对测试用例集优化的新方法,即通过对测试用例集进行必要的消除冗余和调整排序,完成了对初始测试用例集的精简以及执行顺序的确定过程,使得有限的测试资源得到科学合理的分配。实验结果表明,相对于以往的测试用例集优化方法,新方法的效率和资源分配的合理性均有了显著的提高。     

Web系统测试用例自动执行系统

由于Web应用系统的迅速发展,如何进行有效的Web测试对于保证Web系统的可靠性越来越重要。设计的Web功能测试用例自动执行系统,改进了传统的录制/回放方式,可以模拟用户操作,对Web系统进行功能性测试。提出一种基于XML的测试用例的结构描述,称之为X-Case,对于经常更新的Web系统,修改X-Case结构内的相关数据就可以进行回归测试,不需要重新生成大量的测试用例,节约Web测试的成本。该系统支持部分测试数据自动生成,对动态和静态网页均能执行自动化测试。     

基于PSO的多目标测试用例预优化

随着软件规模的增大,在软件回归测试中,重复执行庞大的全部测试用例集已不再现实。在这种情况下,对测试用例集进行预处理就尤为重要。测试用例预优化是寻找最佳测试用例执行序列的一种技术。在实际的软件回归测试中,基于多目标的测试用例优化技术已逐步取代了单目标优化;应用进化算法解决多目标测试用例预优化是当前研究的热点。但由于进化算法主要是基于种群进行遗传迭代,种群间的交互机制相对复杂,算法的执行效率会随着种群及测试用例集规模的增大而显著下降。针对上述情况,提出了一种基于粒子群优化算法(PSO)的测试用例预优化方法,设计了粒子的表示和状态更新方式,研究了不同粒子更新方式和迭代次数及粒子群大小对多目标测试用例预优化结果的影响。实验结果显示,同基于NSGA-Ⅱ的方法相比,所提方法的执行效率显著提高,可以解决实际回归测试中的多目标测试用例预优化问题。     

运用类复制变异和JPF技术生成类间测试用例

采用类复制变异方法,运用模型检测器Java PathFinder(JPF)来保证软件执行过程中产生的错误在输出结果中可见,同时将类间测试用例生成问题转化成模型检测中寻找反例的问题,自动生成满足变异覆盖准则的类测试用例,提出一种适用于类间调用的测试用例自动生成方法,并在程序模型检测器JPF上实现.实验结果表明,本文提出的方法能生成高效的Java类间测试输入数据,变异覆盖率高,可发现隐藏错误,并能显著减少测试生成的代价.     

基于回归测试模型的用例集的优化方法研究

软件回归测试中不仅重用原有的测试用例,还要补充生成新的用例来满足系统的新功能和特征.本文针对回归测试模型,在合并原有用例集和新增用例集的基础上,根据测试需求的关系优化测试需求,然后采用启发式算法优化用例集.实例分析证明,该方法可以有效的缩减回归测试用例集的规模,大幅度降低了回归测试的费用.     

面向持续集成的回归测试优化方法

针对持续集成环境下回归测试需要进行持续优化的问题,提出一种依据回归测试目标自适应调整策略的优化方法.首先将失败标志、缺陷检测数、重要性因子、新旧功能标志作为用例属性进行标记,根据历史数据和关联关系对用例属性进行初始化;而后根据阶段测试目标,区分新功能测试、修改性测试,将需求映射为具体的用例属性指标,据此对用例进行选择;计算重要性因子,更新用例属性标签,根据用例属性进行优先级自动排序;用例执行中,按照时间、资源要求,根据用例属性选择相应规模的测试用例进行执行.最后选择开源数据集进行实验,结果表明该方法针对不同的测试目标均能够降低执行用例的规模,提高缺陷检测效率.     

Anomaly detection in performance regression testing by transaction profile estimation

As part of the process to test a new release of an application, the performance testing team need to confirm that the existing functionalities do not perform worse than those in the previous release, a problem known as performance regression anomaly. Most existing approaches to analyse performance regression testing data vary according to the applied workload, which usually leads to the need for an extra performance testing run. To ease such lengthy tasks, we propose a new workload‐independent, automated technique to detect anomalies in performance regression testing data using the concept known as transaction profile (TP). The TP is inferred from the performance regression testing data along with the queueing network model of the testing system. Based on a case study conducted against two web applications, one open source and one industrial, we have been able to automatically generate the ‘TP run report’ and verify that it can be used to uncover performance regression anomalies caused by software updates. In particular, the report helped us to isolate the real anomaly issues from those caused by workload changes with an average F1 measure of 85% for the open source application and 90% for the industrial application. Such results support our proposal to use the TP as a more efficient technique in identifying performance regression anomalies than the state of the art industry and research techniques. Copyright © 2015 John Wiley & Sons, Ltd.     

一种针对交互式软件的测试用例生成模型研究与实现

测试用例的自动生成是软件测试的一个重要方面，测试用例生成的复杂度与质量直接影响测试的效率和覆盖面，已有的针对软件功能测试的自动测试理论和方法在针对CAD和图像处理这类人机交互复杂、系统状态繁多的系统时，因复杂度大或者测试效率较低而难以在实际中应用．本文提出的一种针对复杂人机交互软件的测试模型一基于功能对象的测试用例生成模型，将用户使用被测试系统的操作流程看成是若干个处理过程的组合，采用面向对象的思想将用户的操作流程进行分解和封装，构建出用以生成测试流程的功能对象，并依照一定约束条件对功能对象的实例进行重组，派生出测试用例．本文提出的测试用例生成模型，已在三维数字化设计系统的专用测试平台CADTesting中成功实现，实践证明，该模型与现有的一些模型相比，实现复杂度低且测试用例的质量较高．     

基于模型的无人机平台管理系统自动测试研究

为实现某无人机平台管理系统的功能逻辑测试,开发了一套通用化的测试设备和测试用例编辑工具;通过总结被控系统的静态及动态特征,用编辑工具生成的测试用例模拟了各系统,建立了系统模型;测试过程中,测试设备的激励信号按条件或时序自动发送,测试用例与平台管理系统完全自主交互,实现了平台管理系统功能逻辑的自动测试;该自动测试方法可以将现有的多个测试用例组合,方便地编辑复杂自动测试用例;通过复杂的测试用例实现了多通道并行自动测试、多被控系统的全任务流程自动测试;该自动测试方法减轻了测试人员负担,使得测试效率提高了4倍,节省了约80%的测试时间。     

一种基于双约束传播的面向路径自动随机测试方法

随机测试是一种常用的软件测试自动化方法。该方法随机地从程序输入域中选取测试输入,其自动测试实现容易。但随机地从输入域中选取满足某种测试准则的输入数据,测试生成效率较低。为此提出了一种基于双约束传播的面向路径自动随机测试方法,通过对输入变量的取值范围进行切分,执行两次约束传播来求取指定路径的输入域,在此基础上开发了一个自动随机测试生成系统,并与PRT方法进行了实验对比分析。结果表明,该方法计算出的路径输入域更加精确,可有效地减少对无效域的测试生成,提高了随机测试的效率。     

一个基于XML的自动化类测试框架

针对当前自动化类测试工具/框架存在的问题,提出了一个基于XML的类测试框架。框架采用基于XML的自动化测试过程数据流模型,用XML语言来描述和组织测试用例,自动生成测试驱动程序,自动执行测试并生成测试结果。框架可用于不同语言应用程序的自动化类测试,框架实现测试设计、测试实现和测试执行的分离,利于测试脚本的维护,并保证测试脚本与测试用例的一致性。     

回归测试中测试用例优先级技术研究综述

测试用例优先级技术是一种高效实用的回归测试技术,其目的是将不同的测试用例按照其重要程度排序后使用,从而获得更高的回归测试效率。首先介绍了与测试用例优先级相关的研究背景和基本概念,然后对当前的研究工作和进展进行了全面概述,同时比较了各种优先级适用的环境和实验研究结果,最后指出了测试用例优先级中有待解决的问题以及未来的研究方向。     

Prioritizing test cases for early detection of refactoring faults

Refactoring edits are error‐prone, requiring cost‐effective testing. Regression test suites are often used as a safety net for decreasing the chances of behavioural changes. Because of the high costs related to handling massive test suites, prioritization techniques can be applied to reorder test case execution, fostering early fault detection. However, traditional prioritization techniques are not specifically designed for detecting refactoring‐related faults. This article proposes refactoring‐based approach (RBA), a refactoring‐aware strategy for prioritizing regression test cases. RBA reorders an existing test sequence, using a set of proposed refactoring fault models that define the refactoring's impact on program methods. Refactoring‐based approach's evaluation shows that it promotes early detection of refactoring faults and outperforms well‐known prioritization techniques in 71% of the cases. Moreover, it prioritizes fault‐revealing test cases close to one another in 73% of the cases, which can be useful for fault localization. Those findings show that RBA can considerably improve prioritization of test cases during perfective evolution, both by increasing fault‐detection rates as well as by helping to pinpoint defects introduced by an incorrect refactoring. Copyright © 2016 John Wiley & Sons, Ltd.     

Understanding the effects of changes on the cost‐effectiveness of regression testing techniques

Regression testing is an expensive testing process used to validate modified software. Regression test selection and test‐case prioritization can reduce the costs of regression testing by selecting a subset of test cases for execution, or scheduling test cases to meet testing objectives better. The cost‐effectiveness of these techniques can vary widely, however, and one cause of this variance is the type and magnitude of changes made in producing a new software version. Engineers unaware of the causes and effects of this variance can make poor choices in designing change integration processes, selecting inappropriate regression testing techniques, designing excessively expensive regression test suites and making unnecessarily costly changes. Engineers aware of causal factors can perform regression testing more cost‐effectively. This article reports the results of an embedded multiple case study investigating the modifications made in the evolution of four software systems and their impact on regression testing techniques. The results of this study expose tradeoffs and constraints that affect the success of techniques and provide guidelines for designing and managing regression testing processes. Copyright © 2003 John Wiley & Sons, Ltd.