ICS35.080 L77 中华人民共和国国家标准 GB/T29832.3—2013 系 统与软件可靠性 第3部分:测试方法 Reliabilityofsystemandsoftware— Part3:Testingmethod 2013-11-12发布 2014-02-01实施 中华人民共和国国家质量监督检验检疫总局 中国国家标准化管理委员会发布目 次 前言 Ⅰ ………………………………………………………………………………………………………… 引言 Ⅱ ………………………………………………………………………………………………………… 1 范围 1 ……………………………………………………………………………………………………… 2 规范性引用文件 1 ………………………………………………………………………………………… 3 术语和定义 1 ……………………………………………………………………………………………… 4 一般测试方法与过程 1 …………………………………………………………………………………… 4.1 测试方法 1 …………………………………………………………………………………………… 4.2 测试过程 1 …………………………………………………………………………………………… 5 成熟性 2 …………………………………………………………………………………………………… 5.1 失效度 2 ……………………………………………………………………………………………… 5.2 故障度 3 ……………………………………………………………………………………………… 5.3 测试度 4 ……………………………………………………………………………………………… 5.4 有效度 5 ……………………………………………………………………………………………… 6 容错性 6 …………………………………………………………………………………………………… 6.1 正常运行度 6 ………………………………………………………………………………………… 6.2 抵御误操作率 7 ……………………………………………………………………………………… 7 易恢复性 8 ………………………………………………………………………………………………… 7.1 重启成功度 8 ………………………………………………………………………………………… 7.2 修复成功度 9 ………………………………………………………………………………………… 附录A(资料性附录) 可靠性测试过程的说明 11 ………………………………………………………… 参考文献 15 ……………………………………………………………………………………………………GB/T29832.3—2013 前 言 GB/T29832《系统与软件可靠性》分为如下三部分: ———第1部分:指标体系; ———第2部分:度量方法; ———第3部分:测试方法。 本部分为GB/T29832的第3部分。 本部分按照GB/T1.1—2009给出的规则起草。 本部分由全国信息技术标准化技术委员会(SAC/TC28)提出并归口。 本部分起草单位:上海计算机软件技术开发中心、珠海南方软件产品检测中心、中国电子技术标准 化研究院、深圳市中安测标准技术有限公司、北京邮电大学、上海浦东软件平台有限公司、上海宝信软件 股份有限公司、上海鲁齐信息科技有限公司、河南电力试验研究院。 本部分主要起草人:丁志刚、阎梦天、宗宇伟、蔡立志、侯建华、张毅、张旸旸、袁玉宇、李家宏、张露莹、 胡劲华、董文生、张彦琼、郭龙祥、郭庆、许彦淳、牛霜霞。 ⅠGB/T29832.3—2013 引 言 GB/T29832的本部分对可靠性度量的测试过程进行了描述,给出了具体执行步骤或相应的方法, 便于用户或者评测人员进行操作。 本部分所列的方法并非一个完备集,不包括尚在探索中的新方法。进行可靠性测试的人员可以从 本部分中选择合适的单一方法或者将多个方法进行组合,用来测量被测系统的可靠性质量情况;也可以 修改或使用本部分未包括的其他方法。 本部分适用于各种具有可靠性需求的计算机软件产品及相关系统,但并非每种方法适用于各种计 算机软件产品及相关系统,并且本部分假设被测软件及相关系统已经过一段时间的运行、已进行过功能 性测试。 本标准预期的主要使用者包括: a) 需方(从供方获得或采购系统、软件产品或软件服务的个体或组织); b) 评价者(实施评价的个体或组织); c) 供方(按所签合同向需方提供系统、软件产品或软件服务的个体或组织),其在合格性测试中确 认软件质量时使用。 GB/T29832.1《系统与软件可靠性 第1部分:指标体系》给出了可靠性指标体系,GB/T29832.2 《系统与软件可靠性 第2部分:度量方法》给出了如何获得可靠性指标测量值的度量方法。本部分旨 在与GB/T29832.1和GB/T29832.2联合使用。 ⅡGB/T29832.3—2013 系统与软件可靠性 第3部分:测试方法 1 范围 GB/T29832的本部分规定了如何获得可靠性指标测量值的测试方法。 本部分适用于具有可靠性要求的系统与软件的可靠性测试和评价。 注:本部分中所指的系统主要是软件系统。 2 规范性引用文件 下列文件对于本文件的应用是必不可少的。凡是注日期的引用文件,仅注日期的版本适用于本文 件。凡是不注日期的引用文件,其最新版本(包括所有的修改单)适用于本文件。 GB/T11457 软件工程术语 GB/T29832.1 系统与软件可靠性 第1部分:指标体系 GB/T29832.2 系统与软件可靠性 第2部分:度量方法 3 术语和定义 GB/T11457和GB/T29832.1中界定的术语和定义适用于本文件。 4 一般测试方法与过程 4.1 测试方法 测试方法包括如下: 专家评审法———一种主观的测评方法。评审时,应根据被评审对象和评审目的设计评审项目表,列 出打分栏目、分值、权重和打分规则。可由N个专家组成一个评审组,专家根据自身的经验与认知进行 判断打分。然后,依据专家的权重和统计规则进行分值汇总计算,其计算得出的值作为评审的结果。打 分规则可以是分等级的,也可以是一个取值区间,或选择一个其他的合适规则; 技术测试法———一种客观的测评方法。技术测试时,可依据被测对象和测试目的选择适用的自动 化测试工具进行测试,也可由人工进行手工测试。技术测试获得的结果通常是一种量化的测量结果; 数学计算法———一种利用数学模型进行计算的测评方式。测评时,应根据被测对象和测试目的选 择适用的数学模型,然后进行计算,最终得出作为测评结果的数值; 用户调查法———一种面向特定用户群的问卷征询方法。用户调查时,应根据调查的目的和特定的 用户群设计调查表,让被调查对象填写并反馈。调查表的回收数应达到一定的数量,并不低于发出数的 适当比例。然后,对回收的调查表进行汇总计算,其计算得出的值作为用户调查的结果。 4.2 测试过程 可靠性的一般测试过程可包括可靠性测试需求分析、功能剖面构造、测试用例设计、测试场景设计、 测试环境和工具的准备、可靠性测试实施、数据收集和分析、故障跟踪等环节,如图1所示。主要过程具 体说明参见附录A。 1GB/T29832.3—2013 图1 可靠性测试流程 5 成熟性 5.1 失效度 5.1.1 失效密度 失效密度的测试要求如下: ———前置条件 被测软件已经过一段时间的运行; ———测试输入 被测软件的需求文档、设计文档、操作手册、运行报告、问题报告等; ———测量类型 计数/计数; ———测试方法 技术测试法; ———实施要点: 1) 依据需求文档、设计文档、操作手册、运行报告、问题报告等,针对每个功能编制对应的测 试用例; 2) 规定试验周期时长,执行所有测试用例,收集和分析测试结果; 3) 依据测试结果,确定检测到的失效数,并记为A; 4) 统计实际执行的测试用例总数,并记为B; 5) 根据GB/T29832.2中的对应公式X=A/B,计算出度量结果X。 注:本度量取决于测试用例是否充分,测试用例的设计宜包括适当的测试用例类型,即正常的、例外的和异常的测 试用例。 5.1.2 失效解决率 失效解决率的测试要求如下: ———前置条件 被测软件已经过一段时间的运行,并已进行过功能性和失效密度测试; ———测试输入 2GB/T29832.3—2013 被测软件的需求文档、设计文档、操作手册、运行报告、问题报告等; ———测量类型 计数/计数; ———测试方法 技术测试法; ———实施要点: 1) 依据需求文档、设计文档、操作手册、运行报告、问题报告等,针对每个失效编制对应的测 试用例,执行所有测试用例,收集和分析测试结果; 2) 依据问题报告和测试结果,确定有多少失效在同样的条件下再未出现,并记为A; 3) 将失效密度测试中实际检测到的失效数记为B; 4) 根据GB/T29832.2中的对应公式X=A/B,计算出度量结果X。 注1:在使用这一度量时,建议监视其趋势。 注2:可以用可靠性增长估计模型来预测潜在的失效总数。 5.2 故障度 5.2.1 故障密度 故障密度的测试要求如下: ———前置条件 被测软件已经过一段时间的运行; ———测试输入 被测软件的需求文档、设计文档、操作手册、源代码、运行报告、问题报告等; ———测量类型 计数/计数; ———测试方法 技术测试法; ———实施要点: 1) 依据需求文档、设计文档、操作手册、源代码、运行报告、问题报告等,针对每个