ICS35.080 L77 中华人民共和国国家标准 GB/T29831.3—2013 系 统与软件功能性 第3部分:测试方法 Functionalityofsystemandsoftware— Part3:Testingmethod 2013-11-12发布 2014-02-01实施 中华人民共和国国家质量监督检验检疫总局 中国国家标准化管理委员会发布目 次 前言 Ⅰ ………………………………………………………………………………………………………… 引言 Ⅱ ………………………………………………………………………………………………………… 1 范围 1 ……………………………………………………………………………………………………… 2 规范性引用文件 1 ………………………………………………………………………………………… 3 术语和定义 1 ……………………………………………………………………………………………… 4 一般测试方法与过程 1 …………………………………………………………………………………… 4.1 测试方法 1 …………………………………………………………………………………………… 4.2 测试过程 1 …………………………………………………………………………………………… 5 完备性 2 …………………………………………………………………………………………………… 5.1 功能的充分性 2 ……………………………………………………………………………………… 5.2 功能实现的完整性 2 ………………………………………………………………………………… 5.3 功能实现的覆盖率 3 ………………………………………………………………………………… 6 正确性 3 …………………………………………………………………………………………………… 6.1 数据项的正确性 3 …………………………………………………………………………………… 6.2 预期的符合性 4 ……………………………………………………………………………………… 7 恰当性 4 …………………………………………………………………………………………………… 7.1 功能的适用性 4 ……………………………………………………………………………………… 7.2 功能规格说明的稳定性 4 …………………………………………………………………………… 8 互操作性 5 ………………………………………………………………………………………………… 8.1 数据格式的可交换性 5 ……………………………………………………………………………… 9 安全保密性 5 ……………………………………………………………………………………………… 9.1 访问的可审核性 5 …………………………………………………………………………………… 9.2 访问的可控制性 6 …………………………………………………………………………………… 9.3 数据的保密性 7 ……………………………………………………………………………………… 9.4 防止数据讹误 7 ……………………………………………………………………………………… 10 依从性 8 …………………………………………………………………………………………………… 10.1 功能的依从性 8 ……………………………………………………………………………………… 10.2 界面的依从性 8 ……………………………………………………………………………………… 参考文献 10 ……………………………………………………………………………………………………GB/T29831.3—2013 前 言 GB/T29831《系统与软件功能性》分为如下三部分: ———第1部分:指标体系; ———第2部分:度量方法; ———第3部分:测试方法。 本部分为GB/T29831的第3部分。 本部分按照GB/T1.1—2009给出的规则起草。 本部分由全国信息技术标准化技术委员会(SAC/TC28)提出并归口。 本部分起草单位:上海计算机软件技术开发中心、中国电子技术标准化研究院、上海市软件评测中 心有限公司、深圳市中安测标准技术有限公司、珠海力准电子科技有限公司、北京邮电大学、上海浦东软 件平台有限公司、上海宝信软件股份有限公司、广东软件评测中心、上海鲁齐信息科技有限公司、广州广 软信息系统管理咨询有限公司。 本部分主要起草人:丁志刚、阎梦天、黄毅、蔡立志、张毅、周清云、黄万民、孟艳、刘新、袁肃荣、蔡伟杰、 牛树国、王蕾、张旸旸、袁玉宇、李家宏、张露莹、董文生、毛瑞、丁嘉逸、王建根、郭庆、许彦淳。 ⅠGB/T29831.3—2013 引 言 GB/T29831的本部分对功能性度量的测试过程进行了描述,给出了具体执行步骤或相应的方法, 便于用户或者评测人员进行操作。 本部分所列的方法并非一个完备集,不包括尚在探索中的新方法。进行功能性测试的人员可以从 本部分中选择合适的单一方法或者将多个方法进行组合,用来测量被测系统的功能性质量情况;也可以 修改或使用本部分未包括的其他方法。 本部分适用于各种具有功能性需求的计算机软件产品及相关系统,但并非每种方法适用于各种计 算机软件产品及相关系统。 本标准预期的主要使用者包括: a) 需方(从供方获得或采购系统、软件产品或软件服务的个体或组织); b) 评价者(实施评价的个体或组织); c) 供方(按所签合同向需方提供系统、软件产品或软件服务的个体或组织),其在合格性测试中确 认软件质量时使用。 GB/T29831.1《系统与软件功能性 第1部分:指标体系》给出了功能性指标体系,GB/T29831.2 《系统与软件功能性 第2部分:度量方法》给出了如何获得功能性指标测量值的度量方法。本部分旨 在与GB/T29831.1和GB/T29831.2联合使用。 ⅡGB/T29831.3—2013 系统与软件功能性 第3部分:测试方法 1 范围 GB/T29831的本部分规定了如何获得功能性指标测量值的测试方法。 本部分适用于计算机软件产品及相关系统的功能性测试和评价。 注:本部分中所指的系统主要是软件系统。 2 规范性引用文件 下列文件对于本文件的应用是必不可少的。凡是注日期的引用文件,仅注日期的版本适用于本文 件。凡是不注日期的引用文件,其最新版本(包括所有的修改单)适用于本文件。 GB/T11457 软件工程术语 GB/T29831.1 系统与软件功能性 第1部分:指标体系 GB/T29831.2 系统与软件功能性 第2部分:度量方法 3 术语和定义 GB/T11457和GB/T29831.1中界定的术语和定义适用于本文件。 4 一般测试方法与过程 4.1 测试方法 测试方法包括如下: 专家评审法———一种主观的测评方法。评审时,应根据被评审对象和评审目的设计评审项目表,列 出打分栏目、分值、权重和打分规则。可由N个专家组成一个评审组,专家根据自身的经验与认知进行 判断打分。然后,依据专家的权重和统计规则进行分值汇总计算,其计算得出的值作为评审的结果。打 分规则可以是分等级的,也可以是一个取值区间,或选择一个其他的合适规则; 技术测试法———一种客观的测评方法。技术测试时,可依据被测对象和测试目的选择适用的自动 化测试工具进行测试,也可由人工进行手工测试。技术测试获得的结果通常是一种量化的测量结果; 数学计算法———一种利用数学模型进行计算的测评方式。测评时,应根据被测对象和测试目的选 择适用的数学模型,然后进行计算,最终得出作为测评结果的数值; 用户调查法———一种面向特定用户群的问卷征询方法。用户调查时,应根据调查的目的和特定的 用户群设计调查表,让被调查对象填写并反馈。调查表的回收数应达到一定的数量,并不低于发出数的 适当比例。然后,对回收的调查表进行汇总计算,其计算得出的值作为用户调查的结果。 4.2 测试过程 软件测试通常要经历测试需求分析、测试计划制定、测试用例设计、测试数据准备、测试环境搭建、 测试用例执行、测试缺陷跟踪、测试结果分析、测试报告编写等环节。 1GB/T29831.3—2013 5 完备性 5.1 功能的充分性 功能的充分性的测试要求如下: ———前置条件 被测软件已具备测试条件; ———测试输入 被测软件的需求文档、设计文档、操作手册等; ———测量类型 计数/计数; ———测试方法 技术测试法; ———实施要点: 1) 依据需求文档、设计文档、操作手册等,针对每个功能编制对应的测试用例,执行所有测试 用例,收集和分析测试结果; 2) 依据测试结果,确定检测出不符合需求的功能数,并记为A; 3) 统计需求规格说明中描述的功能总数,并记为B; 4) 根据GB/T29831.2中的对应公式X=1-A/B,计算出度量结果X。 注1:测试前需进行功能分解,得出对应测试的功能数。功能分解可参见GB/T29831.2提供的方法或选择其他合 适的方法。 注2:本度量取决于测试用例是否充分。 注3:为了检测出已实现、但却不够充分的功能,建议对每个功能都用多个规定的任务进行测试。 注4:根据软件的业务功能或逻辑,选用合适的技术(如等价类划分、边界值分析、决策表、因果图、控制流、数据流 等)来设计测试用例。 示例1:密码输入的测试,宜选用等价类划分、边界值分析等技术来设计测试用例。 示例2:涉及软件状态转换的测试,宜选用决策表、因果图等技术来设计测试用例。 5.2 功能实现的完整性 功能实现的完整性的测