ICS35.080 L77 中华人民共和国国家标准 GB/T29835.3—2013 系 统与软件效率 第3部分:测试方法 Efficiencyofsystemandsoftware—Part3:Testingmethod 2013-11-12发布 2014-02-01实施 中华人民共和国国家质量监督检验检疫总局 中国国家标准化管理委员会发布目 次 前言 Ⅲ ………………………………………………………………………………………………………… 引言 Ⅳ ……………………………………………………………………………………………………… 1 范围 1 ……………………………………………………………………………………………………… 2 规范性引用文件 1 ………………………………………………………………………………………… 3 术语和定义 1 ……………………………………………………………………………………………… 4 效率指标体系测试应用框架 2 …………………………………………………………………………… 4.1 框架体系 2 …………………………………………………………………………………………… 4.2 测试约束 2 …………………………………………………………………………………………… 4.3 结果视图 6 …………………………………………………………………………………………… 4.4 效率指标测试流程 8 ………………………………………………………………………………… 5 时间特性 9 ………………………………………………………………………………………………… 5.1 时间效率 9 …………………………………………………………………………………………… 5.2 处理效率 12 …………………………………………………………………………………………… 6 容量 13 ……………………………………………………………………………………………………… 6.1 用户容量 13 …………………………………………………………………………………………… 6.2 处理容量 15 …………………………………………………………………………………………… 7 资源利用性 19 ……………………………………………………………………………………………… 7.1 CPU利用性 19 ……………………………………………………………………………………… 7.2 内存利用性 20 ………………………………………………………………………………………… 7.3 外存利用性 21 ………………………………………………………………………………………… 7.4 传输利用性 23 ………………………………………………………………………………………… 7.5 I/O设备利用性 24 …………………………………………………………………………………… 附录A(资料性附录) 效率指标体系应用框架裁剪指南 27 ……………………………………………… 参考文献 29 …………………………………………………………………………………………………… ⅠGB/T29835.3—2013 前 言 GB/T29835在《系统与软件效率》总标题下,分为如下三部分: ———第1部分:指标体系; ———第2部分:度量方法; ———第3部分:测试方法。 本部分为GB/T29835的第3部分。 本部分按照GB/T1.1—2009给出的规则起草。 本部分由全国信息技术标准化技术委员会(SAC/TC28)提出并归口。 本部分起草单位:上海鲁齐信息科技有限公司、上海浦东软件平台有限公司、国家应用软件产品质 量监督检验中心、深圳市科脉技术有限公司、中国电子技术标准化研究院、上海宝信软件股份有限公司、 广东软件评测中心、北京邮电大学、珠海南方软件网络评测中心、上海市计算机软件评测重点实验室、上 海嵌入式系统应用工程技术研究中心、南昌金庐软件园软件评测培训有限公司、广州广软信息系统管理 咨询有限公司。 本部分主要起草人:张露莹、李家宏、崔岩、苏盼、欧阳树生、张旸旸、袁玉宇、曾昭志、张苏利、肖正坤、 侯建华、蔡立志、丁志刚、左家平、黄万民、刘新、袁肃蓉、杨金翠、万方、陈芳芳。 ⅢGB/T29835.3—2013 引 言 GB/T29835的本部分提出了系统与软件效率的测试方法。为了使效率指标体系适用于不同的测 试目标和不同的测试要求,本部分扩展了效率指标体系及度量指标的应用方法,提出了效率指标体系测 试应用框架。同时,本部分基于效率指标体系测试应用框架对每个效率指标给出了相应的测试方法和 测试流程,并对效率指标体系测试应用框架在不同的应用情况下的应用方法和裁剪给出指导性建议,便 于用户或者评测人员进行操作。 本部分所列的测试方法并非适用于每个测试场合,进行效率测试的人员可以根据待测试的系统的 特点以及测试目标从本部分中选择适合的指标及其约束进行测试,同时也鼓励测试人员根据测试场合 的不同需要增减或修改度量指标、测试约束、测试方法,从而适应特定的测试需要。 本标准预期的主要使用者包括: a) 软件供方,当: 1) 需要声明软件产品效率特性时; 2) 对照声明的效率特性自行评估其软件产品和系统时; 3) 对软件进行效率相关的产品设计和实现时; b) 为效率符合性证书或标志进行测试时的第三方评测机构; c) 潜在的需方,当: 1) 对即将采购的软件产品的效率要求和现有产品的说明信息进行比较; 2) 需要对产品的效率做进一步的改进或者完善、产品的潜在差错而作必需的更改,实际运行 的环境和采购的环境存在差异时; 3) 检验效率要求是否被满足。 GB/T29835.1《系统与软件效率 第1部分:指标体系》给出了效率指标体系,GB/T29835.2《系 统与软件效率 第2部分:度量方法》给出了如何获得效率指标测量值的度量方法。本部分旨在与 GB/T29835.1和GB/T29835.2联合使用。 ⅣGB/T29835.3—2013 系统与软件效率 第3部分:测试方法 1 范围 GB/T29835的本部分规定了系统与软件效率的测试方法。本方法是在GB/T29835.1的指标体 系和GB/T29835.2的度量方法的基础上,给出效率指标体系中每个效率指标的测试方法。本部分对 效率指标体系的应用方法进行了扩展,提出了效率指标体系测试应用框架,使效率指标体系尽可能满足 各种不同的测试目标和测试需要。 本部分适用于系统与软件的效率测评。 注1:本部分中所指的系统主要是软件系统。 注2:本部分适用于系统与软件通用的效率特性和测试方法,针对特殊类型的系统(如:Web应用系统、嵌入式系统 等),可在本部分提出的效率指标体系测试应用框架和测试方法的基础上进行扩充或剪裁。有关剪裁的方法 参见附录A。 2 规范性引用文件 下列文件对于本文件的应用是必不可少的。凡是注日期的引用文件,仅注日期的版本适用于本文 件。凡是不注日期的引用文件,其最新版本(包括所有的修改单)适用于本文件。 GB/T29835.1 系统与软件效率 第1部分:指标体系 GB/T29835.2 系统与软件效率 第2部分:度量方法 3 术语和定义 GB/T29835.1和GB/T29835.2中界定的以及下列术语和定义适用于本文件。 3.1 测试约束 testrestriction 影响效率指标测试结果的限制条件。 3.2 结果视图 resultview 测试结果的不同展现形式。 注:在本部分中,结果视图表示效率指标测试结果的不同展现形式,反映测试结果不同方面的特性(例如,平均值、 最小值、最大值等)。 3.3 测试周期 testperiod 从启动测试到结束测试之间的时间段。 3.4 有效测试周期 validtestperiod 在测试周期中,满足所规定的测试约束条件的测试时间段。 注:在效率测试中,有效测试周期中获取的测试数据才能够用于计算所规定测试约束条件下的效率指标值。 1GB/T29835.3—2013 4 效率指标体系测试应用框架 4.1 框架体系 系统与软件效率指标体系(见GB/T29835.1)说明了构成系统与软件效率的各个关键特性,效率 指标的度量值可用于反映系统和软件目前达到的效率水平。但对大部分效率测试来说,每个效率指标 的度量值不是唯一的,它依赖于所在环境、用户数量、所针对的操作功能等约束条件,在不同的约束条件 下效率指标将产生不同的度量结果,为了获得不同约束条件下的效率指标度量结果,效率测试需要针对 各种不同的约束条件进行多次测试。另一方面,一个效率指标的测试结果数据通常为一个统计分布或 按时间顺序采集的数据,为了适应不同的结果形式需要,效率指标的度量结果需要不同的统计形式,如 最大值、最小值、平均值等,在具有明确的效率目标的情况下,还需要给出效率指标是否满足效率目标的 判断,即需要判断效率指标的满足度。因此,效率指标体系中的每个效率指标不再对应一个度量公式和 一个度量结果,而是在不同约束条件和结果形式作用下对应为不同的度量公式和度量结果。 效率指标体系测试应用框架是对效率指标体系的扩展应用方法,在应用效率指标体系进行系统和 软件的效率评价时,可将效率指标扩展为针对不同测试对象、不同测试条件的度量项,并可通过不同角 度来展现效率指标测试结果,从而使效率指标体系满足不同的系统类型、不同的效率目标和不同的测试 需求。 效率指标体系测试应用框架的组成要素包括: a) 效率指标体系———反映系统和软件效率的特性及子特性的集合,并通