书 书 书犐犆犛 ３５ ． ２４０ 犔 ６７ 中华人民共和国国家标准 犌犅 ／ 犜 ３８６４３ — ２０２０ 信息技术 　 大数据分析系统功能测试要求 犐狀犳狅狉犿犪狋犻狅狀狋犲犮犺狀狅犾狅犵狔 — 犅犻犵犱犪狋犪 — 犉狌狀犮狋犻狅狀犪犾狋犲狊狋犻狀犵狉犲狇狌犻狉犲犿犲狀狋狊犳狅狉犪狀犪犾狔狋犻犮狊狔狊狋犲犿 ２０２０  ０４  ２８ 发布 ２０２０  １１  ０１ 实施 国家市场监督管理总局 国家标准化管理委员会 发布目 　　 次 前言 Ⅰ ………………………………………………………………………………………………………… １ 　 范围 １ ……………………………………………………………………………………………………… ２ 　 规范性引用文件 １ ………………………………………………………………………………………… ３ 　 术语和定义 １ ……………………………………………………………………………………………… ４ 　 缩略语 １ …………………………………………………………………………………………………… ５ 　 概述 ２ ……………………………………………………………………………………………………… ６ 　 数据准备模块功能测试 ２ ………………………………………………………………………………… 　 ６．１ 　 数据抽取功能测试 ２ ………………………………………………………………………………… 　 ６．２ 　 数据清洗功能测试 ２ ………………………………………………………………………………… 　 ６．３ 　 数据转换功能测试 ２ ………………………………………………………………………………… 　 ６．４ 　 数据加载功能测试 ３ ………………………………………………………………………………… ７ 　 分析支撑模块功能测试 ３ ………………………………………………………………………………… 　 ７．１ 　 查询功能测试 ３ ……………………………………………………………………………………… 　 ７．２ 　 机器学习功能测试 ３ ………………………………………………………………………………… 　 ７．３ 　 统计分析功能测试 ４ ………………………………………………………………………………… 　 ７．４ 　 可视化功能测试 ４ …………………………………………………………………………………… ８ 　 数据分析模块功能测试 ４ ………………………………………………………………………………… 　 ８．１ 　 分析模式测试 ４ ……………………………………………………………………………………… 　 ８．２ 　 分析类型测试 ５ ……………………………………………………………………………………… ９ 　 流程编排模块功能测试 ６ ………………………………………………………………………………… 　 ９．１ 　 工作流管理测试 ６ …………………………………………………………………………………… 　 ９．２ 　 告警和日志测试 ６ …………………………………………………………………………………… 附录 Ａ （ 资料性附录 ） 　 测试示例 ７ ………………………………………………………………………… 犌犅 ／ 犜 ３８６４３ — ２０２０ 前 　　 言 　　 本标准按照 ＧＢ ／ Ｔ１．１ — ２００９ 给出的规则起草 。 请注意本文件的某些内容可能涉及专利 。 本文件的发布机构不承担识别这些专利的责任 。 本标准由全国信息技术标准化技术委员会 （ ＳＡＣ ／ ＴＣ２８ ） 提出并归口 。 本标准起草单位 ： 浪潮电子信息产业股份有限公司 、 中国电子技术标准化研究院 、 中国人民大学 、 上海计算机软件技术开发中心 、 浪潮软件集团有限公司 、 勤智数码科技股份有限公司 、 深圳迅策科技有限公司 、 成都四方伟业软件股份有限公司 、 陕西省信息化工程研究院 、 中国铁道科学研究院集团有限公司 、 平安科技 （ 深圳 ） 有限公司 、 内蒙古大学 、 江苏中数据技术有限公司 、 重庆大数据研究院有限公司 。 本标准主要起草人 ： 赵江 、 苏志远 、 卫凤林 、 张群 、 杜小勇 、 陈敏刚 、 黄先芝 、 公维锋 、 陈文捷 、 蔡立志 、 王建华 、 李正 、 耿大为 、 赵志强 、 颜怀柏 、 顾美营 、 张勇 、 朱志祥 、 马小宁 、 吴艳华 、 赵正阳 、 韩梅 、 李华 、 魏清 、 张海静 、 王东强 。 Ⅰ 犌犅 ／ 犜 ３８６４３ — ２０２０ 信息技术 　 大数据分析系统功能测试要求 １ 　 范围 本标准规定了大数据分析系统的数据准备模块 、 分析支撑模块 、 数据分析模块 、 流程编排模块的功能测试要求 。 本标准适用于指导大数据分析系统的设计 、 开发和交付 。 ２ 　 规范性引用文件 下列文件对于本文件的应用是必不可少的 。 凡是注日期的引用文件 ， 仅注日期的版本适用于本文 件 。 凡是不注日期的引用文件 ， 其最新版本 （ 包括所有的修改单 ） 适用于本文件 。 ＧＢ ／ Ｔ３７７２１ — ２０１９ 　 信息技术 　 大数据分析系统功能要求 ３ 　 术语和定义 ＧＢ ／ Ｔ３７７２１ — ２０１９ 界定的以及下列术语和定义适用于本文件 。 ３ ． １ 大数据分析系统 　 犫犻犵犱犪狋犪犪狀犪犾狔狊犻狊狊狔狊狋犲犿 在大数据存储和处理系统提供的原始数据和计算框架的基础上 ， 集成了一系列数据分析生命周期过 程中所用工具的系统 。 ４ 　 缩略语 下列缩略语适用于本文件 。 ＡＰＩ ： 应用程序接口 （ ＡｐｐｌｉｃａｔｉｏｎＰｒｏｇｒａｍｍｉｎｇＩｎｔｅｒｆａｃｅ ） ＡＵＣ ： ＲＯＣ 曲线下方的面积 （ ＡｒｅａｕｎｄｅｒｔｈｅＲＯＣＣｕｒｖｅ ） ＣＰＵ ： 中央处理器 （ ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ ） ＧＰＵ ： 图形处理器 （ ＧｒａｐｈｉｃｓＰｒｏｃｅｓｓｉｎｇＵｎｉｔ ） ＨＤＦＳ ： 分布式文件系统 （ ＨａｄｏｏｐＤｉｓｔｒｉｂｕｔｅｄＦｉｌｅＳｙｓｔｅｍ ） ＪＳＯＮ ： ＪＳ 对象标记 （ ＪａｖａＳｃｒｉｐｔＯｂｊｅｃｔＮｏｔａｔｉｏｎ ） ＯＬＡＰ ： 联机分析处理 （ ＯｎＬｉｎｅＡｎａｌｙｔｉｃａｌＰｒｏｃｅｓｓｉｎｇ ） ＰＣＡ ： 主成分分析 （ ＰｒｉｎｃｉｐａｌＣｏｍｐｏｎｅｎｔｓＡｎａｌｙｓｉｓ ） ＲＥＳＴ ： 表述性状态转移 （ ＲｅｐｒｅｓｅｎｔａｔｉｏｎａｌＳｔａｔｅＴｒａｎｓｆｅｒ ） ＲＯＣ ： 接受者操作特性 （ ＲｅｃｅｉｖｅｒＯｐｅｒａｔｉｎｇＣｈａｒａｃｔｅｒｉｓｔｉｃ ） ＳＱＬ ： 结构化查询语言 （ ＳｔｒｕｃｔｕｒｅｄＱｕｅｒｙＬａｎｇｕａｇｅ ） ＳＳＤ ： 固态硬盘 （ ＳｏｌｉｄＳｔａｔｅＤｒｉｖｅｓ ） ＸＭＬ ： 可扩展置标语言 （ ＥｘｔｅｎｓｉｂｌｅＭａｒｋｕｐＬａｎｇｕａｇｅ ） １ 犌犅 ／ 犜 ３８６４３ — ２０２０ ５ 　 概述 本标准根据 ＧＢ ／ Ｔ３７７２１ — ２０１９ 规定的大数据分析系统的功能要求 ， 给出了相应的测试要求 。 测试示例参见附录 Ａ 。 ６ 　 数据准备模块功能测试 ６ ． １ 　 数据抽取功能测试 数据抽取功能测试要求如下 ： ａ ） 　 应测试大数据分析系统数据准备模块是否支持按照需求抽取存放在存储系统中的数据 ； ｂ ） 　 应测试大数据分析系统数据准备模块是否对结构化数据 、 非结构化数据提供不同抽取方法 ； ｃ ） 　 应测试大数据分析系统数据准备模块是否提供全量抽取及增量抽取模式 ； ｄ ） 　 应测试大数据分析系统数据准备模块是否支持主动抽取和被动追加 ； ｅ ） 　 应测试大数据分析系统数据准备模块是否支持定时批量抽取 ； ｆ ） 　 应测试大数据分析系统数据准备模块是否支持分布式数据抽取 ， 并测试在数据抽取过程是否实现负载均衡 。 ６ ． ２ 　 数据清洗功能测试 数据清洗功能测试要求如下 ： ａ ） 　 应测试大数据分析系统数据准备模块是否支持数据一致性 ； ｂ ） 　 应通过进行无效数据值删除 、 修正等操作测试大数据分析系统数据准备模块是否支持处理无效值 ； ｃ ） 　 应通过填充缺失值或删除缺失值对应数据条目等操作测试大数据分析系统数据准备模块是否支持处理缺失值 ； ｄ ） 　 应通过合并重复数据或者删除重复数据等操作测试大数据分析系统数据准备模块是否支持处理重复数据 ； ｅ ） 　 应测试大数据分析系统数据准备模块是否提供清洗前后的数据比对功能 ； ｆ ） 　 应测试大数据分析系统数据准备模块是否支持逻辑矛盾 、 关联性验证 、 不合理数据的清洗 。 ６ ． ３ 　 数据转换功能测试 数据转换功能测试要求如下 ： ａ ） 　 应通过对结构化数据进行列转换操作测试大数据分析系统数据准备模块是否支持结构化数据列转换 ； ｂ ） 　 应通过对结构化数据进行行转换操作测试大数据分析系统数据准备模块是否支持结构化数据行转换 ； ｃ ） 　 应通过对结构化数据进行表转换操作测试大数据分析系统数据准备模块是否支持结构化数据表转换 ； ｄ ） 　 应测试大数据分析系统数据准备模块是否支持非结构化数据的结构化处理 ； ｅ ） 　 应测试大数据分析系统数据准备模块是否支持对文本 、 网页类数据的规范化处理 ， 是否支持将文档类数据转化成单一规范形式 ； ｆ ） 　 应通过进行语音和音频输入 ， 检测输入识别结果准确性 ， 测试大数据分析系统数据准备模块是否支持对语音