书 书 书犐犆犛 ３５ ． ２４０ 犔 ６７ 中华人民共和国国家标准 犌犅 ／ 犜 ３８６７３ — ２０２０ 信息技术 　 大数据大数据系统基本要求 犐狀犳狅狉犿犪狋犻狅狀狋犲犮犺狀狅犾狅犵狔 — 犅犻犵犱犪狋犪 — 犅犪狊犻犮狉犲狇狌犻狉犲犿犲狀狋狊犳狅狉犫犻犵犱犪狋犪狊狔狊狋犲犿狊 ２０２０  ０４  ２８ 发布 ２０２０  １１  ０１ 实施 国家市场监督管理总局 国家标准化管理委员会 发布书 书 书目 　　 次 前言 Ⅲ ………………………………………………………………………………………………………… １ 　 范围 １ ……………………………………………………………………………………………………… ２ 　 规范性引用文件 １ ………………………………………………………………………………………… ３ 　 术语和定义 １ ……………………………………………………………………………………………… ４ 　 缩略语 １ …………………………………………………………………………………………………… ５ 　 大数据系统框架 ２ ………………………………………………………………………………………… ６ 　 功能要求 ３ ………………………………………………………………………………………………… 　 ６．１ 　 数据收集模块 ３ ……………………………………………………………………………………… 　 ６．２ 　 数据预处理模块 ３ …………………………………………………………………………………… 　 ６．３ 　 数据存储模块 ３ ……………………………………………………………………………………… 　 ６．４ 　 数据处理模块 ４ ……………………………………………………………………………………… 　 ６．５ 　 数据分析模块 ５ ……………………………………………………………………………………… 　 ６．６ 　 数据可视化模块 ６ …………………………………………………………………………………… 　 ６．７ 　 数据访问模块 ６ ……………………………………………………………………………………… 　 ６．８ 　 资源管理模块 ６ ……………………………………………………………………………………… 　 ６．９ 　 系统管理模块 ６ ……………………………………………………………………………………… ７ 　 非功能要求 ６ ……………………………………………………………………………………………… 　 ７．１ 　 可靠性要求 ６ ………………………………………………………………………………………… 　 ７．２ 　 兼容性要求 ７ ………………………………………………………………………………………… 　 ７．３ 　 安全性要求 ７ ………………………………………………………………………………………… 　 ７．４ 　 可扩展性要求 ８ ……………………………………………………………………………………… 　 ７．５ 　 维护性要求 ８ ………………………………………………………………………………………… 　 ７．６ 　 易用性要求 ８ ………………………………………………………………………………………… Ⅰ 犌犅 ／ 犜 ３８６７３ — ２０２０ 前 　　 言 　　 本标准按照 ＧＢ ／ Ｔ１．１ — ２００９ 给出的规则起草 。 请注意本文件的某些内容可能涉及专利 。 本文件的发布机构不承担识别这些专利的责任 。 本标准由全国信息技术标准化技术委员会 （ ＳＡＣ ／ ＴＣ２８ ） 提出并归口 。 本标准起草单位 ： 中国电子技术标准化研究院 、 华为技术有限公司 、 北京大学 、 中国人民大学 、 中兴通讯股份有限公司 、 浪潮电子信息产业股份有限公司 、 阿里云计算有限公司 、 天津南大通用数据技术有限公司 、 北京百分点信息科技有限公司 、 复旦大学 、 南京大学 、 东南大学 、 北京和仲宁信息技术有限公司 、 北京启迪区块链科技发展有限公司 。 本标准主要起草人 ： 梅宏 、 孙文龙 、 杜小勇 、 吴东亚 、 董建 、 张群 、 尹卓 、 许洁 、 李冰 、 李瑛 、 高琨 、 朱松 、 赵江 、 张展新 、 梁佳男 、 赵俊峰 、 符海芳 、 卫凤林 、 孙嘉阳 、 赵菁华 、 陈晋川 、 刘海军 、 孙伟 、 姜育刚 、 周志华 、 张敏灵 。 Ⅲ 犌犅 ／ 犜 ３８６７３ — ２０２０ 信息技术 　 大数据大数据系统基本要求 １ 　 范围 本标准规定了大数据系统的功能要求和非功能要求 。 本标准适用于各类大数据系统要求的设计 、 选型 、 验收和检测 。 ２ 　 规范性引用文件 下列文件对于本文件的应用是必不可少的 。 凡是注日期的引用文件 ， 仅注日期的版本适用于本文 件 。 凡是不注日期的引用文件 ， 其最新版本 （ 包括所有的修改单 ） 适用于本文件 。 ＧＢ ／ Ｔ３５２９５ — ２０１７ 　 信息技术 　 大数据 　 术语 ＧＢ ／ Ｔ３５５８９ — ２０１７ 　 信息技术 　 大数据 　 技术参考模型 ３ 　 术语和定义 ＧＢ ／ Ｔ３５２９５ — ２０１７ 界定的以及下列术语和定义适用于本文件 。 为了便于使用 ， 以下重复列出了 ＧＢ ／ Ｔ３５２９５ — ２０１７ 中的某些术语和定义 。 ３ ． １ 大数据系统 　 犫犻犵犱犪狋犪狊狔狊狋犲犿 实现大数据参考体系结构的全部或部分功能的系统 。 ［ ＧＢ ／ Ｔ３５２９５ — ２０１７ ， 定义 ２．１．１４ ］ ３ ． ２ 分布式计算 　 犱犻狊狋狉犻犫狌狋犲犱犮狅犿狆狌狋犻狀犵 一种覆盖存储层和处理层的 、 用于实现多类型程序设计算法模型的计算模式 。 　　 注 ： 分布式计算结果通常加载到分析环境 。 ＭａｐＲｅｄｕｃｅ 是数据分布式计算中默认的处理构件 。 ［ ＧＢ ／ Ｔ３５２９５ — ２０１７ ， 定义 ２．１．２２ ］ ３ ． ３ 集群 　 犮犾狌狊狋犲狉 一组相互独立的 、 通过高速网络互联的计算机或服务器 。 ３ ． ４ 租户 　 狋犲狀犪狀狋 对一组物理和虚拟资源进行共享访问的一个或多个云服务用户 。 ４ 　 缩略语 下列缩略语适用于本文件 。 １ 犌犅 ／ 犜 ３８６７３ — ２０２０ ＡＰＩ ： 应用程序接口 （ ＡｐｐｌｉｃａｔｉｏｎＰｒｏｇｒａｍｍｉｎｇＩｎｔｅｒｆａｃｅ ） ＣＰＵ ： 中央处理器 （ ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ ） ＤＡＧ ： 有向无环图 （ ＤｉｒｅｃｔｅｄＡｃｙｃｌｉｃＧｒａｐｈ ） ＯＬＡＰ ： 联机分析处理 （ ＯｎＬｉｎｅＡｎａｌｙｔｉｃａｌＰｒｏｃｅｓｓｉｎｇ ） ＲＥＳＴ ： 表述性状态转移 （ ＲｅｐｒｅｓｅｎｔａｔｉｏｎａｌＳｔａｔｅＴｒａｎｓｆｅｒ ） ＳＱＬ ： 结构化查询语言 （ ＳｔｒｕｃｔｕｒｅｄＱｕｅｒｙＬａｎｇｕａｇｅ ） ５ 　 大数据系统框架 ＧＢ ／ Ｔ３５５８９ — ２０１７ 定义了大数据参考架构 ， 如图 １ 所示 。 大数据参考模型是一个通用的大数据 系统概念模型 ， 它表示了通用的 、 与技术无关的大数据系统的逻辑功能构件及构件之间的互操作接口 ， 作为开发各种具体类型大数据应用系统架构的通用技术参考框架 。 图 １ 　 大数据参考架构 本标准参考大数据参考架构逻辑功能构件划分 ， 将大数据系统划分为数据收集 、 数据预处理 、 数据 存储 、 数据处理 、 数据分析 、 数据访问 、 数据可视化 、 资源管理 、 系统管理 ９ 个模块 。 大数据系统框架如 图 ２ 所示 。 ２ 犌犅 ／ 犜 ３８６７３ — ２０２０ 图 ２ 　 大数据系统框架 ６ 　 功能要求 ６ ． １ 　 数据收集模块 数据收集模块要求如下 ： ａ ） 　 应提供数据导入功能 ， 支持结构化数据 、 非结构化数据和半结构化数据导入 ； ｂ ） 　 应支持离线数据导入和实时数据导入 ； ｃ ） 　 应支持全量数据导入和增量数据导入 ； ｄ ） 　 应提供自动定时导入数据功能 ； ｅ ） 　 宜提供开放的数据导入 ＡＰＩ ； ｆ ） 　 宜提供图形界面实现数据导入功能 。 ６ ． ２ 　 数据预处理模块 数据预处理模块要求如下 ： ａ ） 　 应提供数据抽取功能 ， 支持对结构化数据 、 非结构化数据和半结构化数据进行抽取 ； ｂ ） 　 应提供数据清洗功能 ， 支持对不一致数据 、 无效数据 、 缺失数据和重复数据的处理 ； ｃ ） 　 应提供结构化数据的列转换 、 行转换和表转换功能 ； ｄ ） 　 应提供数据加载功能 ， 支持将经过清洗和转换的数据加载到数据分析模块 ； ｅ ） 　 宜提供清洗前后的数据比对功能 ； ｆ ） 　 宜支持非结构化数据的数据转换功能 。 ６ ． ３ 　 数据存储模块 数据存储模块要求如下 ： ａ ） 　 应提供数据存储功能 ， 支持结构化数据 、 非结构化数据和半结构化数据存储 。 ｂ ） 　 应提供与关系型数据库 、 其他文件系统之间交换数据或文件的功能 。 ｃ ） 　 支持分布式文件存储 ， 实现以下功能 ： ３ 犌犅 ／ 犜 ３８６７３ — ２０２０ １ ） 　 应支持文件系统基本操作 ， 包括上传 、 下载 、 读写 、 复制 、 移动 、 删除 、 重命名 、 权限修改等 ； ２ ） 　 应提供数据块多副本存储 、 恢复功能 ； ３ ） 　 宜支持文件快速检索功能 ， 支持数据资源的统一检索 、 编目 、 增加和删除操作 ； ４ ） 　 宜支持数据压缩存储