书 书 书犐犆犛 ３５ ． ２４０ 犔 ６７ /G21 /G22 /G23 /G24 /G25 /G26 /G27 /G27 /G28 /G29 /G2A 犌犅 ／ 犜 ３７７２１ — ２０１９ /G21 /G22 /G23 /G24 　 /G25 /G26 /G27 /G28 /G29 /G2A /G2B /G2C /G2D /G2E /G2F 犐狀犳狅狉犿犪狋犻狅狀狋犲犮犺狀狅犾狅犵狔 — 犉狌狀犮狋犻狅狀犪犾狉犲狇狌犻狉犲犿犲狀狋狊犳狅狉犫犻犵犱犪狋犪犪狀犪犾狔狋犻犮狊狔狊狋犲犿狊 ２０１９  ０８  ３０ /G30 /G31 ２０２０  ０３  ０１ /G32 /G33 /G27 /G28 /G2B /G2C /G2D /G2E /G2F /G30 /G31 /G32 /G21 /G27 /G27 /G28 /G29 /G2A /G33 /G2F /G30 /G34 /G35 /G36 /G30 /G31书 书 书目 　　 次 前言 Ⅲ ………………………………………………………………………………………………………… １ 　 范围 １ ……………………………………………………………………………………………………… ２ 　 规范性引用文件 １ ………………………………………………………………………………………… ３ 　 术语和定义 １ ……………………………………………………………………………………………… ４ 　 缩略语 １ …………………………………………………………………………………………………… ５ 　 总体要求 ２ ………………………………………………………………………………………………… ６ 　 数据准备模块功能要求 ２ ………………………………………………………………………………… 　 ６．１ 　 数据抽取功能要求 ２ ………………………………………………………………………………… 　 ６．２ 　 数据清洗功能要求 ２ ………………………………………………………………………………… 　 ６．３ 　 数据转换功能要求 ３ ………………………………………………………………………………… 　 ６．４ 　 数据加载功能要求 ３ ………………………………………………………………………………… ７ 　 分析支撑模块功能要求 ３ ………………………………………………………………………………… 　 ７．１ 　 查询功能要求 ３ ……………………………………………………………………………………… 　 ７．２ 　 机器学习功能要求 ４ ………………………………………………………………………………… 　 ７．３ 　 统计分析功能要求 ４ ………………………………………………………………………………… 　 ７．４ 　 可视化功能要求 ４ …………………………………………………………………………………… ８ 　 数据分析模块功能要求 ５ ………………………………………………………………………………… 　 ８．１ 　 分析模式 ５ …………………………………………………………………………………………… 　 ８．２ 　 分析类型 ６ …………………………………………………………………………………………… ９ 　 流程编排模块功能要求 ６ ………………………………………………………………………………… 　 ９．１ 　 工作流管理 ６ ………………………………………………………………………………………… 　 ９．２ 　 告警和日志 ６ ………………………………………………………………………………………… 附录 Ａ （ 资料性附录 ） 　 ＳＱＬ 关键字 ７ ……………………………………………………………………… Ⅰ 犌犅 ／ 犜 ３７７２１ — ２０１９ 前 　　 言 　　 本标准按照 ＧＢ ／ Ｔ１．１ — ２００９ 给出的规则起草 。 请注意本文件的某些内容可能涉及专利 。 本文件的发布机构不承担识别这些专利的责任 。 本标准由全国信息技术标准化技术委员会 （ ＳＡＣ ／ ＴＣ２８ ） 提出并归口 。 本标准起草单位 ： 浪潮电子信息产业股份有限公司 、 中国电子技术标准化研究院 、 勤智数码科技股份有限公司 、 杭州海康威视数字技术股份有限公司 、 浪潮软件集团有限公司 、 上海计算机软件技术开发中心 、 新华三技术有限公司 、 天津南大通用数据技术股份有限公司 、 中兴通讯股份有限公司 、 华为技术有限公司 、 星环信息科技 （ 上海 ） 有限公司 、 北京百分点信息科技有限公司 、 北明软件有限公司 、 哈尔滨哈工大大数据通用技术有限公司 、 国网上海市电力公司 、 陕西省信息化工程研究院 、 南京南瑞信息通信科技有限公司 、 广州浪潮大数据研究有限公司 、 杭州中奥科技有限公司 、 科大讯飞股份有限公司 。 本标准主要起草人 ： 苏志远 、 张东 、 赵江 、 卫凤林 、 张群 、 刘宇峰 、 李正 、 赵世范 、 黄先芝 、 王建华 、 陈敏刚 、 刘振宇 、 蔡立志 、 潘子健 、 赵伟 、 孙卡 、 吴文峰 、 刘蔚 、 王东 、 赵华 、 符海芳 、 周洪明 、 孙伟 、 汪疆平 、 王进宏 、 赵志强 、 王刚 、 王宏志 、 郭乃网 、 苏运 、 张勇 、 孙立华 、 汤宁 、 刘广庆 、 沈贝伦 、 陆韵 、 武新 、 张绍勇 、 赵乾 、 李冰 、 尹卓 、 孙嘉阳 。 Ⅲ 犌犅 ／ 犜 ３７７２１ — ２０１９ 信息技术 　 大数据分析系统功能要求 １ 　 范围 本标准规定了大数据分析系统的数据准备模块 、 分析支撑模块 、 数据分析模块和流程编排模块的功能要求 。 本标准适用于大数据分析系统的设计 、 开发和应用部署 。 ２ 　 规范性引用文件 下列文件对于本文件的应用是必不可少的 。 凡是注日期的引用文件 ， 仅注日期的版本适用于本文件 。 凡是不注日期的引用文件 ， 其最新版本 （ 包括所有的修改单 ） 适用于本文件 。 ＧＢ ／ Ｔ３５２９５ — ２０１７ 　 信息技术 　 大数据 　 术语 ３ 　 术语和定义 ＧＢ ／ Ｔ３５２９５ — ２０１７ 界定的以及下列术语和定义适用于本文件 。 ３ ． １ 大数据分析系统 　 犫犻犵犱犪狋犪犪狀犪犾狔狋犻犮狊狔狊狋犲犿狊 在大数据存储和处理系统提供的原始数据和计算框架的基础上 ， 集成了一系列数据分析生存周期过程中所用工具的系统 。 ３ ． ２ 结构化数据 　 狊狋狉狌犮狋狌狉犲犱犱犪狋犪 存储在数据库里 ， 可以用二维表结构表示的数据 。 ３ ． ３ 非结构化数据 　 狌狀狊狋狉狌犮狋狌狉犲犱犱犪狋犪 除了结构化数据之外的没有明确结构约束的数据 。 ３ ． ４ 分布式执行计划 　 犱犻狊狋狉犻犫狌狋犲犱犲狓犲犮狌狋犻狅狀狆犾犪狀 分布式场景下的 ＳＱＬ 查询计划 ， 需要根据数据分布特点将 ＳＱＬ 拆分成多个切片及多个步骤 ， 提供调度给多节点并行执行 。 ４ 　 缩略语 下列缩略语适用于本文件 。 ＡＰＩ ： 应用程序编程接口 （ ＡｐｐｌｉｃａｔｉｏｎＰｒｏｇｒａｍｍｉｎｇＩｎｔｅｒｆａｃｅ ） ＧＰＵ ： 图形处理器 （ ＧｒａｐｈｉｃｓＰｒｏｃｅｓｓｉｎｇＵｎｉｔ ） ＪＳＯＮ ： ＪＳ 对象标记 （ ＪａｖａＳｃｒｉｐｔＯｂｊｅｃｔＮｏｔａｔｉｏｎ ） ＯＬＡＰ ： 联机分析处理 （ ＯｎＬｉｎｅＡｎａｌｙｔｉｃａｌＰｒｏｃｅｓｓｉｎｇ ） ＲＥＳＴ ： 表述性状态转移 （ ＲｅｐｒｅｓｅｎｔａｔｉｏｎａｌＳｔａｔｅＴｒａｎｓｆｅｒ ） １ 犌犅 ／ 犜 ３７７２１ — ２０１９ ＳＱＬ ： 结构化查询语言 （ ＳｔｒｕｃｔｕｒｅｄＱｕｅｒｙＬａｎｇｕａｇｅ ） ＳＳＤ ： 固态硬盘 （ ＳｏｌｉｄＳｔａｔｅＤｒｉｖｅｓ ） ＸＭＬ ： 可扩展置标语言 （ ＥｘｔｅｎｓｉｂｌｅＭａｒｋｕｐＬａｎｇｕａｇｅ ） ５ 　 总体要求 本标准主要从以下 ４ 个方面对大数据分析系统的基本功能做出要求 ： ａ ） 　 数据准备模块的功能要求 ： 对原始数据进行预处理 ， 使数据能被上层分析方法直接使用 ； ｂ ） 　 分析支撑模块的功能要求 ： 提供建立数据模型和应用模型的算法库或者工具库 ； ｃ ） 　 数据分析模块的功能要求 ： 提供数据分析方法或者中间件 ， 将数据准备模块输出的数据以及数 据建模过程中产生的中间数据转变成知识或者决策 ； ｄ ） 　 流程编排模块的功能要求 ： 按照工作流对数据处理生存周期的各环节进行编排 。 各模块间存在相互作用的关系 ， 如图 １ 所示 。 图 １ 　 大数据分析系统框架 ６ 　 数据准备模块功能要求 ６ ． １ 　 数据抽取功能要求 数据抽取模块要求如下 ： ａ ） 　 应支持按照需求将存放在存储系统中的数据进行抽取 ； ｂ ） 　 应提供对结构化数据 、 非结构化数据的不同抽取方法 ； ｃ ） 　 应提供全量抽取及增量抽取模式 ； ｄ ） 　 应支持主动抽取和被动追加 ； ｅ ） 　 应支持定时批量抽取 ； ｆ ） 　 宜支持分布式数据抽取 ， 实现数据抽取过程的负载均衡 。 ６ ． ２ 　 数据清洗功能要求 数据清洗模块要求如下 ： ａ ） 　 应支持数据一致性 ； ２ 犌犅 ／ 犜 ３７７２１ — ２０１９ ｂ ） 　 应支持处理无效值 ， 包括无效数据值的删除 、 修正等 ； ｃ ） 　 应支持处理缺失值 ， 包括缺失值的填充或缺失值对应数据条目的删除等 ； ｄ ） 　 应支持处理重复数据 ， 包括重复数据的合并或者