书 书 书犐犆犛 ３５ ． ２４０ 犔 ６７ 中华人民共和国国家标准 犌犅 ／ 犜 ３８６７２ — ２０２０ 信息技术 　 大数据 　 接口基本要求 犐狀犳狅狉犿犪狋犻狅狀狋犲犮犺狀狅犾狅犵狔 — 犅犻犵犱犪狋犪 — 犐狀狋犲狉犳犪犮犲犫犪狊犻犮狉犲狇狌犻狉犲犿犲狀狋狊 ２０２０  ０４  ２８ 发布 ２０２０  １１  ０１ 实施 国家市场监督管理总局 国家标准化管理委员会 发布目 　 次 前言 Ⅰ ………………………………………………………………………………………………………… １ 　 范围 １ ……………………………………………………………………………………………………… ２ 　 规范性引用文件 １ ………………………………………………………………………………………… ３ 　 术语和定义 １ ……………………………………………………………………………………………… ４ 　 缩略语 ２ …………………………………………………………………………………………………… ５ 　 接口框架 ２ ………………………………………………………………………………………………… 　 ５．１ 　 概述 ２ ………………………………………………………………………………………………… 　 ５．２ 　 接口 １ ３ ……………………………………………………………………………………………… 　 ５．３ 　 接口 ２ ３ ……………………………………………………………………………………………… 　 ５．４ 　 接口 ３ ４ ……………………………………………………………………………………………… 　 ５．５ 　 接口 ４ ４ ……………………………………………………………………………………………… 　 ５．６ 　 接口 ５ ４ ……………………………………………………………………………………………… ６ 　 基本要求 ４ ………………………………………………………………………………………………… 　 ６．１ 　 总体要求 ４ …………………………………………………………………………………………… 　 ６．２ 　 接口 １ ４ ……………………………………………………………………………………………… 　 ６．３ 　 接口 ２ ５ ……………………………………………………………………………………………… 　 ６．４ 　 接口 ３ ５ ……………………………………………………………………………………………… 　 ６．５ 　 接口 ４ ６ ……………………………………………………………………………………………… 　 ６．６ 　 接口 ５ ６ ……………………………………………………………………………………………… 犌犅 ／ 犜 ３８６７２ — ２０２０ 前 　 言 　　 本标准按照 ＧＢ ／ Ｔ１．１ — ２００９ 给出的规则起草 。 请注意本文件的某些内容可能涉及专利 。 本文件的发布机构不承担识别这些专利的责任 。 本标准由全国信息技术标准化技术委员会 （ ＳＡＣ ／ ＴＣ２８ ） 提出并归口 。 本标准起草单位 ： 华为技术有限公司 、 中国电子技术标准化研究院 、 浪潮电子信息产业股份有限公司 、 浪潮软件集团有限公司 、 智慧神州 （ 北京 ） 科技有限公司 、 美林数据技术股份有限公司 、 深圳讯策科技有限公司 、 北京软件和信息服务交易所有限公司 、 内蒙古大学 、 中电长城网际系统应用有限公司 、 西藏国路安科技股份有限公司 。 本标准主要起草人 ： 光亮 、 符海芳 、 杨彦林 、 王为中 、 尹卓 、 赵江 、 王功明 、 黄先芝 、 张慧敏 、 赵志强 、 刘雪 、 董艳 、 李华 、 闵京华 、 龙祥 、 孙嘉阳 、 李冰 。 Ⅰ 犌犅 ／ 犜 ３８６７２ — ２０２０ 信息技术 　 大数据 　 接口基本要求 １ 　 范围 本标准给出了基于大数据参考架构的接口框架 ， 规定了接口的基本要求 。 本标准适用于指导大数据系统的设计 、 开发和应用部署 。 ２ 　 规范性引用文件 下列文件对于本文件的应用是必不可少的 。 凡是注日期的引用文件 ， 仅注日期的版本适用于本文件 。 凡是不注日期的引用文件 ， 其最新版本 （ 包括所有的修改单 ） 适用于本文件 。 ＧＢ ／ Ｔ３５２９５ — ２０１７ 　 信息技术 　 大数据 　 术语 ＧＢ ／ Ｔ３５５８９ — ２０１７ 　 信息技术 　 大数据 　 技术参考模型 ３ 　 术语和定义 ＧＢ ／ Ｔ３５２９５ — ２０１７ 、 ＧＢ ／ Ｔ３５５８９ — ２０１７ 界定的以及下列术语和定义适用于本文件 。 ３ ． １ 　 图数据 　 犵狉犪狆犺犱犪狋犪 基于图解模型的数据 。 　　 注 ： 图解模型是一种可以呈现数据元素之间关系的大数据记录存储类型 。 ３ ． ２ 地理数据 　 犵犲狅犵狉犪狆犺犻犮犱犪狋犪 与地球某个地点直接或间接相关的数据 。 ［ ＧＢ ／ Ｔ１７６９４ — ２００９ ， 定义 Ｂ．２０６ ］ ３ ． ３ 日志数据 　 犾狅犵犱犪狋犪 　 记录在系统运行中发生的事件的数据 。 ３ ． ４ 时间窗口 　 狋犻犿犲狑犻狀犱狅狑 　 一段连续的时间区间 。 　　 注 ： 用于对数据进行基于时间的分析 。 ３ ． ５ 内存计算 　 犻狀犿犲犿狅狉狔狆狉狅犮犲狊狊犻狀犵 优先使用计算机内存对数据进行计算 、 分析的一种数据处理技术 。 ３ ． ６ 数据同步 　 犱犪狋犪狊狔狀犮犺狉狅狀犻狕犪狋犻狅狀 建立源和目标数据存储之间的一致性的过程 。 １ 犌犅 ／ 犜 ３８６７２ — ２０２０ ４ 　 缩略语 下列缩略语适用于本文件 。 ＡＰＩ ： 应用程序接口 （ ＡｐｐｌｉｃａｔｉｏｎＰｒｏｇｒａｍｍｉｎｇＩｎｔｅｒｆａｃｅ ） ＣＬＩ ： 命令行界面 （ ＣｏｍｍａｎｄＬｉｎｅＩｎｔｅｒｆａｃｅ ） ＤＤＬ ： 数据定义语言 （ ＤａｔａＤｅｆｉｎｉｔｉｏｎＬａｎｇｕａｇｅ ） ＤＭＬ ： 数据操纵语言 （ ＤａｔａＭａｎｉｐｕｌａｔｉｏｎＬａｎｇｕａｇｅ ） ＨＤＦＳ ： 分布式文件系统 （ ＨａｄｏｏｐＤｉｓｔｒｉｂｕｔｅｄＦｉｌｅＳｙｓｔｅｍ ） ＯＬＡＰ ： 在线分析处理 （ ＯｎＬｉｎｅＡｎａｌｙｔｉｃａｌＰｒｏｃｅｓｓｉｎｇ ） ＲＥＳＴ ： 表述性状态转移 （ ＲｅｐｒｅｓｅｎｔａｔｉｏｎａｌＳｔａｔｅＴｒａｎｓｆｅｒ ） ＳＮＭＰ ： 简单网络管理协议 （ ＳｉｍｐｌｅＮｅｔｗｏｒｋＭａｎａｇｅｍｅｎｔＰｒｏｔｏｃｏｌ ） ＳＱＬ ： 结构化查询语言 （ ＳｔｒｕｃｔｕｒｅｄＱｕｅｒｙＬａｎｇｕａｇｅ ） ５ 　 接口框架 ５ ． １ 　 概述 依据 ＧＢ ／ Ｔ３５５８９ — ２０１７ 描述的大数据参考架构 ， 数据提供者将新的数据或信息引入大数据系统 。 数据消费者使用大数据应用提供者提供的应用 。 大数据应用提供者执行数据生命周期操作 ， 以满足系 统协调者定义的需求以及安全和隐私保护需求 。 大数据框架提供者建立一种计算框架 ， 在此框架中执 行转换应用 ， 同时保护数据完整性和隐私 。 在数据提供者 、 数据消费者 、 大数据应用提供者 、 大数据框架 提供者 、 安全和隐私 、 管理模块之间存在丰富的接口 ， 支持模块间的信息传递和互操作 ， 对大数据系统集 成 、 兼容性 、 互操作性有着重要影响 。 模块内的组件间也有接口支持组件间的互操作 。 按照所连接的模 块可以对接口进行分类 。 各类别的接口提供相应的信息传递和交互功能 ， 满足接口使用对象的需求 。 本标准基于 ＧＢ ／ Ｔ３５５８９ — ２０１７ 描述的大数据参考架构 ， 给出接口框架 （ 见图 １ ）， 包含数据提供者 、 数据消费者 、 大数据应用提供者 、 大数据框架提供者 、 安全和隐私 、 管理模块之间的接口 ： 接口 １ 是数据提供者与大数据应用提供者之间的接口 ； 接口 ２ 是数据消费者与大数据应用提供者之间的接口 ； 接口 ３ 是大数据应用提供者与大数据框架提供者之间的接口 ； 接口 ４ 是管理模块与其他模块 （ 数据提供者 、 数据消费者 、 大数据应用提供者 、 大数据框架提供者 、 安全和隐私 ） 间的接口 ； 接口 ５ 是安全和隐私模块与其他模块 （ 数据提供者 、 数据消费者 、 大数据应用提供者 、 大数据框架提 供者 、 管理 ） 间的接口 。 　　 注 ： 本标准不涉及大数据参考架构中的系统协调者与大数据应用提供者间的接口 。 ２ 犌犅 ／ 犜 ３８６７２ — ２０２０ 　　  表示一个模块与多个模块之间的接口 。 图 １ 　 基于大数据参考架构的接口框架 ５ ． ２ 　 接口 １ 一方面 ， 数据提供者通过接口 １ 向大数据应用提供者传送需要分析或处理的数据 ， 包括结构化数据 、 半结构化数据和非结构化数据等各种数据格式 。 另一方面 ， 大数据应用提供者可以通过接口 １ 向数据提供者传递数据请求 。 接口 １ 的常见类别包括但不限于 ： ａ ） 　 数据访问接口 ： 用于实时访问数据提供者的数据信息 ， 包括业务系统访问接口 、 数据库访问接口 、 文件访问接口等各种数据来源接口 ， 可由数据提供者开放二次开发接口 、 从数据提供者应用层面接口重构生成 、 或通过数据库生成数据库表访问接口等方式提供 。 ｂ ） 　 数据采集接口 ： 用于将数据提供者的数据信息按照一定的原则和规则进行获取 ， 并按照指定的方式存储 。 ｃ ） 　 数据核验接口 ： 用于按照数据共享开