184页10万字智慧城市公共服务中台：业务和数据中台建设方案

目  录

1. 建设背景 1

1.1. 编制依据 1

1.1.1. 政策文件依据 1

1.1.2. 技术标准规范 2

2. 项目建设方案 5

2.1. 总体框架 5

2.2. 主要建设内容 5

2.3. 数据平台 5

2.3.1. 数据汇聚 5

2.3.2. 数据治理 10

2.3.3. 数据质量管理 16

2.3.4. 数据分析 26

2.4. 技术平台 32

2.4.1. 分布式计算引擎 32

2.4.2. 分布式NewSQL数据库 33

2.4.3. 大规模搜索引擎 34

2.4.4. 实时流处理引擎 34

2.4.5. 分布式交易数据库 36

2.4.6. 分布式闪存数据库 37

2.4.7. 分布式图数据库 38

2.5. 人工智能平台 40

2.5.1. 智能汇聚模块 40

2.5.2. 智能赋能模块 41

2.5.3. 智能研判模块 43

2.5.4. 运行智能模块和一脸通模块 44

2.6. 业务平台 48

2.6.1. 业务平台概述 48

2.6.2. 统一身份认证 48

2.6.3. 虚拟卡包平台 64

2.6.4. 聚合支付平台 74

2.6.5. 即时通讯平台 76

2.6.6. 搜索与推送平台 83

2.6.7. 应用整合网关 86

2.6.8. 数据共享服务网关 90

2.6.9. 基础支撑平台 93

2.6.10. 统一运营平台 94

2.6.11. 统一运维平台 100

2.7. 区块链平台 121

2.7.1. 建设内容 121

2.7.2. 区块链基础支撑平台 124

2.7.3. 区块链应用支撑平台 136

2.8. 精准时空大数据平台 140

2.8.1. 时空平台 140

2.9. 数字孪生 168

2.9.1. 物联感知操控能力 168

2.9.1.2. 设备管理 168

2.9.1.3. 远程操控 168

2.9.1.4. 态势感知 168

2.9.2. 全要素数字化表达能力 169

2.9.3. 可视化呈现能力 170

2.9.4. 数据融合供给能力 171

2.9.5. 空间分析计算能力 172

2.9.6. 模拟仿真推演能力 175

2.9.7. 虚实融合互动能力 177

2.9.8. 自学习自优化能力 179

2.9.9. 众创扩展能力 180

1.1.1. 数据治理

1.1.1.1.1. 数据标准管理

1.1.1.1.1.1. 导入外部标准

提供以Excel模板方式，导入外部国家标准或行业标准，支持数据项、数据字典、指标等类型的标准导入，并支持按元模型进行扩展。

1.1.1.1.1.2. 数据标准映射

建立数据库系统到数据标准的映射关系，保证数据标准的落地与执行。

1.1.1.1.1.3. 数据标准编目

支持自定义数据标准目录结构以及内容，并提供相应的查询，浏览和使用页面，对数据编目标准对智慧城市各类数据进行统一编目。

1.1.1.1.1.4. 数据资源关联

支持将数据标准与任意资源进行关联。提供数据标准与元数据、数据资源的关联分析，分析引用指定标准的数据资源分布，以及标准的引用统计。

1.1.1.1.1.5. 数据标准维护

实现标准的维护功能，包括标准新增、变更、审核等功能，支持标准版本管理和比对功能，对标准变更情况进行记录。

1.1.1.1.1.6. 标准格式配置

支持自定义数据标准的存储和展示格式、类型。

数据质量管理是依据数据质量管理规范，为数据质量管理过程提供支持，使得能够根据数据标准匹配检核规则，根据元数据自动匹配检核对象。数据质量管理主要过程包括质量规则配置和数据质量检核，能够解决数据完整性、唯一性、权威性、一致性、合法性等问题。

1.1.1.1.2. 元数据管理

整合中台各个环节的元数据资产，以便进行元数据的浏览和分析，也是形成数据资源管理门户的来源。中台需提供可视化元数据管理工具，满足进行库表元数据的查看，数据之间血缘关系与影响的查看，以及数据之间依赖关系的分析。

1.1.1.1.2.1. 元数据采集

支持自动采集、同步更新元数据，自动化编目和分类组织中日益分散和无序的数据资产，大大降低元数据管理的成本；支持采集和展示主流关系型数据库、分布式数据库、NoSQL数据库和BI等业务系统元数据。

1.1.1.1.2.2. 元数据存储

元数据是中台各组件（HDFS、分析型数据仓库、分布式NoSQL数据库、数据检索组件、实时计算组件等）存放有关数据信息的地方，其用途是用来描述数据，包括创建信息、所属空间、访问权限、类型描述等等。中台需要提供高可用数据库为所有组件提供元数据统一管理存储。

1. HDFS元数据

包含文件名、目录名、父目录信息、文件大小、创建时间、修改时间等文件属性信息，还需包含文件分块情况、复本个数、每个复本所在节点等存储相关信息。

记录数据所属关系，提供用户所属用户、用户组信息，可以标记用户和用户组的权限。

2. 分析型数据库元数据

1) 库级元信息

包含库名、描述信息、创建者、创建时间、库内建表查表权限等。

2) 表级元信息

包含表名、描述信息、创建者、创建时间、所属库、表内字段、表内增删改查权限、删除表权限等。

3) 字段元信息

包含字段名、描述信息、字段类型、默认值、是否为空、用户访问权限等。

3. 分布式NoSQL数据库元数据

指分析型数据库中NoSQL数据库映射表的元数据。类似分析型数据库表级和字段权限，包含表名、表描述信息、创建者、创建时间、所属库、表内字段、表内增删改查权限、删除表权限、字段名、字段描述信息、字段类型、用户访问权限等。

4. 数据检索组件元数据

指分析型数据库中数据检索引擎映射表的元数据。类似分析型数据库表级和字段权限，包含表名、表描述信息、创建者、创建时间、所属库、表内字段、表内增删改查权限、删除表权限、字段名、字段描述信息、字段类型、用户访问权限等。

5. 实时流计算组件元数据

实时流计算有三个核心的概念：流、流任务和流应用。流即数据流，流任务是对一个或多个流数据进行计算并将结果写进一张表的任务，流应用是一个或多个流任务的集合。

1) 流元信息

需包含流名、描述信息、创建者、创建时间、所属库、流内字段、流内增删改查权限、删除流权限等。

2) 流任务元信息

需包含任务名、描述信息、创建者、启动时间、所属库、任务逻辑、启停权限等。

3) 流应用元信息

需包含应用名、描述信息、创建者、创建时间、所属库、应用内流任务信息等。

1.1.1.1.2.3. 元数据操作

通过对元数据库的增、删、改、查操作，为元数据的应用提供各种功能（如数据血缘关系查询等）。

1. 元数据查询

支持对元数据基本信息进行查询与检索，如查询数据库表的数据字典等；

2. 元数据统计

提供元数据统计信息，如元数据使用情况分析、元数据变更、元数据版本和生命周期变化情况等。

3. 元数据稽核

为保证元数据质量，对元数据进行稽核，保证元数据信息的完整性，合理性。

4. 权限管理

负责权限分配、审批，实现对元数据管理模块的数据访问和功能的使用进行有效访问控制。

1.1.1.1.2.4. 元数据维护

提供元数据常规管理能力，包括基本信息、关系、版本的管理维护，以及元数据检核。

1.1.1.1.2.5. 元数据应用

提供多种元数据应用方式，包括元数据检索、查看、历史、变更订阅下载。

1.1.1.1.2.6. 元数据浏览

支持多数据源的资产浏览：HDFS、Mysql、Oracle、DB2、Hive、TeraData、Hbase、Teradata以及第三方报表工具。

1.1.1.1.2.7. 数据地图

通过图形化方式从宏观角度展示企业数据资产系统的关系，有利于用户更好理解系统之间关系。

支持对数据流转情况的展现，展现数据在各层间流转的情况。

实现数据资产总体展现，展示模型总数、存储总量、记录总数、字段数等关键指标，实现层层下钻，从宏观换到微观各个层次的展示数据资产的基本信息，如存储周期、字段数、数据量、数据来源占比和变化趋势等。

1.1.1.1.2.8. 系统管理

为应用提供可靠的基础管理服务，保证上层应用的正常运行。包括系统基本配置管理、权限管理、角色管理等。

1.1.1.1.2.9. 数据血源管理

通过整合分散在各个系统、应用、数据库等不同数据源中的元数据，将它们集中在一起，提供统一的元数据查询管理接口。通过追踪元数据，记录每次元数据转化的输入与输出，能够从表级和列级两个粒度上，描述多表间的关系，为中台中的元数据勾勒出一幅完整的数据流动变化关系图谱，使用户更全面的掌握数据，把握数据变化，从而实现元数据血缘关系分析功能。

提供数据治理子系统，可以实现数据血缘关系分析。数据血缘图以目标对象的第一代祖先为起点，以目标分析对象为终点，按照转化关系逐层扩展。血缘图直观的展示了目标对象的产生过程，包括从哪些表转换而来，经历了哪些转换，从而帮助推测出它在此过程中被赋予的含义，以及会受到的潜在影响。当某数据出现错误或者异常时，我们可通过血缘关系图向上分析锁定问题产生的源头；当对某些数据进行修改时，可通过影响关系图向下分析，得到哪些数据实体中的数据会受到影响。还通过提供列级的访问，将追踪的粒度精确到字段。充分理解并运用这两种图表，将帮助用户在对海量数据进行分析时，降低排查错误的难度，预测并控制即将造成的影响，最终达到提升数据质量的效果。

1.1.1.1.2.10. 视图血缘

支持和主题库的视图的血缘影响分析（包括展示已delete删除的表和视图，支持指定深度展示）。

1.1.1.1.2.11. 表及字段血缘

支持和主题库中各数据库表和字段的血缘分析和影响分析。

1.1.1.1.2.12. 报表血缘

支持对电子表格和仪表盘的血缘和影响分析。

1.1.1.1.2.13. ETL血缘

支持对ETL流程的血缘、影响分析。支持跨数据库实例ETL血缘，支持ETL工具血缘；

1.1.1.1.2.14. 手动编辑血缘信息

支持手动对血缘信息进行增加，删除，修改等操作。

1.1.1.1.2.15. 实时更新血缘信息

自动化实时同步更新血缘、影响数据。

1.1.1.1.3. 数据生命周期管理

数据如同企业任何其他资产一样，也具有生命周期。企业进行大数据治理，就需要管理数据资产，也就是要管理数据的生命周期。数据生命周期管理，需要对数据从产生、存储、维护、使用到消亡的整个过程进行监控和管理。例如，企业数据管理人员需要决定数据如何被创建、如何被修改、如何演变、何种数据应保留在运营和分析系统中、何种数据要予以存档、何种数据要予以删除。数据生命周期管理需要对压缩和存档的政策、工具进行平衡，以降低存储成本，提高绩效。最后，需要结合企业当前业务的需求合理摒弃不再需要的数据。数据先被创建，然后存储、维护和使用，最终被销毁。在其生命周期中，数据可能被提取、导入、导出、迁移、验证、编辑、更新、清洗、转型、转换、整合、隔离、汇总、引用、评审、报告、分析、挖掘、备份、恢复、归档和检索，最终被删除。数据的价值通常体现在使用中，也可能是在未来才有用。数据生命周期的所有阶段都有相关的成本和风险，但只有在“使用”阶段，数据才能够带来商业价值。

基于大数据环境下数据在组织机构业务中的流转情况，定义了数据生命周期的6个阶段，具体各阶段的定义如下：

数据采集：指新的数据产生或现有数据内容发生明显改变或更新的阶段。对于组织机构而言，数据的待机既包含在组织机构内部系统中生成的数据也包含组织机构从外部采集的数据。

数据存储：指非动态数据以任何数字格式进行物理存储的阶段

数据处理：指组织机构在内部针对动态数据进行的一系列活动的组合。

数据传输：指数据在组织机构内部从一个实体金国网络流动到另一个实体的过程。

数据交换：指数据经由组织机构内部与外部组织机构及个人交互过程中提供数据的阶段。

数据销毁：指通过对数据及数据的存储介质通过相应的操作手段，使数据彻底丢失且无法通过任何手段恢复的过程。

特定的数据所经理的生命周期由实际的业务场景所决定，并非所有的数据都会完整的经历6个阶段。

1.1.1.1.1. 质量模型配置

数据质量分析的基本单元，一个质量模型由可以由一套实体表、一套规则以及多套质检方案组成，用户在定义质检方案时，可以根据业务需要选择实体表和规则，方案与方案之间相互独立，互不干扰。通过执行模型下的质检方案，可以得到用户关心的数据质量分析结果，如问题数据明细信息、数据质量分析结果等。

图 质量模型配置

1.1.1.1.1. 质检结果查看

基于质检方案执行过程，反馈每次质检产生的异常数据，根据问题数据所配置的规则提供问题详情、比对及整改重检的能力。结合实际可执行和可实现的原则，分析系统存在的数据质量问题：

l 分析与检测

着重于在数据的定义基础上，利用数据的逻辑和业务规则度数据质量进行检测和分析。

l 整改与重建

着重与在数据的分析和检测基础上，利用起结果对数据，特别是源数据的数据管理提出整改意见，重建数据质量的管理能力。

具体系统方案如下:

图 质检结果查看

1.1. 人工智能平台

人工智能平台将作为智慧城市的人工智能相关场景的能力中心，建设以满足领导者、使用者和社会公众的智慧应用服务。全面实现运行的综合呈现及监测、综合协调及决策支持，有效进行城市的智能管理，智能决策支持，有力支撑新型智慧城市建设。

基于智慧城市统一框架体系，构建一套人工智能平台，将业务、数据和技术融为一体，深度融合新一代信息技术和城市现代化建设，提供领域智能组件和平台，支撑城市全面感知、科学规划、预知预测、精准行动等智慧应用，提升政府管理与服务能力，破解城市发展难题。

人工智能平台由智能汇聚模块、智能赋能模块、智能研判模块、运行智能模块、一脸通模块五大部分组成，从技术层面实现部门之间的业务融合和数据融合，支撑提供跨部门、跨领域的智能业务应用体系建设。

图4-1 人工智能平台

下载完整方案，关注公种号“智慧方案文库”
文章引用的资料均通过互联网等公开渠道合法获取，仅作为行业交流和学习使用，并无任何商业目的。其版权归原资料作者或出版社所有，作者不对所涉及的版权问题承担任何法律责任。若版权方、出版社认为本文章侵权，请立即通知作者删除。