187页10万字智慧城市业务和数据中台建设方案2022版

目  录

1. 建设背景

1.1. 编制依据

1.1.1. 政策文件依据

1.1.2. 技术标准规范

2. 项目建设方案

2.1. 总体框架

2.2. 主要建设内容

2.3. 数据平台

2.3.1. 数据汇聚

2.3.2. 数据治理

2.3.3. 数据质量管理

2.3.4. 数据分析

2.4. 技术平台

2.4.1. 分布式计算引擎

2.4.2. 分布式NewSQL数据库

2.4.3. 大规模搜索引擎

2.4.4. 实时流处理引擎

2.4.5. 分布式交易数据库

2.4.6. 分布式闪存数据库

2.4.7. 分布式图数据库

2.5. 人工智能平台

2.5.1. 智能汇聚模块

2.5.2. 智能赋能模块

2.5.3. 智能研判模块

2.5.4. 运行智能模块和一脸通模块

2.6. 业务平台

2.6.1. 业务平台概述

2.6.2. 统一身份认证

2.6.3. 虚拟卡包平台

2.6.4. 聚合支付平台

2.6.5. 即时通讯平台

2.6.6. 搜索与推送平台

2.6.7. 应用整合网关

2.6.8. 数据共享服务网关

2.6.9. 基础支撑平台

2.6.10. 统一运营平台

2.6.11. 统一运维平台

2.7. 区块链平台

2.7.1. 建设内容

2.7.2. 区块链基础支撑平台

2.7.3. 区块链应用支撑平台

2.8. 精准时空大数据平台

2.8.1. 时空平台

2.9. 数字孪生

2.9.1. 物联感知操控能力

2.9.1.2. 设备管理

2.9.1.3. 远程操控

2.9.1.4. 态势感知

2.9.2. 全要素数字化表达能力

2.9.3. 可视化呈现能力

2.9.4. 数据融合供给能力

2.9.5. 空间分析计算能力

2.9.6. 模拟仿真推演能力

2.9.7. 虚实融合互动能力

2.9.8. 自学习自优化能力

2.9.9. 众创扩展能力

1.1. 总体框架

智慧城市综合管理应用服务平台全面提升数据汇聚、算力、人工智能等基础能力。城市智能中枢包括数据平台、技术平台、业务平台、人工智平台、数据资源中心、区块链平台、精准时空大数据平台、数字孪生、城市大脑。

1.2. 主要建设内容

以打造新型智慧城市标杆为目标，遵从国家提出的新型智慧城市总体技术标准、共性支撑标准、管理保障标准、安全保密等标准规范，结合社会特点和治理需求，形成新型智慧城市建设管理规定、总体技术标准框架、各领域基础数据标准、数据安全保密实施细则和数据共享交换标准。

1.3. 数据平台

1.3.1. 数据汇聚

1.3.1.1.1. 按接汇聚方式

1.3.1.1.1.1. 库表接入

数据在提供方以数据库表结构化方式存储，并以库表方式进行全量或增量数据的接入。通过前置数据库表进行数据交换，各接入单位通过桥接方式获取前置数据库表内容，向前置数据库表目录推送数据。

1.3.1.1.1.2. 文件接入

适用于非结构化资源或更新频率较缓慢的结构化资源的接入。通过前置机文件目录进行数据接入和交换，各接入单位通过桥接方式获取前置机的文件，向前置机文件目录推送数据。

1.3.1.1.1.3. 服务接口

以Web服务作为平台与各接入单位之间数据获取和推送的接口，在平台中代理业务系统提供的Web服务，对外隐藏该Web服务的真实URL，使用代理的URL即可访问业务系统真实的Web 服务，以达到数据接入和交换的目的。

1.3.1.1.1.4. 数据库直连

支持使用DBlink方式进行实时连接将关系型数据库中的数据抽取到离线数据库，同时支持过滤条件下推，在关系型数据库上进行过滤以后再进行抽取，加速抽取和计算的效率。对于原来存储在关系型数据库中的维度表/码表，可以使用dblink的方式进行实时连接计算。

1.3.1.1.2. 按数据量分类

1.3.1.1.2.1. 全量接入

一次性将数据库表中的所有数据交换到目标节点的接入方式。全量接入的优点是交换效率较高，缺点是不能很好的处理增量数据。全量接入要求业务库表应具有主键标识。

全量接入适用于低频率（天、周、月）的，对数据变更时效性不敏感的接入场景，用于在平台建设完成初期进行历史数据的迁移，将大量的基础数据和历史数据导入平台集群。

1.3.1.1.2.2. 增量接入

周期性从数据库表中获取最新数据并交换到目标节点的接入方式。增量接入适用于高频率（秒、分）的、对数据变更时效性敏感的接入场景，用于系统上线后将指定周期时间间隔内的数据导入平台。增量接入的优点是即时接入、增量处理，但需要根据业务场景配置相应的接入策略。增量接入主要有下列三种策略：

1. 时间戳交换：根据业务数据的时间戳变化获取增量数据，并将增量数据交换到目标节点。交换效率高，对前置库性能影响小，但要求业务表必须存在一个时间戳字段，且每次操作数据要对该字段时间戳进行更新。

2. 标识位交换：根据业务表中的标识字段值的变化获取增量数据并将增量数据交换到目标节点。交换效率高，对前置库性能影响小，但要求业务表必须存在标识位字段，业务系统和平台都要维护此字段值的变化。

3. 触发器交换：利用数据库触发器获取增量数据并将增量数据交换到目标节点。数据获取实时性高，能够交换删除操作的数据，但需要在源表上建立触发器，对前置库性能有一定影响。

1.3.1.1.3. 按时延分类

1.3.1.1.3.0.1. 准实时接入

针对于T+1模式无法满足业务系统的需求，需要进行准实时同步。准实时同步是指将数据从传统的关系型数据库准实时同步到大数据平台，并对数据进行实时或者准实时分析。借助Oralce GoldenGate（OGG）、IBM Datastage Data Replication（CDC）等软件可以实时地读取关系数据库的日志记录，将这些日志记录写成文件记录到本地，再头通过数据迁移工具进行秒级同步和解析。

1.3.1.1.3.0.2. 实时接入

针对如物联数据、视频数据等具有数据量大、文件数量多、实时产生等特性的数据，有高吞吐、低时延的要求，可通过分布式日志实时采集工具Flume或分布式消息队列工具Kafka实时接入到大数据平台。

1.3.1.1.4. 按数据类型

1.3.1.1.4.1. 政务数据汇聚

 主要是库表接入和文件接入两类。过渡阶段，政务委办局数据由委办局侧业务库推送至部门前置机，再通过数据共享交换系统进入作为原始数据存储。逐步根据需求，将数据接入城市进行治理和建设主题库，实时、主动地读取业务库数据变化，数据再同步至城市。

1.3.1.1.4.2. 物联数据汇聚

智慧城市物联感知设备产生的实时物联数据经过物联平台以API接口方式接入Kafka分布式消息队列系统，再通过实时计算平台进行实时研判、展示，或直接归集入。

1.3.1.1.4.3. 互联数据汇聚

互联网数据服务平台承载互联网数据，互联网区无法访问政务外网。可通过接口方式与政务外网的平台对接，由平台主动抽取互联网区数据，或将互联网区数据推送至互联网区的前置机，再由资源平台通过库表或文件方式主动抽取。

1.3.1.1.4.4. 视频图片汇聚

视频数据主要包括部门影像、非公安影像、公安视频半结构化数据、视频大图小图等，以接口方式接入Kafka分布式消息队列系统，再通过实时计算平台进行实时研判、展示，或直接以归集入NoSQL数据库进行大对象存储。

文章引用的资料均通过互联网等公开渠道合法获取，仅作为行业交流和学习使用，并无任何商业目的。其版权归原资料作者或出版社所有，本文作者不对所涉及的版权问题承担任何法律责任。若版权方、出版社认为本文章侵权，请立即通知作者删除。