187页（10万字）业务和数据中台建设方案2022版

1.1.1.1.1. 按时延分类

1.1.1.1.1.1.1. 准实时接入

针对于T+1模式无法满足业务系统的需求，需要进行准实时同步。准实时同步是指将数据从传统的关系型数据库准实时同步到大数据平台，并对数据进行实时或者准实时分析。借助Oralce GoldenGate（OGG）、IBM Datastage Data Replication（CDC）等软件可以实时地读取关系数据库的日志记录，将这些日志记录写成文件记录到本地，再头通过数据迁移工具进行秒级同步和解析。

1.1.1.1.1.1.2. 实时接入

针对如物联数据、视频数据等具有数据量大、文件数量多、实时产生等特性的数据，有高吞吐、低时延的要求，可通过分布式日志实时采集工具Flume或分布式消息队列工具Kafka实时接入到大数据平台。

1.1.1.1.2. 按数据类型

1.1.1.1.2.1. 政务数据汇聚

 主要是库表接入和文件接入两类。过渡阶段，政务委办局数据由委办局侧业务库推送至部门前置机，再通过数据共享交换系统进入作为原始数据存储。逐步根据需求，将数据接入城市进行治理和建设主题库，实时、主动地读取业务库数据变化，数据再同步至城市。

1.1.1.1.2.2. 物联数据汇聚

智慧城市物联感知设备产生的实时物联数据经过物联平台以API接口方式接入Kafka分布式消息队列系统，再通过实时计算平台进行实时研判、展示，或直接归集入。

1.1.1.1.2.3. 互联数据汇聚

互联网数据服务平台承载互联网数据，互联网区无法访问政务外网。可通过接口方式与政务外网的平台对接，由平台主动抽取互联网区数据，或将互联网区数据推送至互联网区的前置机，再由资源平台通过库表或文件方式主动抽取。

1.1.1.1.2.4. 视频图片汇聚

视频数据主要包括部门影像、非公安影像、公安视频半结构化数据、视频大图小图等，以接口方式接入Kafka分布式消息队列系统，再通过实时计算平台进行实时研判、展示，或直接以归集入NoSQL数据库进行大对象存储。

1.1.1.1.2.5. 地图数据汇聚

栅格数据、矢量数据、空间地理底图、各类图层信息、各类城市运行管理要素数据等。

关注+转发+评论，下载资料请私信。

文章引用的资料均通过互联网等公开渠道合法获取，仅作为行业交流和学习使用，并无任何商业目的。其版权归原资料作者或出版社所有，作者不对所涉及的版权问题承担任何法律责任。若版权方、出版社认为本文章侵权，请立即通知作者删除。