基于物联网的智慧城市技术架构由传统数据仓库向flink流批一体数据仓库跃升

      过去公司智慧城市项目,由于追求稳定性,数仓基本还是沿用比较成熟的传统数仓,但是随着近两年城市物联网部件的逐渐增多,实时性的需求逐渐增加。目前发现传统数仓架构已经越来越难以满足智慧城市的需求,即使勉强能够支撑,也显得不伦不类。
接下来讲讲本人最近一个智慧城市数据仓库项目:
      本项目实施的背景是浙江某童装业大镇,由于发展迅猛,对智慧城市的需求提上日程。尤其是需要大屏可视化展示全镇面貌,下设经济发展,综合治理,精细化管理,安监管理,数据资产五个主题,其中尤其是精细化管理和安全监管对当地政府意义重大,因为这个涉及到与此同时间推动的社会网格化管理。
      本人通过调研发现,需要精细化管理的车辆,垃圾分类,城管,城市事件,城市部件等数据量并不多,安监系统涉及到的企业数量大概3万多个,最多的企业安全检查明细表大概2000多万,这点数据量在我看来,传统架构的mpp数据库完全能够撑得住。所以决定上传统成熟稳定的数据仓库。架构:
基于物联网的智慧城市技术架构由传统数据仓库向flink流批一体数据仓库跃升_第1张图片

ETL基于kettle,python,perl完全可以胜任。数据服务层通过springboot项目处理第三方实时推送数据,事件类数据,关联维表后推送给前端,指标层通过共享开放平台提供restful接口供前端调用。
未完待续。。。。。。

你可能感兴趣的:(数据仓库技术体系,flink)