大数据之路之交通大数据应用总体架构设计

上期简单介绍了大数据，了解了大数据应用的可行性与必然性，事实上也的确如此，大数据在公共管理（某省的最多跑一次），教育行业(某省交通厅大数据建设)，税务行业(某省税务大数据平台应用建设)，信息管理（某省人口库建设）等等方面都有很多建树，本文以智慧交通为主题介绍下主流大数据应用的总体架构设计

云服务

首先了解下基于云计算的三种服务模式，现在的大数据总体架构基本上都是基于此来设计

云服务架构

 

• IaaS ：基础服务，处在云服务的最底层，是一些基础资源设施，如ECS
• PaaS：平台服务，用户无需关注底层硬件和操作系统技术，可进行不间断的扩展，如容器应用OpenShift
• SaaS：软件服务，可把技术，管理等都交给第三方，在平台上做自己的软件业务，可拿来即用，如我们经常碰到的微信，QQ等

通俗理解拿披萨来说，IaaS是用来烤披萨的烧火炉；PaaS是披萨面饼，你可以在面饼上面放任何你想放的东西来做各种口味披萨；SaaS是包装，用来把披萨按你所需来包装买卖

总体架构

大数据应用平台总体架构

 

 

如图展示了数据从源端接入上云到平台层，再到应用层接入层的整体架构，由于内容过多，这里省略了平台层和应用层之间的数据层架构，下面逐一介绍时会说到这个层次

源端数据层

• 结构：这一层严格意义上还属于云下数据，数据分为三种类型结构化数据，半结构化数据和非结构化数据，由于大数据云计算平台只支持数据，不支持图片影音这些非结构化数据，到时候还需要把这些数据进行标准化结构化
• 类型：按业务来分，数据的类型可分为离线数据(比如财务统计)，准实时数据(比如天气情况)和实时数据(比如实时车流量)，三种数据类型的如何采集和对应到哪个平台，篇幅有限，下篇推文再讲
• 其他：此外采集频率，数据标准，数据合成等细节篇幅有限，下篇推文再讲

平台层

• 存储平台：数据上云需要根据实际业务把数据上云到对应平台，如分析型数据库，大数据平台，文档数据库，对象存储等
• 计算平台：这里主要指大数据离线计算平台，算法平台，部分也有流计算和数据库开发计算
• 应用平台：一些与大数据平台相结合的生态应用平台，如监控管理，Datahub等

数据层

数据层基本架构

数据层由于是多层联合，环环相扣，血缘性很高，叫数据服务平台更为恰当些，这里就是PaaS层，用户可以在这里对标准治理后的数据进行各种加工和分析，然后把输出结果推送到应用层，应用层数据再推送到在线数据库供前端应用调用

数据层根据业务基本上可分为以下层次

 

• 原始层：可更细分几个区，分别存放原始数据，标准清洗后的数据，以及其他层次回馈过来的数据，是云上数据最初始的一层
• 中间层：为了不使数据过度冗余，使平台简洁化，一般数据离线采集都会采用全量+增量=全量的方式，这样只需要第一次上全量，后续按照调度每次上增量即可，故此中间层就可以存放合并后的全量数据供上层调用；此外一些公共数据如代码数据也可以放在这个层
• 应用层：存放各种加工好的应用数据，基础主体数据等，后续直接通过数据集成工具，把该层的应用数据按业务需求按时推送到在线热数据库供前端应用调用

应用层

该层主要是实际业务应用

由于我对交通行业了解不够深入，只能暂时根据自己的思路和轮岗经验提出下面的几个应用，如有过于幼稚和可笑，请见谅

高速公路大数据亮点应用