大数据架构设计-lambda、kappa、以及delta lake详解

本篇着重从以下几个方面展开说明：

1. 大数据架构的发展史
2. 不同架构的使用场景
3. data lake的优越感
4. 后hadoop时代的架构怎么发展

1、大数据架构的发展史

1.1、技术栈

在搜索整理大数据架构的发展史之前，我必须要指出大数据都包含什么，内在决定了外在表现。
我们知道hadoop其实是一个大象，那么这头大象的五脏六腑包含什么，每个都是什么构造，知道了这些，我们才能说这头大象应该怎么由哪些脏器构成才能实现我们称霸世界的决心呢？

就和我一直在和同事贯彻的思想一样，在学习大数据的时候，必须按照数据的流转来看，我们将数据看做水，为了让水更好的到达田地我们需要修筑一条水渠，就是我们常说的pipline。那么数据流从源头到最终的目的地必须经过的处理过程：

1. 数据接入，包含数据源的管理
2. 数据整合，将不同源的数据做标准化处理，不然黄河是黄河的，小溪是小溪的
3. 数据处理，包含异常数据的过滤、限流等
4. 数据存储，包含存储介质，存储方式等
5. 数据加工，将整合后的数据按照业务的要求进行统一指标加工；
6. 数据服务，将加工后的数据通过接口或者其他形式提供给客户；
7. 数据展示，让客户能直观的看到最终的数据形态；

与此同时，我们还需要一些辅助的管理系统帮助我们更好的建设业务：

1. 数据源管理系统
2. ETL系统
3. 元数据管理服务系统
4. 系统监控系统
5. 异常提示及告警系统

基本上通过上述的步骤，我们就能实现农业现代化。。。。。。当然每个细节中会有很多的技术和知识点需要我们一步一步的进行挖掘、学习和总结。

1.2、架构发展史

lambda架构
lamda架构具体是谁提出的，我也懒得查了，我们只总结中