流计算处理系统入门

时间可以划分成两种

• 处理时间：数据抵达流计算系统开始进行处理的时间。数据被处理的时间。
• 事件时间：被检测系统获得数据的时间。一般用时间戳的方式携带在数据中。

处理时间 晚于 数据事件时间。

流计算框架

1. Hadoop: 批处理框架：
   采集的数据全存入HDFS， 并使用MapReduce进行批处理。处理结果存储在HDFS/分布式数据库中。 需要时候使用Hive查询

2. spark: 微批处理框架。
   将流数据分割成一系列微小的批处理作业。

Spark将数据抽象成DStream, 由弹性分布式数据集RDD进行滑动窗口或数据切分进行管理。每一个微批处理作业都围绕RDD进行处理。