有离线处理和实时计算对比

在大数据的数据处理中:有离线处理和实时计算对比

分别在以下四个方面有所区别
1. 存储,即数据来源

离线一般存储在HDFS,而且数据量大
实时计算的话,一般是消息队列,如kalka,需要实时增加
/修改 记录过来的某一时间内的某一批次的数据

2 处理过程,使用框架

离线:MapReduce: Map + Reduce 
实时:Spark(DStream/SS) 或者 Storm \Flink等其它实时计算框架

3 处理速度,延时差别

离线:速度慢,延迟高,可能要求所决定的吧
实时:速度快,延迟低,有些场景必须实时或者低延时获取数据的结果

4 进程

离线:启动进程,处理完后销毁进行
实时:7*24

你可能感兴趣的:(技术,解决问题)