离线计算与实时计算

离线计算?

离线计算:批量(batch)获取数据、批量传输数据、周期性批量计算数据、数据展示

代表技术:sqoop批量导入数据、HDFS批量存储数据、MapReduce批量计算数据、hive批量计算数据

  1. hivesql
  2. 调度平台
  3. hadoop集群运维
  4. 数据清洗(脚本语言)
  5. 元数据管理
  6. 数据稽查
  7. 数据仓库模型架构

流式计算?

流式计算:数据实时产生、数据实时传输、数据实时计算、实时展示

代表技术:Flume实时获取数据、

                  kafka/metaq实时数据存储、

                  storm/JStorm实时数据计算、

                  Redis实时结果缓存、

                  持久化存储(mysql)

离线计算与实时计算区别?

最大的区别:实时收集、实时计算、实时展示

你可能感兴趣的:(编程规则,新手必看,Linux,小东升职记)