大数据业务流程总结

介绍

最近在接触大数据相关的知识,大概总结了一下整个大数据业务的流程

一:数据源

数据的来源

关系型数据库

 订单表、用户表、地址信息

日志文件

用户行为数据

打开了哪些页面(网页、App),点击了页面上哪些按钮

二:数据采集

常用数据采集导入框架

sqool:用于RDBMS与HDFS之间数据导入与导出

flume:采集日志文件数据,动态采集日志文件,数据流

              flume采集到的数据,一份给HDFS,用于做离线分析;一份给Kafka,实时处理

 kafka:主要用于实时的数据流处理

 flume与kafka都有类似消息队列的机制,来缓存大数据环境处理不了的数据

三:数据存储

常用数据存储框架

HDFS

Hive

HBase

四:数据清洗

即对数据进行过滤,得到具有一定格式的数据源

常用框架(工具)

MapReduce、Hive(ETL)、SparkCore

五:数据分析

对经过数据清洗后的数据进行分析,得到某个指标

常用框架(工具)

MapReduce、Hive、SparkSQL、impala

六:数据展示

即将数据分析后的结果展示出来,也可以理解为数据的可视化

以图或者表具体的形式展示出来

常用工具

Javaweb、帆软、hcharts、echarts

你可能感兴趣的:(Hadoop)