某网站日志分析系统的项目架构

1、数据采集

利用js代码在页面埋点,抓取信息到web服务器。

2、从web服务器上汇集日志到hdfs(分布式文件系统),这里采取flume组件采集日志。

flume可配置高可靠的,对数据进行脱敏、过滤,数据采集可以实时的,也可以定时采集到hdfs中。

3、使用mapreduce计算框架清洗数据,处理得到点击流模型

4、使用hive创建点击流模型表,这样可以使用hql进行更多维度统计

5、利用azkaban工具进行任务调度

6、分析好的数据利用sqoop导入到mysql、hbase等数据库

7、页面展示

某网站日志分析系统的项目架构_第1张图片

你可能感兴趣的:(某网站日志分析系统的项目架构)