大数据应用2：日志数据分析处理

理论储备

 

参考文章

https://blog.csdn.net/weixin_38492276/article/details/81630101

http://blog.51cto.com/zero01/2093820

 

用户行为日志

用户每次访问网站时所有的行为数据（访问、浏览、搜索、点击...）用户行为轨迹、流量日志

 

日志数据内容

1）访问的系统属性： 操作系统、浏览器等等

2）访问特征：点击的url、从哪个url跳转过来的(referer)、页面上的停留时间等

3）访问信息：session_id、访问ip(访问城市)等

 

数据样式

2013-05-19 13:00:00 http://www.taobao.com/17/?tracker_u=1624169&type=1 B58W48U4WKZCJ5D1T3Z9ZY88RU7QA7B1 http://hao.360.cn/ 1.196.34.243

 

数据处理流程

1）数据采集

Flume： web日志写入到HDFS

 

2）数据清洗

脏数据

Spark、Hive、MapReduce 或者是其他的一些分布式计算框架

清洗完之后的数据可以存放在HDFS(Hive/Spark SQL)

 

3）数据处理

按照我们的需要进行相应业务的统计和分析

Spark、Hive、MapReduce 或者是其他的一些分布式计算框架

 

4）处理结果入库

结果可以存放到RDBMS、NoSQL

 

5）数据的可视化

通过图形化展示的方式展现出来：饼图、柱状图、地图、折线图

ECharts、HUE、Zeppelin

 

一般的日志处理方式，我们是需要进行分区的，

按照日志中的访问时间进行相应的分区，比如：d,h,m5(每5分钟一个分区)

 

输入：访问时间、访问URL、耗费的流量、访问IP地址信息

输出：URL、cmsType(video/article)、cmsId(编号)、流量、ip、城市信息、访问时间、天

 

需求

需求一：统计imooc主站最受欢迎的课程Top N访问次数

需求二：按地市统计imooc主站最受欢迎的Top N课程

需求三：按流量统计imooc主站最受欢迎的Top N课程

实战操作