Spark项目学习-慕课网日志分析-days4-慕课网日志分析
一 慕课网日志分析实战项目
1）用户行为日志概述
2）离线数据处理架构（数据如何采集，如何清洗，需求处理，写入数据库，可视化）
3）项目需求
4）功能实现
5）Spark on YARN （90%公司将Spark跑在YARN上）
6）性能调优
1. 用户行为日志概述
1）用户行为日志：用户每次访问网站时所有的行为数据（访问、浏览、搜索、点击...）
用户行为轨迹、流量日志
2）通过分析日志可以得到：网站页面访问量，网站粘性，相应推荐
2. 用户行为日志生成渠道
1）Nginx
2）Ajax：页面内的js代码获得用户的访问信息，比如鼠标位置信息
3. 用户行为日志内容
1）IP地址，用户账号，访问的时间和区域
2）所使用的客户端，访问app的哪个模块，链接地址
4.日志数据内容：
1）访问的系统属性：操作系统，浏览器等
2）访问特征：点击的url，从哪个url跳转过来的（referer），页面上的停留时间
3）访问信息：session_id，访问ip（通过ip可以确定地理位置，访问城市）等
5. 用户行为日志分析的意义
1）网站的眼睛:能够知道访问者的信息和对商品的需求
2）网站的神经:
3）网站的大脑
二 离线数据处理架构
1. 流程
1）数据采集 大量数据一般使用Nginx，使用Flume进行采集：web日志写入到HDFS
2）数据清洗：具有部分脏数据（不符合规范），可以采用Spark，Hive，MapReduce，清洗完之后的数据可以存放在HDFS上
3）数据处理：按照我们的需求进行相应业务的统计和分析 可以采用Spark，Hive，MapReduce等
4）数据的处理结果入库：结果可以存放到RDBMS，NoSQL等中
5）数据的可视化：通过图形化展示的方式展现出来，如饼图，柱状图，地图，折线图等：ECharts，HUZ，Zeppelin
三 项目需求
1）统计imooc主站最受欢迎的课程/手记的Top N访问次数 最终结果以可视化展示
2）按照地市统计Imooc主站最受欢迎的Top N课程
1.根据IP地址提取出城市信息
2.窗口函数在Spark SQL中的使用
3）按流量进行统计Imooc主站最受欢迎的TopN课程
四 功能实现
1）imooc网站主站网站格式介绍：需要 访问时间，访问过程耗费流量，访问URL，访问IP地址
2）数据清洗：两个阶段处理
3）第二次清洗
1. 使用Spark SQL解析访问日志
2. 解析出来视频和手记的编号和类型
3. 根据IP解析出城市信息（使用开源项目）
4. 使用Spark SQL将访问时间按天进行分区输出（按照日志中的访问时间进行分区，d,h,m5）
输入：访问时间、访问URL、IP地址、流量信息
输出：URL cmsType（类型） cmsID（编号） 流量 IP 城市信息 访问时间 天
4）使用二叉树查询IP地址数据库
1. git clone 下载到本地
2. 编译下载的项目：mvn clean package -DskipTests 编译成功形成jars
3. 安装Jars包
5）数据清并存储到指定位置
1. patitionBy 是指将输出文件按day进行分区
2. coalesce(1) 是指只输出一个文件 这个是一个调优点