大数据Spark “蘑菇云”行动第52课： Spark大型项目广告点击项目数据建模 项目！！！大项目！！！超大型大数据项目！！！

大数据Spark “蘑菇云”行动第52课： Spark大型项目广告点击项目数据建模

 

用户广告点击行为（通过JS或者本地代码发送点击行为到服务器）-》Server接受到数据并把数据放在Flume的监控目录之下-》Flume感知到数据后会把数据放到Kafka中-》Spark Streaming感知到数据的到来并进行处理-》然后把流处理的结构交给例如HBase、Redis、MaySQL等-》通过J2EE等技术把分析结果展示出来并改善业务

 

1，有效的广告点击行为过滤；

 

2，广告的排名，全局性的排名和区域性的广告排名

 

 

3，广告流量的统计分析

 

4，广告收益的统计分析

 

表设计：

1，user_information 用户信息表

 

2, favorite_items  推荐表，推荐哪些商品

 

3, user_click

 用户点击什么广告

 

4,

item_informaiton

商品列表

 

5, blacklist

非法用户列表

 

6, ad_information

 广告本身列表  什么时候 什么地方被点击

 

 

7, top5

 排名前5  什么地方 哪条广告 点击次数多少

 

 

8, ad_trend

广告点击趋势  友盟  用户行为统计  柱状图 每个小时 每天  每7天 每月的广告点击趋势，如百度趋势

 

9, same_day_history

  去年的双11买了什么，今年的双11 将买什么

 生日买什么