Spark Streaming技术社区网站广告实时点击分析系统—223人已学习
课程介绍
基于社区广告用户实时点击项目进行讲解,偏重于Spark Streaming业务代码实现,解决恶意刷广告行为以及实现广告优投放,提升Spark项目开发经验。 涵盖大数据实时计算一体化的处理流程,包括数据实时接入、数据实时处理以及数据实时可视化。
课程收益
偏重于Spark Streaming业务代码实现,解决恶意刷广告行为以及实现广告最优投放,提升Spark项目开发经验。
讲师介绍
杨帅 更多讲师课程
计算机博士,目前就职于中科院某研究所,长期从事深度学习与机器学习研究工作,在NLP与CV领域有很深造诣,主持多项科技专项,并带领团队深入一线研发并落地,XXX视频监控与分析系统、XXX舆情监控系统、XXX智能对话系统及 XXX森林防火无人机跟拍系统等。申请发明专利2项、部级科技进步二等奖一次,在SIGIR、CIKM及AAAI的国际会议发表多篇文章.
课程大纲
第1章:项目需求分析与设计
1. 项目需求分析与设计 28:19
第2章:项目技术方案与数据库表设计
1. 项目技术方案与数据库表设计 11:03
第3章:项目相关环境配置
1. 项目相关环境配置 23:26
2. Myeclipse安装(补习)----Myeclipse安装 21:38
3. Linux环境准备与配置(补习)----Vmware虚拟机的介绍 5:32
4. Linux环境准备与配置(补习)----Vmware虚拟机的安装 4:36
5. Linux环境准备与配置(补习)----搭建Linux 虚拟机 18:20
6. Linux环境准备与配置(补习)----如何实现虚拟机克隆 7:59
7. Linux环境准备与配置(补习)----克隆多台虚拟机 1:23
8. Linux环境准备与配置(补习)----解决虚拟机克隆完之后主机名问题 11:55
9. Linux环境准备与配置(补习)----解决虚拟机克隆完之后网卡问题 13:23
10. Linux环境准备与配置(补习)----配置静态IP 6:03
11. Linux环境准备与配置(补习)----X-Shell实现虚拟机远程连接 3:50
12. Linux环境准备与配置(补习)----配置主机名和IP之间的对应关系 13:47
13. Linux环境准备与配置(补习)----关闭防火墙 5:07
14. Linux环境准备与配置(补习)----禁用SELinux 4:36
15. Linux环境准备与配置(补习)----配置SSH免密码登录 17:02
16. Linux环境准备与配置(补习)----搭建时间服务器并配置集群自动时钟同步 20:16
17. Hadoop(CDH)分布式集群搭建(补习)----主机和软件规划 18:26
18. Hadoop(CDH)分布式集群搭建(补习)----目录规划 10:00
19. Hadoop(CDH)分布式集群搭建(补习)----SSH免密码登录 23:16
20. Hadoop(CDH)分布式集群搭建(补习)----JDK安装 17:36
21. Hadoop(CDH)分布式集群搭建(补习)----Zookeeper安装 26:05
22. Hadoop(CDH)分布式集群搭建(补习)----HDFS安装前检查 11:54
23. Hadoop(CDH)分布式集群搭建(补习)----HDFS安装简介 17:02
24. Hadoop(CDH)分布式集群搭建(补习)----HDFS核心配置文件配置 55:53
25. Hadoop(CDH)分布式集群搭建(补习)----文件系统初始化 20:17
26. Hadoop(CDH)分布式集群搭建(补习)----HDFS安装系统验证 24:50
27. Hadoop(CDH)分布式集群搭建(补习)----HDFS UI简单介绍HDFS shell操作 12:58
28. Hadoop(CDH)分布式集群搭建(补习)----Hadoop源码安装方式之下载源代码 6:21
29. Hadoop(CDH)分布式集群搭建(补习)----Hadoop源码安装方式之编译环境准备 47:06
30. Hadoop(CDH)分布式集群搭建(补习)----Hadoop源码安装方式之hadoop编译 38:07
31. Hadoop(CDH)分布式集群搭建(补习)----Yarn HA的原理和主机规划 19:16
32. Hadoop(CDH)分布式集群搭建(补习)----YARN(HA)核心配置文件的配置和分发 20:49
33. Hadoop(CDH)分布式集群搭建(补习)----YARN(HA)的启停 30:07
34. Hadoop(CDH)分布式集群搭建(补习)----wordcount实战演练 13:20
35. Spark分布式集群搭建(standalone模式)(补习)----Spark分布式集群搭建(sta 01:41:38
36. Kafka分布式集群部署(补习)----下载Kafka版本并安装 20:50
37. Kafka分布式集群部署(补习)----Kafka集群配置 15:08
38. Kafka分布式集群部署(补习)----启动Kafka依赖于Zookeeper的服务并进行测试 11:35
第4章:统计用户广告点击量
1. 用户广告点击量业务代码开发 48:39
2. 用户广告点击量业务代码测试 22:11
第5章:用户广告点击量数据入库
1. 用户广告点击量业务数据入库 50:03
2. JDBC连接MySQL数据库测试运行 8:25
3. 大数据集群链接和MySQL参数调整 17:34
4. 用户广告点击量入库阶段测试 33:50
第6章:黑名单机制开发
1. 黑名单机制开发(上) 35:10
2. 黑名单机制开发(下) 40:11
3. 黑名单过滤功能完成 50:34
第7章:项目代码重构及优化
1. 代码重构和项目规划 11:19
2. 黑名单过滤的模块测试 16:09
第8章:业务模块一:广告点击量实时统计(地市级)
1. 业务模块(一)-开发 59:43
第9章:业务模块二:热门广告TopN统计(省级)
1. 业务模块(二)-1-业务逻辑开发 37:35
2. 业务模块(二)-2-持久化开发 18:33
第10章:业务模块三:统计广告近1小时点击量趋势
1. 业务模块(三)-近一小时的广告点击趋势实时统计 56:03
第11章:项目整体测试
1. 模块(二)测试 13:05
2. 模块(三)测试 23:24
3. 模块(一)测试 18:41
第12章:Web项目可视化
1. 17大数据项目可视化 18:31
大家可以点击【 查看详情】查看我的课程