多易教育项目视频大纲文档

本次项目被抄袭的可能性不是太大，因为抄袭的只能是需求，代码只能抄一部分，因为讲几期就有几期不同的代码。来看看项目都讲了什么？

综合项目-模块1-数据仓库-day01

01.项目开发前置知识--git版本管理--gitee码云-提交-拉取-分支操作.wmv

02.项目背景介绍.wmv

03.项目背景介绍（2）.wmv

04.项目模块1-数仓介绍--字典数据构建需求.wmv

05.数据库和数据仓库等概念的厘清.wmv

06.项目开发工程骨架搭建和测试.wmv

07.项目开发--地理位置字典构建--geohash编码原理和工具包.wmv

08.项目开发--地理位置字典构建---代码实现（1）.wmv

09.项目开发--商圈字典构建---代码实现.wmv

10.项目开发--公司内部数据--流量日志详细解析.wmv

11.项目开发--内部数据预处理--需求说明.wmv

12.项目开发--内部数据预处理--代码骨架编写.wmv

13.高德地理位置服务api介绍.wmv

14.高德地理位置服务api-编写demo示例.wmv

综合项目-模块1-数据仓库-day02

01.内部流量日志预处理代码实现（1）.wmv

02.内部流量日志预处理代码实现（2）.wmv

03.内部流量日志预处理代码实现（3）.wmv

04.自定义schema的方式让spark自动解析json数据为dataframe.wmv

05.数仓建模思想阐述--业务--需求--主题--分层.wmv

06.数仓ods层建模--建表--数据加载--检测.wmv

综合项目-模块1-数据仓库-day03 

01.sql关键语法复习梳理.wmv

02.流量分析-dwd_traffic_log表加工生成.wmv

03.流量分析-dwd_traffice_agg_session会话级别明细表.wmv

04.流量分析-流量概况维度报表-ads_traffic_summary_cube.wmv

05.用户分析--建模设计--详细过程.wmv 号外：如何拷贝涛哥的CDH虚拟机集群及网络配置.wmv

号外：补充两个hive的小技能--多重插入-动态分区.wmv

综合项目-模块1-数据仓库-day04

01.olap数据立方体多维分析--hive高阶聚合函数--groupingset--cube.wmv

02.olap数据立方体多维分析--hive高阶聚合函数--grouping__id-rollup.wmv

03.用户分析--日新dws_user_dnu-日活dws_user_dau-历史记录dws_user_hisu-表开发.wmv

04.用户分析--日新人数多维报表-ads_user_dnu_cube.wmv

05.用户分析--日新日活加维度（周-月-季）--自动化shell脚本开发.wmv

06.截止今日的etl流程梳理--自动化脚本开发.wmv

综合项目-模块1-数据仓库-day05

01.勘误：历史用户记录明细表-fulljoin-忘写条件.wmv

02.截止今日所有任务的脚本开发（2）.wmv

03.脚本总调度开发.wmv

04.用户分析--留存分析--建模设计.wmv

05.用户分析--留存分析--留存明细表计算.wmv

06.用户分析--活跃拉链表--建模和计算流程.wmv

07.用户分析--活跃拉链表--代码编写.wmv

综合项目-模块1-数据仓库-day06

01.用户留存分析--建模设计--运算逻辑--拉链表计算逻辑复习梳理.wmv

02.报表开发--整体趋势报表--模型设计--计算流程梳理.wmv

03.报表开发--整体趋势报表--ads_overall_trend开发.wmv

04.报表开发--用户新鲜度报表-ads_user_fresh建模.wmv

05.报表开发--用户新鲜度报表-ads_user_fresh开发.wmv

06.报表开发--用户活跃留存报表-ads_user_act_retention.wmv

07.报表开发--用户活跃留存报表-方案2-with-as必须写在最前.wmv

08.报表开发--活跃用户成分分析报表（连续天数）-ads_user_act_ingredients.wmv

综合项目-模块1-数据仓库-day07

01.报表统计-用户使用间隔分布统计-ads_user_interval-spark任务实现.wmv

02.报表统计-用户使用间隔分布统计-ads_user_interval-sql实现.wmv

03.事件分析主题--事件日志数据获取的背景介绍.wmv

04.事件分析主题--转化率（漏斗模型）概念详解--需求分析.wmv

05.事件分析主题--DWD层建模etl-dwd_event_detail.wmv

06.事件分析--事件概况报表-ads_event_overall.wmv

号外:mapreduce-shuffle环形缓冲区详解.wmv

号外:yarn的三大资源调度策略详解.wmv

综合项目-模块1-数据仓库-day08 

01.访问路径分析-dwd层路径分析明细表-dwd_routes_detail.wmv

02.访问路径分析-ads层路径分析报表-ads_routes_rpts.wmv

03.业务路径转化率分析--建模--计算思路设计.wmv

04.业务路径转化漏斗分析--代码实现-ads_routes_step_detail.wmv

05.广告效果分析主题--DWS及ADS层建模设计.wmv

06.广告效果分析--ads层报表--广告概况报表-ads_ad_overall开发实现.wmv

07.拉新活动效果分析报表.wmv

08.优惠活动效果分析开发实现.wmv

综合项目-模块1-数据仓库-day09 

01.数据迁移工具sqoop-安装-导mysql到hdfs.wmv

02.数据迁移工具sqoop-导mysql到hdfs-指定条件-增量导入-自由查询.wmv

03.数据迁移工具-sqoop-导mysql数据到hive.wmv

04.数据迁移工具-sqoop-导出数据到mysql.wmv

05.业务数据分析--数据迁移--user_info导入脚本开发.wmv

06.数据迁移--脚本开发--销售分析--建模设计.wmv

07.订单分析--成交额分析报表-ads_order_amt_cube.wmv

08.订单分析--GMV多维分析报表.wmv

09.订单分析--品类分析报表.wmv

 

 

 

综合项目-模块2-用户画像-Day01

1. 大数据的各行业应用解析
2. 用户画像项目背景介绍--标签体系解析
3. 用户画像项目--数据介绍--DSP业务部数据
4. 用户画像项目--数据介绍--公司内部数据--DSP业务部数据
5. 用户画像项目--数据介绍--云运营商流量数据
6. 用户画像项目开发整体流程解析
7. 图计算核心概念介绍-图-点-边-有向-有环-度-连通子图-点边数据结构
8. 图计算入门案例--求连通子图
9. 图计算入门案例--求连通子图(2)

综合项目-模块2-用户画像-Day02

1. 图计算入门案例联系2
2. 项目开发-id映射字典-发开需求-计算流程解析
3. 项目开发-id映射字典构建(T日初始构建)
4. 项目开发-id映射字典构建(T+1日)(1)

综合项目-模块2-用户画像-Day03

1. id-mapping代码实现(2)--组id调整
2. Id-mapping代码实现(3)--改造成对真实数据进行计算
3. dsp数据预处理开发(1)
4. 综合项目整体架构流程解析(1)
5. 用户画像-dsp日志预处理-代码实现
6. 用户画像-dsp号外-kpi报表统计
7. 用户画像-dsp号外-kpi报表统计(sql实现版)--dataframe写入mysql

综合项目-模块2-用户画像-Day04

1. 用户画像-doit流量日志预处理
2. 用户画像-doit流量日志预处理(2)
3. 用户画像-cmcc流量日志处理-爬虫背景介绍
4. 爬虫入门-jsoup功能介绍-京东户外品类爬虫实例(1)
5. 爬虫入门-京东户外品类爬取开发(2)

综合项目-模块2-用户画像-Day05

1. 用户画像-预处理-cmcc流量日志预处理
2. 用户画像-标签抽取-标签结构复习-标签编程模型设计
3. 用户画像-标签抽取-标签计算策略流程分析
4. 用户画像-DSP标签抽取-标签分数统计
5. 用户画像-DSP标签抽取-标签按人聚拢(1)
6. 用户画像-DSP标签抽取-标签按gid聚拢(1)
7. 用户画像-DOIT标签抽取-多易标签-数仓统计
8. 用户画像-DOIT标签抽取-多易标签-日志数据抽取
9. 用户画像-DOIT标签抽取-多易标签-数仓报表数据抽取

综合项目-模块2-用户画像-Day06

1. 用户画像-cmcc标签抽取
2. 用户画像-多源标签聚合合并--多层map拼装
3. 用户画像-多源标签聚合合并-标签bean合并-bean转json
4. 用户画像-两日标签衰减合并--需求说明-流程设计
5. 用户画像-两日标签衰减合并-代码实现-标签json化

 

 

推荐算法

综合项目-模块3-推荐算法-Day01

1. 推荐系统导论--热度推荐-画像推荐-算法推荐
2. 机器学习算法导论--knn分类-kmeans聚类-监督学习-无监督学习-半监督学习
3. 机器学习算法核心基础--特征向量模型(稀疏向量-稠密向量)
4. 机器学习算法核心基础--物品向量化实战案例(1)
5. CB推荐-基于内容相似度的推荐算法--实现流程总架构
6. NLP算法模型之--TF-IDF特征值计算--文本向量化
7. NLP算法模型之--TF-IDF文本向量化实战
8. 分类算法--朴素贝叶斯教学思想和公式推导
9. 分类算法--朴素贝叶斯--模型训练和预测代码实现
10. 分类算法--朴素贝叶斯--模型训练和预测代码实现
11. 项目实战--评论数据集的朴素贝叶斯分类

综合项目-模块3-推荐算法-Day02

1. 基于内容相似度推荐计算的流程复习
2. 基于内容相似度推荐--代码实现(1)
3. 基于内容相似度推荐--代码实现(2)
4. 基于内容相似度推荐--代码实现(3)
5. 协同过滤推荐算法--算法思想原理
6. 协同过滤算法--算法代码实现--结果展示
7. 模型标签计算-流失率标签-朴素贝叶斯应用-向量归一化

 

 

综合项目-模块4-Flink实时计算-Day01

1. Flink知识回顾
2. Flink重启策略
3. Flink重启策略测试
4. Flink整合KafkaSource
5. Flink整合KafkaSource实现Exactly-Once
6. Flink整合RedisSink
7. 自定义MysqlSink

综合项目-模块4-Flink实时计算-Day02

1. Flink内容回顾
2. 在集群中提交Flink任务
3. Flink的StandAlone执行流程
4. FlinkOnYarn执行流程详解
5. Flink的Stage划分原理
6. Flink从checkpoint恢复数据
7. 项目工程初始化
8. FlinkUtils工具类封装

综合项目-模块4-Flink实时计算-Day03

1. 复习
2. 实时计算业务架构
3. 实时计算业务架构升级
4. Nginx的安装
5. OpenResty的安装
6. 日志采集服务器
7. 讲Nginx数据采集到Kafka中
8. 日志采集数据测试
9. 数据实时ETL
10. 测流输出
11. 测流输出实现
12. 自定义RedisSink
13. 多维度统计参与次数

综合项目-模块4-Flink实时计算-Day04

1. 知识回顾
2. 实时项目架构梳理
3. canal的简介
4. canal的安装和使用
5. 订单数据分析需求
6. Flink统计订单数据
7. Flink窗口延迟JOIN

综合项目-模块4-Flink实时计算-Day05

1. Flink通过测流输出获取窗口丢失的数据
2. 左join并获取延迟的数据
3. Flink两个流join
4. 订单和明细表中实现
5. 项目知识点回顾
6. ProtoBuffer结合Flink优化