视频教程-大数据—电商数仓项目-大数据

大数据—电商数仓项目

尚硅谷讲师，辽宁工程技术大学硕士，曾先后就职于交大思诺、文思海辉、宅急送等知名企业，任项目经理、架构师等职位。具有多年项目开发与管理经验。精通android、c/c++,linux等多种开发语言。技术功能深厚，热衷于新技术的研究。 　　 授课风趣幽默，专治各种疑难bug。

缪传海

¥199.00

立即订阅

扫码下载「CSDN程序员学院APP」，1000+技术好课免费看

APP订阅课程，领取优惠，最少立减5元 ↓↓↓

订阅后：请点击此处观看视频课程

 

视频教程-大数据—电商数仓项目-大数据

学习有效期：永久观看

学习时长：1753分钟

学习计划：30天

难度：高

 

「口碑讲师带队学习，让你的问题不过夜」

讲师姓名：缪传海

高校教师 / 培训机构讲师

讲师介绍：尚硅谷讲师，辽宁工程技术大学硕士，曾先后就职于交大思诺、文思海辉、宅急送等知名企业，任项目经理、架构师等职位。具有多年项目开发与管理经验。精通android、c/c++,linux等多种开发语言。技术功能深厚，热衷于新技术的研究。 　　 授课风趣幽默，专治各种疑难bug。

☛点击立即跟老师学习☚

 

「你将学到什么？」

一、课程简介

随着技术的飞速发展，经过多年的数据积累，各互联网公司已保存了海量的原始数据和各种业务数据，所以数据仓库技术是各大公司目前都需要着重发展投入的技术领域。数据仓库是面向分析的集成化数据环境，为企业所有决策制定过程，提供系统数据支持的战略集合。通过对数据仓库中数据的分析，可以帮助企业改进业务流程、控制成本、提高产品质量等。

二、课程内容

本次精心打造的数仓项目的课程，从项目架构的搭建，到数据采集模块的设计、数仓架构的设计、实战需求实现、即席查询的实现，我们针对国内目前广泛使用的Apache原生框架和CDH版本框架进行了分别介绍，Apache原生框架介绍中涉及到的技术框架包括Flume、Kafka、Sqoop、MySql、HDFS、Hive、Tez、Spark、Presto、Druid等，CDH版本框架讲解包括CM的安装部署、Hadoop、Zookeeper、Hive、Flume、Kafka、Oozie、Impala、HUE、Kudu、Spark的安装配置，透彻了解不同版本框架的区别联系，将大数据全生态系统前沿技术一网打尽。在过程中对大数据生态体系进行了系统的讲解，对实际企业数仓项目中可能涉及到的技术点都进行了深入的讲解和探讨。同时穿插了大量数仓基础理论知识，让你在掌握实战经验的同时能够打下坚实的理论基础。


三、课程目标

本课程以国内电商巨头实际业务应用场景为依托，对电商数仓的常见实战指标以及难点实战指标进行了详尽讲解，具体指标包括：每日、周、月活跃设备明细，留存用户比例，沉默用户、回流用户、流失用户统计，最近连续3周活跃用户统计，最近7天内连续3天活跃用户统计，GMV成交总额分析，转化率及漏斗分析，品牌复购率分析、订单表拉链表的设计等，让学生拥有更直观全面的实战经验。通过对本课程的学习，对数仓项目可以建立起清晰明确的概念，系统全面的掌握各项数仓项目技术，轻松应对各种数仓难题。

四、课程亮点
本课程结合国内多家企业实际项目经验，特别加入了项目架构模块，从集群规模的确定到框架版本选型以及服务器选型，手把手教你从零开始搭建大数据集群。并且总结大量项目实战中会遇到的问题，针对各个技术框架，均有调优实战经验，具体包括：常用Linux运维命令、Hadoop集群调优、Flume组件选型及性能优化、Kafka集群规模确认及关键参数调优。通过这部分学习，助学生迅速成长，获取前沿技术经验，从容解决实战问题。

 

「课程学习目录」

1.数仓项目介绍

2.用户行为采集课程介绍

3.数仓的概念

4.项目需求

5.项目技术选型

6.系统数据流程设计

7.框架版本选型

8.框架版本具体型号

9.服务器选型

10.集群资源规划设计

11.测试集群服务器规划

12.埋点数据基本格式

13.事件日志数据（上）

14.事件日志数据（下）

15.日志生成代码编写

16.Logback日志打印控制

17.服务器准备

18.Hadoop安装

19.项目经验之HDFS参数调优

20.项目经验之支持LZO压缩配置

21.项目经验之HDFS多目录配置

22.项目经验之基准测试

23.Zookeeper安装

24.项目经验之ZK集群启动停止脚本

25.生成测试日志

26.集群日志生成启动脚本

27.集群时间同步修改脚本

28.集群所有进程查看脚本

29.日志采集Flume安装

30.每日回顾

31.Flume组件及配置

32.日志采集Flume配置分析

33.ETL拦截器

34.分类型拦截器

35.日志采集Flume启动停止脚本

36.Kafka集群安装

37.Kafka集群启动停止脚本

38.Kafka Manager安装及脚本

39.项目经验之Kafka压力测试

40.项目经验之Kafka压力测试

41.消费Kafka数据Flume

42.项目经验之Flume内存优化

43.项目经验之Flume组件

44.采集通道启动停止脚本

45.面试题（Linux、Shell、Hadoop）

46.调试经验

47.每日回顾

48.面试题（Flume、Kafka）

49.用户行为数仓课程介绍

50.为什么要分层

51.数仓分层

52.数据集市与数据仓库概念

53.数仓命名规范

54.Hive&MySQL安装

55.Hive运行引擎Tez

56.项目经验之元数据备份

57.ODS层启动日志和事件日志表创建

58.ODS层加载数据脚本

59.ODS层加载数据脚本

60.DWD层启动表加载数据脚本

61.DWD层事件基础明细表创建

62.自定义UDF函数（解析公共字段）

63.自定义UDTF函数（解析事件日志基础明细表）

64.DWD层数据解析脚本

65.DWD层事件表加载数据脚本

66.今日回顾

67.业务术语

68.日期的系统函数

69.每日活跃设备明细

70.每周活跃设备明细

71.每月活跃设备明细

72.DWS层加载数据脚本

73.需求一：ADS层日活、周活、月活用户数

74.每日新增设备明细表

75.需求二：ADS层每日新增设备表

76.用户留存分析

77.1、2、3、n日留存用户明细

78.需求三：ADS层留存用户和留存比率

79.新数据准备

80.需求四：沉默用户

81.需求五：本周回流用户数

82.需求六：流失用户

83.需求七：最近连续3周活跃用户数

84.需求八：最近七天内连续三天活跃用户数

85.用户行为数仓业务总结

86.Hive企业面试题总结

87.业务数仓课程介绍

88.电商业务与数据结构简介

89.表的分类

90.同步策略

91.范式理论

92.雪花模型、星型模型和星座模型

93.配置Hadoop支持Snappy压缩

94.业务数据生成

95.Sqoop安装及参数

96.Sqoop导入数据

97.ODS层建表及数据导入

98.需求讲解

99.DWD层建表及导入数据

100.DWS层之用户行为宽表

101.需求九：GMV成交总额

102.需求十：ADS层之新增用户占日活跃用户比率

103.需求十一：ADS层之用户行为漏斗分析

104.用户购买商品明细表（宽表）

105.需求十二：ADS层品牌复购率

106.需求十三：求每个等级的用户对应的复购率前十的商品排行(学生分享)

107.数据可视化

108.Azkaban安装

109.拉链表制作

110.GMV指标获取的全调度流程

111.拉链表理论

112.业务数仓项目总结

113.即席数仓课程介绍

114.Presto简介

115.Presto安装及使用

116.Presto优化

117.Druid概念、特点、场景

118.Druid对比其他框架

119.Druid数据结构

120.Druid框架原理

121.Druid安装

122.总体架构

123.技术框架

124.用户行为、业务数据、即席查询

125.开发经验

126.课程介绍

127.CM简介及架构

128.CM安装环境准备

129.CM、Hadoop、Zookeeper安装

130.采集Flume的安装

131.Kafka安装

132.测试Flume和Kafka安装

133.消费Flume配置完成

134.Hive、Oozie、Hue安装

135.用户行为数仓ODS层导数据

136.用户行为数仓完结

137.业务数据生成

138.业务数仓完结

139.Oozie执行前准备

140.Oozie任务编写及运行

141.即席查询数仓搭建Impala

142.Spark安装及总结

 

「7项超值权益，保障学习质量」

• 大咖讲解

技术专家系统讲解传授编程思路与实战。

• 答疑服务

专属社群随时沟通与讲师答疑，扫清学习障碍，自学编程不再难。

• 课程资料+课件

超实用资料，覆盖核心知识，关键编程技能，方便练习巩固。（部分讲师考虑到版权问题，暂未上传附件，敬请谅解）

• 常用开发实战

企业常见开发实战案例，带你掌握Python在工作中的不同运用场景。

• 大牛技术大会视频

2019Python开发者大会视频免费观看，送你一个近距离感受互联网大佬的机会。

• APP+PC随时随地学习

满足不同场景，开发编程语言系统学习需求，不受空间、地域限制。

 

「什么样的技术人适合学习？」

• 想进入互联网技术行业，但是面对多门编程语言不知如何选择，0基础的你
• 掌握开发、编程技术单一、冷门，迫切希望能够转型的你
• 想进入大厂，但是编程经验不够丰富，没有竞争力，程序员找工作难。

 

「悉心打造精品好课，30天学到大牛3年项目经验」

【完善的技术体系】

技术成长循序渐进，帮助用户轻松掌握

掌握大数据知识，扎实编码能力

【清晰的课程脉络】

浓缩大牛多年经验，全方位构建出系统化的技术知识脉络，同时注重实战操作。

【仿佛在大厂实习般的课程设计】

课程内容全面提升技术能力，系统学习大厂技术方法论，可复用在日后工作中。

 

「你可以收获什么？」

本次精心打造的数仓项目的课程，从项目架构的搭建

数据采集模块的设计、数仓架构的设计、实战需求实现

 

订阅课程 开始学习