学习有效期:永久观看
学习时长:5749分钟
学习计划:96天
难度:中
技术总监/研发总监
讲师介绍:本系列课程由多位老师共同录制而成,旨在为想要学习Java的用户提供一套系统的成长方案。
本阶段详细介绍了大数据所涉及到的Linux、shell、Hadoop、zookeeper、HadoopHA、Hive、Flume、Kafka、Hbase、Sqoop、Oozie等技术的概念、安装配置、架构原理、数据类型定义、数据操作、存储集群等重点知识点。
第1章:大数据技术之Linux |
1.01-大数据Linux-基本介绍 |
2.02-大数据Linux-发展历程 |
3.03-大数据Linux-和Unix关系 |
4.04-大数据Linux-安装VM |
5.05-大数据Linux-安装Centos的准备工作 |
6.06-大数据Linux-安装Centos的步骤 |
7.07-大数据Linux-Centos终端和联网的说明 |
8.08-大数据Linux_文件系统目录结构 |
9.09-大数据Linux-远程登录XShell5 |
10.10-大数据Linux-远程传输文件XFTP5 |
11.11-大数据Linux-SecureCRT安装使用 |
12.12-大数据Linux-Vi和Vim的使用 |
13.13-大数据Linux-关机重启注销 |
14.14-大数据Linux-用户管理 创建用户指定密码 |
15.15-大数据Linux-用户管理 删除用户 |
16.16-大数据Linux-用户管理 查询切换用户 |
17.17-大数据Linux-用户管理 组的管理 |
18.18-大数据Linux-用户管理 用户和组的配置文件 |
19.19-大数据Linux-实用指令 运行级别和找回root密码 |
20.20-大数据Linux-实用指令 帮助指令 |
21.21-大数据Linux-实用指令 pwd ls cd |
22.22-大数据Linux-实用指令 mkdir rmdir |
23.23-大数据Linux-实用指令 touch cp |
24.24-大数据Linux-实用指令 rm mv |
25.25-大数据Linux-实用指令 cat more less |
26.26-大数据Linux-实用指令 重定向和追加 |
27.27-大数据Linux-实用指令 echo head tail |
28.28-大数据Linux-实用指令 ln history |
29.29-大数据Linux-实用指令 date cal |
30.30-大数据Linux-实用指令 find locate grep 管道符 |
31.31-大数据Linux-实用指令 压缩和解压类指令 |
32.32-大数据Linux-组管理 |
33.33-大数据Linux-权限详细介绍 |
34.34-大数据Linux-权限管理 |
35.35-大数据Linux-权限最佳实践 |
36.36-大数据Linux-任务调度基本说明 |
37.37-大数据Linux-任务调度应用实例 |
38.38-大数据Linux-磁盘分区介绍 |
39.39-大数据Linux-分区 |
40.40-大数据Linux-给Linux添加一块新硬盘 |
41.41-大数据Linux-磁盘查询实用指令 |
42.42-大数据Linux-网络配置原理和说明 |
43.43-大数据Linux-自动获取IP |
44.44-大数据Linux-修改配置文件指定IP |
45.45-大数据Linux-修改Linux主机名 |
46.46-大数据Linux-进程介绍和查询 |
47.47-大数据Linux-进程管理 终止进程 |
48.48-大数据Linux-进程管理 服务管理 |
49.49-大数据Linux-进程管理 监控服务 |
50.50-大数据Linux-RPM包管理 |
51.51-大数据Linux-YUM |
52.52-大数据Linux-企业真实面试题 |
53.53-大数据Linux-结束语-程序人生感悟 |
第2章:大数据技术之Shell |
1.Shell课程介绍 |
2.Shell概述 |
3.Shell解析器 |
4.ShellHelloWorld案例 |
5.Shell多命令操作案例 |
6.Shell系统变量和自定义变量案例 |
7.Shell$n案例 |
8.Shell$#案例 |
9.Shell$※$@案例 |
10.Shell$?案例 |
11.Shell运算符 |
12.Shell条件判断案例 |
13.Shell回顾 |
14.Shellif案例 |
15.ShellCase案例 |
16.ShellFor1案例 |
17.ShellFor2案例 |
18.ShellWhile案例 |
19.ShellRead案例 |
20.ShellBaseName&DirName案例 |
21.Shell自定义函数案例 |
22.ShellCut案例 |
23.ShellSed案例 |
24.ShellAwk案例 |
25.ShellSort案例 |
26.Shell企业真题讲解 |
第3章:大数据技术之Hadoop |
1.课程简介大数据课程 |
2.课程简介Hadoop课程 |
3.入门大数据概念 |
4.入门大数据特点(4V) |
5.入门大数据应用场景 |
6.入门大数据发展前景 |
7.入门大数据部门业务流程分析 |
8.入门大数据部门组织结构(重点) |
9.Hadoop是什么 |
10.Hadoop发展历史 |
11.Hadoop三大发行版本 |
12.Hadoop优势(4高) |
13.Hadoop1-x和2-x区别 |
14.Hadoop组成 |
15.Hadoop大数据技术生态体系 |
16.Hadoop推荐系统框架图 |
17.环境搭建虚拟机准备 |
18.环境搭建JDK安装 |
19.环境搭建Hadoop安装 |
20.环境搭建Hadoop目录结构 |
21.环境搭建Hadoop官网手册 |
22.本地模式Grep官方案例 |
23.本地模式WordCount官方案例 |
24.伪分布式启动HDFS并运行MR程序 |
25.伪分布式Log日志查看和NN格式化前强调 |
26.伪分布式NameNode格式化注意事项 |
27.伪分布式启动YARN并运行MR程序 |
28.伪分布式配置历史服务器 |
29.伪分布式配置日志聚集 |
30.伪分布式配置文件说明 |
31.完全分布式虚拟机环境准备 |
32.完全分布式scp案例 |
33.完全分布式rsync案例 |
34.完全分布式集群分发脚本xsync |
35.完全分布式集群配置 |
36.完全分布式集群单节点启动 |
37.完全分布式集群ssh配置 |
38.完全分布式集群群起 |
39.完全分布式集群文件存储路径说明 |
40.完全分布式集群启动停止方式总结 |
41.每日回顾 |
42.完全分布式RM启动注意事项 |
43.完全分布式Crondtab定时任务调度 |
44.完全分布式集群时间同步 |
45.Hadoop源码编译意义 |
46.Hadoop源码编译说明 |
47.Hadoop源码编译具体流程 |
48.HDFS课程介绍 |
49.HDFS产生背景及定义 |
50.HDFS优缺点 |
51.HDFS组成架构 |
52.HDFS块的大小设置 |
53.HDFSShell命令(开发重点) |
54.HDFS副本数设置 |
55.HDFS客户端环境准备 |
56.HDFS客户端环境测试 |
57.每日回顾 |
58.文件上传案例 |
59.参数优先级说明案例 |
60.文件下载案例 |
61.文件夹删除案例 |
62.修改文件的名称案例 |
63.查看文件的详情案例 |
64.判断是文件还是文件夹案例 |
65.文件IO流上传案例 |
66.文件IO流下载操作案例 |
67.定位读取文件案例 |
68.HDFS写数据流程(面试重点) |
69.HDFS网络拓扑-节点距离计算 |
70.HDFS机架感知-副本存储节点选择 |
71.HDFS读数据流程(面试重点) |
72.HDFSNN和2NN工作机制(面试重点) |
73.HDFSFsimage和Edits解析 |
74.HDFSCheckPoint时间设置 |
75.NN故障处理案例 |
76.HDFS安全模式 |
77.集群安全模式案例 |
78.NN多目录配置案例 |
79.每日回顾 |
80.HDFSDN工作机制(面试重点) |
81.HDFS数据完整性 |
82.HDFS掉线时限参数设置 |
83.服役新节点案例 |
84.添加白名单案例 |
85.黑名单退役案例 |
86.DN多目录配置案例 |
87.HDFS新特性集群间数据拷贝 |
88.HDFS新特性小文件归档案例 |
89.HDFS新特性回收站案例 |
90.HDFS新特性快照管理 |
91.MapReduce课程介绍 |
92.MapReduce概述 |
93.MapReduce优缺点 |
94.MapReduce核心思想 |
95.MapReduce进程 |
96.MapReduce官方案例源码解析和数据类型 |
97.MapReduce编程规范 |
98.MapReduceWordCount案例分析 |
99.MapReduceWordCount案例Mapper |
100.MapReduceWordCount案例Reducer |
101.MapReduceWordCount案例Driver |
102.MapReduceWordCount案例测试 |
103.MapReduceWordCount案例Debug调试 |
104.MapReduceWordCount案例在集群上运行 |
105.每日回顾 |
106.MapReduce序列化概述 |
107.MapReduce序列化自定义步骤 |
108.MapReduce序列化案例分析 |
109.MapReduce序列化案例FlowBean |
110.MapReduce序列化案例Mapper |
111.MapReduce序列化案例Reducer |
112.MapReduce序列化案例Driver |
113.MapReduce序列化案例Debug调试 |
114.MapReduce切片和MapTask并行度决定机制 |
115.MapReduceJob提交流程源码解析 |
116.MapReduceJob切片机制源码解析 |
117.MapReduceFileInputFormat切片机制和配置参数 |
118.MapReduceCombineTextInputFormat理论 |
119.MapReduceCombineTextInputFormat案例 |
120.MapReduceFileInputFormat实现类 |
121.MapReduceTextInputFormat实现类 |
122.每日回顾 |
123.MapReduceKeyValueTextInputFormat案例分析 |
124.MapReduceKeyValueTextInputFormat案例实现 |
125.MapReduceNLineInputFormat案例分析 |
126.MapReduceNLineInputFormat案例实现 |
127.MapReduce自定义InputFormat步骤 |
128.MapReduce自定义InputFormat案例 |
129.MapReduce自定义InputFormat案例Debug |
130.MapReduceInputFormat实现类总结 |
131.MapReduce工作流程(面试重点) |
132.MapReduceShuffle机制(面试重点) |
133.MapReduceHashPartition默认分区 |
134.MapReducePartition分区案例 |
135.MapReducePartition分区案例总结 |
136.每日回顾 |
137.MapReduce回顾分区 |
138.MapReduce排序概述 |
139.MapReduce排序分类 |
140.MapReduce全排序案例分析 |
141.MapReduce全排序案例FlowBean |
142.MapReduce全排序案例Mapper |
143.全排序案例Mapper已处理 |
144.MapReduce全排序案例实现及测试 |
145.MapReduce分区排序案例实现及测试 |
146.MapReduceDebug调试思想 |
147.MapReduceCombiner理论 |
148.MapReduceCombiner案例实现 |
149.MapReduce分组排序案例分析 |
150.MapReduce分组排序案例OrderBean |
151.MapReduce分组排序案例Mapper |
152.MapReduce分组排序案例Driver |
153.MapReduce分组排序案例排序类 |
154.MapReduce分组排序案例调试 |
155.MapReduce分组排序案例扩展 |
156.MapReduceMapTask工作机制(面试重点) |
157.MapReduceReduceTask工作机制(面试重点) |
158.MapReduceReduceTask个数设置 |
159.MapReduceShuffle机制(面试重点) |
160.MapReduce工作流程源码分析 |
161.MapReduceOutPutFormat接口实现类 |
162.MapReduce自定义OutputFormat案例分析 |
163.MapReduce自定义OutputFormat案例实现 |
164.MapReduceReduceJoin理论 |
165.MapReduceReduceJoin案例分析 |
166.MapReduceReduceJoin案例TableBean |
167.MapReduceReduceJoin案例Mapper |
168.MapReduceReduceJoin案例Reduce |
169.MapReduceReduceJoin案例Driver |
170.MapReduceReduceJoin案例Debug和总结 |
171.MapReduceMapJoin案例分析 |
172.MapReduceMapJoin案例缓存文件处理 |
173.MapReduceMapJoin案例测试 |
174.MapReduce计数器应用 |
175.MapReduce数据清洗案例 |
176.MapReduce开发总结 |
177.压缩概述 |
178.压缩MR支持的压缩编码 |
179.压缩方式选择 |
180.压缩位置选择 |
181.压缩参数设置 |
182.压缩压缩案例 |
183.压缩解压缩案例 |
184.压缩Map和Reduce启用压缩案例 |
185.YARN基本架构 |
186.YARN工作机制 |
187.YARN作业提交全流程 |
188.YARN资源调度器 |
189.YARN任务推测执行 |
190.企业调优MR跑的慢的原因 |
191.企业调优MR优化方法 |
192.企业调优HDFS小文件处理 |
193.扩展案例多Job串联案例分析 |
194.扩展案例多Job串联案例第一个Job |
195.扩展案例多Job串联案例完成 |
196.扩展案例TopN案例 |
197.扩展案例找共同粉丝(学生版1) |
198.扩展案例找共同粉丝(学生版2) |
199.Hadoop总结企业真实面试题讲解 |
200.Hadoop总结开发重点 |
第4章:大数据技术之Zookeeper |
1.Zookeeper课程介绍 |
2.Zookeeper概述 |
3.Zookeeper特点 |
4.Zookeeper数据结构 |
5.Zookeeper应用场景 |
6.Zookeeper下载地址 |
7.Zookeeper本地模式安装 |
8.Zookeeper配置参数解读 |
9.Zookeeper选举机制 |
10.Zookeeper节点类型 |
11.Zookeeper分布式安装 |
12.ZookeeperShell命令操作 |
13.ZookeeperStat结构体 |
14.Zookeeper监听器原理 |
15.Zookeeper写数据流程 |
16.Zookeeper创建ZooKeeper客户端 |
17.Zookeeper创建一个节点 |
18.Zookeeper获取子节点并监听节点变化 |
19.Zookeeper判断节点是否存在 |
20.Zookeeper服务器节点动态上下线案例分析 |
21.Zookeeper服务器节点动态上下线案例注册代码 |
22.Zookeeper服务器节点动态上下线案例全部代码实现 |
23.Zookeeper企业面试真题 |
第5章:大数据技术之HadoopHA |
1.HadoopHAHDFS的单点故障 |
2.HadoopHA手动故障转移原理 |
3.HadoopHA手动故障转移配置 |
4.HadoopHA手动故障转移测试 |
5.HadoopHA手动故障转移注意点 |
6.HadoopHA自动故障转移原理 |
7.HadoopHA自动故障转移配置&测试 |
8.HadoopHA自动故障转移上传数据测试 |
9.HadoopHAYARNHA |
10.HadoopHAHDFS联邦概述 |
第6章:大数据技术之Hive |
1.Hive入门课程介绍 |
2.Hive入门是什么 |
3.Hive入门优缺点 |
4.Hive入门架构 |
5.Hive入门与数据库比较 |
6.Hive安装安装与配置 |
7.Hive安装启动 |
8.Hive安装加载本地数据到Hive表 |
9.Hive安装MySQL服务 |
10.Hive安装配置MySQL无主机登录 |
11.Hive安装配置MetaStore到MySQL |
12.Hive安装中常用的交互命令 |
13.Hive安装其他操作命令 |
14.Hive安装常见属性配置 |
15.Hive安装参数配置方式 |
16.Hive安装基本数据类型 |
17.Hive安装复杂数据类型 |
18.Hive安装类型转化 |
19.Hive数据定义创建数据库 |
20.Hive数据定义数据库查询 |
21.Hive数据定义数据库修改 |
22.Hive数据定义数据库删除 |
23.Hive数据定义创建表的语法 |
24.Hive数据定义回顾 |
25.Hive数据定义HiveServer2 |
26.Hive数据定义内部表 |
27.Hive数据定义外部表 |
28.Hive数据定义内外部表转换 |
29.Hive数据定义分区表基本操作 |
30.Hive数据定义二级分区 |
31.Hive数据定义分区表与数据关联的三种方式 |
32.Hive数据定义修改表 |
33.Hive数据操作Load方式加载数据 |
34.Hive数据操作Insert方式加载数据 |
35.Hive数据操作Location方式加载数据 |
36.Hive数据操作Import方式导入数据失败 |
37.Hive数据操作Insert导出数据 |
38.Hive数据操作导出数据的其他方式&Import导入数据成功 |
39.Hive数据操作清空表数据 |
40.Hive数据操作元数据信息 |
41.Hive查询基本查询 |
42.Hive查询常用的基本函数 |
43.Hive查询Where子句查询 |
44.Hive查询逻辑运算符 |
45.Hive查询GroupBy & Having |
46.Hive查询Join操作 |
47.Hive查询回顾(一) |
48.Hive查询回顾(二) |
49.Hive排序OrderBy |
50.Hive排序SortBy |
51.Hive排序DistributeBy |
52.Hive排序ClusterBy |
53.Hive排序总结 |
54.Hive分桶表创建 |
55.Hive分桶抽样查询 |
56.Hive高级给NULL赋值 |
57.Hive高级CaseWhen |
58.Hive高级行转列 |
59.Hive高级列转行 |
60.Hive高级窗口函数需求(一) |
61.Hive高级窗口函数需求(二) |
62.Hive高级窗口函数需求(三) |
63.Hive高级窗口函数需求(四) |
64.Hive高级窗口函数需求(五) |
65.Hive高级回顾 |
66.Hive高级窗口函数回顾 |
67.Hive高级Rank |
68.Hive高级函数介绍 |
69.Hive高级自定义函数 |
70.Hive高级压缩 |
71.Hive高级存储格式介绍 |
72.Hive高级存储格式比较 |
73.Hive高级存储与压缩结合 |
74.Hive优化Fetch抓取 |
75.Hive优化本地模式 |
76.Hive优化小表Join大表 |
77.Hive优化空key处理 |
78.Hive优化MapJoin |
79.Hive优化GroupBy |
80.Hive优化去重统计 |
81.Hive优化行列过滤 |
82.Hive优化动态分区 |
83.Hive优化回顾 |
84.Hive优化数据倾斜 |
85.Hive优化并行执行 |
86.Hive优化严格模式 |
87.Hive优化JVM重用 |
88.Hive优化推测执行&压缩 |
89.Hive优化Explain |
90.谷粒影音需求分析 |
91.谷粒影音Mapper |
92.谷粒影音ETLUtil |
93.谷粒影音Driver |
94.谷粒影音清洗数据 |
95.谷粒影音建表&导入数据 |
96.谷粒影音需求(一) |
97.谷粒影音需求(二) |
98.谷粒影音需求(三) |
99.谷粒影音需求(四) |
100.谷粒影音需求(五) |
101.谷粒影音需求(六) |
102.谷粒影音需求(七) |
103.Hive总结 |
第7章:大数据技术之Flume |
1.Flume课程介绍 |
2.Flume定义 |
3.Flume组成 |
4.Flume拓扑结构 |
5.FlumeAgent内部原理 |
6.Flume快速入门 |
7.Flume监控端口数据官方案例分析 |
8.Flume监控端口数据官方案例实现 |
9.Flume实时读取本地文件到HDFS案例分析 |
10.Flume实时读取本地文件到HDFS案例实现 |
11.Flume实时读取目录文件到HDFS案例分析 |
12.Flume实时读取目录文件到HDFS案例实现 |
13.Flume单数据源多出口案例(一)分析 |
14.Flume单数据源多出口案例(一)实现 |
15.Flume单数据源多出口案例(Sink组)分析 |
16.Flume单数据源多出口案例(Sink组)实现 |
17.Flume多数据源汇总案例分析 |
18.Flume多数据源汇总案例实现 |
19.Flume监控之Ganglia |
20.Flume企业面试题讲解 |
第8章:大数据技术之Kafka |
1.Kafka课程介绍 |
2.Kafka消息队列介绍 |
3.Kafka概念 |
4.Kafka架构 |
5.Kafka集群搭建&启动 |
6.Kafka命令行操作 |
7.Kafka工作流程分析 |
8.Kafka生产数据流程 |
9.Kafka保存数据 |
10.Kafka消费数据 |
11.Kafka回顾 |
12.Kafka生产者API使用 |
13.Kafka带回调函数的生产者 |
14.Kafka自定义分区的生产者 |
15.Kafka高级消费者 |
16.Kafka低级消费者API思路梳理 |
17.Kafka低级API参数设置 |
18.Kafka低级API之获取分区leader |
19.Kafka低级API之获取分区数据 |
20.Kafka低级API之测试 |
21.Kafka扩展 |
22.Kafka拦截器 |
23.KafkaKafkaStream |
24.Kafka与Flume对比及集成 |
第9章:大数据技术之Hbase |
1.HBase课程介绍 |
2.HBase介绍 |
3.HBase特点 |
4.HBase架构 |
5.HBase角色介绍 |
6.HBase安装配置&启动 |
7.HBaseShell操作之增&查 |
8.HBaseShell操作(二) |
9.HBase删除操作执行 |
10.HBase数据结构 |
11.HBase读数据流程 |
12.HBase写流程 |
13.HBase数据Flush&Compact参数 |
14.HBase回顾 |
15.HBase判断表是否存在旧API |
16.HBase判断表是否存在新API |
17.HBase创建表 |
18.HBase删除表 |
19.HBase添加数据 |
20.HBase删除数据 |
21.HBase全表扫描 |
22.HBase获取指定列族:列的数据 |
23.HBase&MR集成官方案例 |
24.HBase自定义MR1之Mapper |
25.HBase自定义MR1之Reducer&Driver |
26.HBase自定义MR1打包测试 |
27.HBase自定义MR2完成 |
28.HBase回顾 |
29.HBaseHive与HBase对比 |
30.HBaseHive&HBase集成(需求一) |
31.HBase向关联表添加数据 |
32.HBaseHive&HBase集成(需求二) |
33.HBase高可用 |
34.HBase预分区 |
35.HBaseRowKey设计 |
36.HBase内存&基础优化 |
37.HBase谷粒微博之需求分析 |
38.HBase谷粒微博之项目构建 |
39.HBase谷粒微博之创建命名空间 |
40.HBase谷粒微博之创建表 |
41.HBase谷粒微博之发布微博 |
42.HBase谷粒微博之关注用户(一) |
43.HBase谷粒微博之关注用户(二) |
44.HBase谷粒微博之关注用户版本问题修复 |
45.HBase回顾(一) |
46.HBase谷粒微博回顾 |
47.HBase谷粒微博之取关用户 |
48.HBase谷粒微博之获取微博内容&过滤器介绍 |
49.HBase谷粒微博之初始化页面微博内容 |
50.HBase谷粒微博之测试 |
第10章:大数据技术之Sqoop |
1.Sqoop课程介绍 |
2.Sqoop安装 |
3.Sqoop全部数据导入 |
4.Sqoop查询导入 |
5.Sqoop导入指定列 |
6.Sqoop查询条件导入 |
7.Sqoop导入数据到Hive |
8.Sqoop导入数据到HBase |
9.Sqoop导出数据 |
10.Sqoop脚本调用 |
第11章:大数据技术之Oozie |
1.Oozie课程介绍 |
2.Oozie功能模块 |
3.Oozie快速部署CDH版本Hadoop |
4.Oozie部署环境准备 |
5.Oozie发布&启动 |
6.Oozie调度Shell脚本案例 |
7.Oozie逻辑调度多个任务案例 |
8.Oozie调度MR任务 |
9.Oozie调度定时任务 |
技术专家系统讲解传授编程思路与实战。
专属社群随时沟通与讲师答疑,扫清学习障碍,自学编程不再难。
超实用资料,覆盖核心知识,关键编程技能,方便练习巩固。(部分讲师考虑到版权问题,暂未上传附件,敬请谅解)
企业常见开发实战案例,带你掌握Python在工作中的不同运用场景。
2019Python开发者大会视频免费观看,送你一个近距离感受互联网大佬的机会。
满足不同场景,开发编程语言系统学习需求,不受空间、地域限制。
【完善的技术体系】
技术成长循序渐进,帮助用户轻松掌握
掌握大数据知识,扎实编码能力
【清晰的课程脉络】
浓缩大牛多年经验,全方位构建出系统化的技术知识脉络,同时注重实战操作。
【仿佛在大厂实习般的课程设计】
课程内容全面提升技术能力,系统学习大厂技术方法论,可复用在日后工作中。
本阶段详细介绍了大数据所涉及到的Linux、shell、Hadoop、zookeeper、HadoopHA、Hive、Flume、Kafka、Hbase、Sqoop、Oozie等技术的概念、安装配置、架构原理、数据类型定义、数据操作、存储集群等重点知识点。