视频教程-大数据技术-大数据

大数据技术
本系列课程由多位老师共同录制而成,旨在为想要学习Java的用户提供一套系统的成长方案。
Java从入门到进阶
¥1029.00
立即订阅

扫码下载「CSDN程序员学院APP」,1000+技术好课免费看

APP订阅课程,领取优惠,最少立减5元 ↓↓↓

订阅后:请点击此处观看视频课程

 

视频教程-大数据技术-大数据

学习有效期:永久观看

学习时长:5749分钟

学习计划:96天

难度:

 

口碑讲师带队学习,让你的问题不过夜」

讲师姓名:Java从入门到进阶

技术总监/研发总监

讲师介绍:本系列课程由多位老师共同录制而成,旨在为想要学习Java的用户提供一套系统的成长方案。

☛点击立即跟老师学习☚

 

「你将学到什么?」

本阶段详细介绍了大数据所涉及到的Linux、shell、Hadoop、zookeeper、HadoopHA、Hive、Flume、Kafka、Hbase、Sqoop、Oozie等技术的概念、安装配置、架构原理、数据类型定义、数据操作、存储集群等重点知识点。

 

「课程学习目录」

第1章:大数据技术之Linux
1.01-大数据Linux-基本介绍
2.02-大数据Linux-发展历程
3.03-大数据Linux-和Unix关系
4.04-大数据Linux-安装VM
5.05-大数据Linux-安装Centos的准备工作
6.06-大数据Linux-安装Centos的步骤
7.07-大数据Linux-Centos终端和联网的说明
8.08-大数据Linux_文件系统目录结构
9.09-大数据Linux-远程登录XShell5
10.10-大数据Linux-远程传输文件XFTP5
11.11-大数据Linux-SecureCRT安装使用
12.12-大数据Linux-Vi和Vim的使用
13.13-大数据Linux-关机重启注销
14.14-大数据Linux-用户管理 创建用户指定密码
15.15-大数据Linux-用户管理 删除用户
16.16-大数据Linux-用户管理 查询切换用户
17.17-大数据Linux-用户管理 组的管理
18.18-大数据Linux-用户管理 用户和组的配置文件
19.19-大数据Linux-实用指令 运行级别和找回root密码
20.20-大数据Linux-实用指令 帮助指令
21.21-大数据Linux-实用指令 pwd ls cd
22.22-大数据Linux-实用指令 mkdir rmdir
23.23-大数据Linux-实用指令 touch cp
24.24-大数据Linux-实用指令 rm mv
25.25-大数据Linux-实用指令 cat more less
26.26-大数据Linux-实用指令 重定向和追加
27.27-大数据Linux-实用指令 echo head tail
28.28-大数据Linux-实用指令 ln history
29.29-大数据Linux-实用指令 date cal
30.30-大数据Linux-实用指令 find locate grep 管道符
31.31-大数据Linux-实用指令 压缩和解压类指令
32.32-大数据Linux-组管理
33.33-大数据Linux-权限详细介绍
34.34-大数据Linux-权限管理
35.35-大数据Linux-权限最佳实践
36.36-大数据Linux-任务调度基本说明
37.37-大数据Linux-任务调度应用实例
38.38-大数据Linux-磁盘分区介绍
39.39-大数据Linux-分区
40.40-大数据Linux-给Linux添加一块新硬盘
41.41-大数据Linux-磁盘查询实用指令
42.42-大数据Linux-网络配置原理和说明
43.43-大数据Linux-自动获取IP
44.44-大数据Linux-修改配置文件指定IP
45.45-大数据Linux-修改Linux主机名
46.46-大数据Linux-进程介绍和查询
47.47-大数据Linux-进程管理 终止进程
48.48-大数据Linux-进程管理 服务管理
49.49-大数据Linux-进程管理 监控服务
50.50-大数据Linux-RPM包管理
51.51-大数据Linux-YUM
52.52-大数据Linux-企业真实面试题
53.53-大数据Linux-结束语-程序人生感悟
第2章:大数据技术之Shell
1.Shell课程介绍
2.Shell概述
3.Shell解析器
4.ShellHelloWorld案例
5.Shell多命令操作案例
6.Shell系统变量和自定义变量案例
7.Shell$n案例
8.Shell$#案例
9.Shell$※$@案例
10.Shell$?案例
11.Shell运算符
12.Shell条件判断案例
13.Shell回顾
14.Shellif案例
15.ShellCase案例
16.ShellFor1案例
17.ShellFor2案例
18.ShellWhile案例
19.ShellRead案例
20.ShellBaseName&DirName案例
21.Shell自定义函数案例
22.ShellCut案例
23.ShellSed案例
24.ShellAwk案例
25.ShellSort案例
26.Shell企业真题讲解
第3章:大数据技术之Hadoop
1.课程简介大数据课程
2.课程简介Hadoop课程
3.入门大数据概念
4.入门大数据特点(4V)
5.入门大数据应用场景
6.入门大数据发展前景
7.入门大数据部门业务流程分析
8.入门大数据部门组织结构(重点)
9.Hadoop是什么
10.Hadoop发展历史
11.Hadoop三大发行版本
12.Hadoop优势(4高)
13.Hadoop1-x和2-x区别
14.Hadoop组成
15.Hadoop大数据技术生态体系
16.Hadoop推荐系统框架图
17.环境搭建虚拟机准备
18.环境搭建JDK安装
19.环境搭建Hadoop安装
20.环境搭建Hadoop目录结构
21.环境搭建Hadoop官网手册
22.本地模式Grep官方案例
23.本地模式WordCount官方案例
24.伪分布式启动HDFS并运行MR程序
25.伪分布式Log日志查看和NN格式化前强调
26.伪分布式NameNode格式化注意事项
27.伪分布式启动YARN并运行MR程序
28.伪分布式配置历史服务器
29.伪分布式配置日志聚集
30.伪分布式配置文件说明
31.完全分布式虚拟机环境准备
32.完全分布式scp案例
33.完全分布式rsync案例
34.完全分布式集群分发脚本xsync
35.完全分布式集群配置
36.完全分布式集群单节点启动
37.完全分布式集群ssh配置
38.完全分布式集群群起
39.完全分布式集群文件存储路径说明
40.完全分布式集群启动停止方式总结
41.每日回顾
42.完全分布式RM启动注意事项
43.完全分布式Crondtab定时任务调度
44.完全分布式集群时间同步
45.Hadoop源码编译意义
46.Hadoop源码编译说明
47.Hadoop源码编译具体流程
48.HDFS课程介绍
49.HDFS产生背景及定义
50.HDFS优缺点
51.HDFS组成架构
52.HDFS块的大小设置
53.HDFSShell命令(开发重点)
54.HDFS副本数设置
55.HDFS客户端环境准备
56.HDFS客户端环境测试
57.每日回顾
58.文件上传案例
59.参数优先级说明案例
60.文件下载案例
61.文件夹删除案例
62.修改文件的名称案例
63.查看文件的详情案例
64.判断是文件还是文件夹案例
65.文件IO流上传案例
66.文件IO流下载操作案例
67.定位读取文件案例
68.HDFS写数据流程(面试重点)
69.HDFS网络拓扑-节点距离计算
70.HDFS机架感知-副本存储节点选择
71.HDFS读数据流程(面试重点)
72.HDFSNN和2NN工作机制(面试重点)
73.HDFSFsimage和Edits解析
74.HDFSCheckPoint时间设置
75.NN故障处理案例
76.HDFS安全模式
77.集群安全模式案例
78.NN多目录配置案例
79.每日回顾
80.HDFSDN工作机制(面试重点)
81.HDFS数据完整性
82.HDFS掉线时限参数设置
83.服役新节点案例
84.添加白名单案例
85.黑名单退役案例
86.DN多目录配置案例
87.HDFS新特性集群间数据拷贝
88.HDFS新特性小文件归档案例
89.HDFS新特性回收站案例
90.HDFS新特性快照管理
91.MapReduce课程介绍
92.MapReduce概述
93.MapReduce优缺点
94.MapReduce核心思想
95.MapReduce进程
96.MapReduce官方案例源码解析和数据类型
97.MapReduce编程规范
98.MapReduceWordCount案例分析
99.MapReduceWordCount案例Mapper
100.MapReduceWordCount案例Reducer
101.MapReduceWordCount案例Driver
102.MapReduceWordCount案例测试
103.MapReduceWordCount案例Debug调试
104.MapReduceWordCount案例在集群上运行
105.每日回顾
106.MapReduce序列化概述
107.MapReduce序列化自定义步骤
108.MapReduce序列化案例分析
109.MapReduce序列化案例FlowBean
110.MapReduce序列化案例Mapper
111.MapReduce序列化案例Reducer
112.MapReduce序列化案例Driver
113.MapReduce序列化案例Debug调试
114.MapReduce切片和MapTask并行度决定机制
115.MapReduceJob提交流程源码解析
116.MapReduceJob切片机制源码解析
117.MapReduceFileInputFormat切片机制和配置参数
118.MapReduceCombineTextInputFormat理论
119.MapReduceCombineTextInputFormat案例
120.MapReduceFileInputFormat实现类
121.MapReduceTextInputFormat实现类
122.每日回顾
123.MapReduceKeyValueTextInputFormat案例分析
124.MapReduceKeyValueTextInputFormat案例实现
125.MapReduceNLineInputFormat案例分析
126.MapReduceNLineInputFormat案例实现
127.MapReduce自定义InputFormat步骤
128.MapReduce自定义InputFormat案例
129.MapReduce自定义InputFormat案例Debug
130.MapReduceInputFormat实现类总结
131.MapReduce工作流程(面试重点)
132.MapReduceShuffle机制(面试重点)
133.MapReduceHashPartition默认分区
134.MapReducePartition分区案例
135.MapReducePartition分区案例总结
136.每日回顾
137.MapReduce回顾分区
138.MapReduce排序概述
139.MapReduce排序分类
140.MapReduce全排序案例分析
141.MapReduce全排序案例FlowBean
142.MapReduce全排序案例Mapper
143.全排序案例Mapper已处理
144.MapReduce全排序案例实现及测试
145.MapReduce分区排序案例实现及测试
146.MapReduceDebug调试思想
147.MapReduceCombiner理论
148.MapReduceCombiner案例实现
149.MapReduce分组排序案例分析
150.MapReduce分组排序案例OrderBean
151.MapReduce分组排序案例Mapper
152.MapReduce分组排序案例Driver
153.MapReduce分组排序案例排序类
154.MapReduce分组排序案例调试
155.MapReduce分组排序案例扩展
156.MapReduceMapTask工作机制(面试重点)
157.MapReduceReduceTask工作机制(面试重点)
158.MapReduceReduceTask个数设置
159.MapReduceShuffle机制(面试重点)
160.MapReduce工作流程源码分析
161.MapReduceOutPutFormat接口实现类
162.MapReduce自定义OutputFormat案例分析
163.MapReduce自定义OutputFormat案例实现
164.MapReduceReduceJoin理论
165.MapReduceReduceJoin案例分析
166.MapReduceReduceJoin案例TableBean
167.MapReduceReduceJoin案例Mapper
168.MapReduceReduceJoin案例Reduce
169.MapReduceReduceJoin案例Driver
170.MapReduceReduceJoin案例Debug和总结
171.MapReduceMapJoin案例分析
172.MapReduceMapJoin案例缓存文件处理
173.MapReduceMapJoin案例测试
174.MapReduce计数器应用
175.MapReduce数据清洗案例
176.MapReduce开发总结
177.压缩概述
178.压缩MR支持的压缩编码
179.压缩方式选择
180.压缩位置选择
181.压缩参数设置
182.压缩压缩案例
183.压缩解压缩案例
184.压缩Map和Reduce启用压缩案例
185.YARN基本架构
186.YARN工作机制
187.YARN作业提交全流程
188.YARN资源调度器
189.YARN任务推测执行
190.企业调优MR跑的慢的原因
191.企业调优MR优化方法
192.企业调优HDFS小文件处理
193.扩展案例多Job串联案例分析
194.扩展案例多Job串联案例第一个Job
195.扩展案例多Job串联案例完成
196.扩展案例TopN案例
197.扩展案例找共同粉丝(学生版1)
198.扩展案例找共同粉丝(学生版2)
199.Hadoop总结企业真实面试题讲解
200.Hadoop总结开发重点
第4章:大数据技术之Zookeeper
1.Zookeeper课程介绍
2.Zookeeper概述
3.Zookeeper特点
4.Zookeeper数据结构
5.Zookeeper应用场景
6.Zookeeper下载地址
7.Zookeeper本地模式安装
8.Zookeeper配置参数解读
9.Zookeeper选举机制
10.Zookeeper节点类型
11.Zookeeper分布式安装
12.ZookeeperShell命令操作
13.ZookeeperStat结构体
14.Zookeeper监听器原理
15.Zookeeper写数据流程
16.Zookeeper创建ZooKeeper客户端
17.Zookeeper创建一个节点
18.Zookeeper获取子节点并监听节点变化
19.Zookeeper判断节点是否存在
20.Zookeeper服务器节点动态上下线案例分析
21.Zookeeper服务器节点动态上下线案例注册代码
22.Zookeeper服务器节点动态上下线案例全部代码实现
23.Zookeeper企业面试真题
第5章:大数据技术之HadoopHA
1.HadoopHAHDFS的单点故障
2.HadoopHA手动故障转移原理
3.HadoopHA手动故障转移配置
4.HadoopHA手动故障转移测试
5.HadoopHA手动故障转移注意点
6.HadoopHA自动故障转移原理
7.HadoopHA自动故障转移配置&测试
8.HadoopHA自动故障转移上传数据测试
9.HadoopHAYARNHA
10.HadoopHAHDFS联邦概述
第6章:大数据技术之Hive
1.Hive入门课程介绍
2.Hive入门是什么
3.Hive入门优缺点
4.Hive入门架构
5.Hive入门与数据库比较
6.Hive安装安装与配置
7.Hive安装启动
8.Hive安装加载本地数据到Hive表
9.Hive安装MySQL服务
10.Hive安装配置MySQL无主机登录
11.Hive安装配置MetaStore到MySQL
12.Hive安装中常用的交互命令
13.Hive安装其他操作命令
14.Hive安装常见属性配置
15.Hive安装参数配置方式
16.Hive安装基本数据类型
17.Hive安装复杂数据类型
18.Hive安装类型转化
19.Hive数据定义创建数据库
20.Hive数据定义数据库查询
21.Hive数据定义数据库修改
22.Hive数据定义数据库删除
23.Hive数据定义创建表的语法
24.Hive数据定义回顾
25.Hive数据定义HiveServer2
26.Hive数据定义内部表
27.Hive数据定义外部表
28.Hive数据定义内外部表转换
29.Hive数据定义分区表基本操作
30.Hive数据定义二级分区
31.Hive数据定义分区表与数据关联的三种方式
32.Hive数据定义修改表
33.Hive数据操作Load方式加载数据
34.Hive数据操作Insert方式加载数据
35.Hive数据操作Location方式加载数据
36.Hive数据操作Import方式导入数据失败
37.Hive数据操作Insert导出数据
38.Hive数据操作导出数据的其他方式&Import导入数据成功
39.Hive数据操作清空表数据
40.Hive数据操作元数据信息
41.Hive查询基本查询
42.Hive查询常用的基本函数
43.Hive查询Where子句查询
44.Hive查询逻辑运算符
45.Hive查询GroupBy & Having
46.Hive查询Join操作
47.Hive查询回顾(一)
48.Hive查询回顾(二)
49.Hive排序OrderBy
50.Hive排序SortBy
51.Hive排序DistributeBy
52.Hive排序ClusterBy
53.Hive排序总结
54.Hive分桶表创建
55.Hive分桶抽样查询
56.Hive高级给NULL赋值
57.Hive高级CaseWhen
58.Hive高级行转列
59.Hive高级列转行
60.Hive高级窗口函数需求(一)
61.Hive高级窗口函数需求(二)
62.Hive高级窗口函数需求(三)
63.Hive高级窗口函数需求(四)
64.Hive高级窗口函数需求(五)
65.Hive高级回顾
66.Hive高级窗口函数回顾
67.Hive高级Rank
68.Hive高级函数介绍
69.Hive高级自定义函数
70.Hive高级压缩
71.Hive高级存储格式介绍
72.Hive高级存储格式比较
73.Hive高级存储与压缩结合
74.Hive优化Fetch抓取
75.Hive优化本地模式
76.Hive优化小表Join大表
77.Hive优化空key处理
78.Hive优化MapJoin
79.Hive优化GroupBy
80.Hive优化去重统计
81.Hive优化行列过滤
82.Hive优化动态分区
83.Hive优化回顾
84.Hive优化数据倾斜
85.Hive优化并行执行
86.Hive优化严格模式
87.Hive优化JVM重用
88.Hive优化推测执行&压缩
89.Hive优化Explain
90.谷粒影音需求分析
91.谷粒影音Mapper
92.谷粒影音ETLUtil
93.谷粒影音Driver
94.谷粒影音清洗数据
95.谷粒影音建表&导入数据
96.谷粒影音需求(一)
97.谷粒影音需求(二)
98.谷粒影音需求(三)
99.谷粒影音需求(四)
100.谷粒影音需求(五)
101.谷粒影音需求(六)
102.谷粒影音需求(七)
103.Hive总结
第7章:大数据技术之Flume
1.Flume课程介绍
2.Flume定义
3.Flume组成
4.Flume拓扑结构
5.FlumeAgent内部原理
6.Flume快速入门
7.Flume监控端口数据官方案例分析
8.Flume监控端口数据官方案例实现
9.Flume实时读取本地文件到HDFS案例分析
10.Flume实时读取本地文件到HDFS案例实现
11.Flume实时读取目录文件到HDFS案例分析
12.Flume实时读取目录文件到HDFS案例实现
13.Flume单数据源多出口案例(一)分析
14.Flume单数据源多出口案例(一)实现
15.Flume单数据源多出口案例(Sink组)分析
16.Flume单数据源多出口案例(Sink组)实现
17.Flume多数据源汇总案例分析
18.Flume多数据源汇总案例实现
19.Flume监控之Ganglia
20.Flume企业面试题讲解
第8章:大数据技术之Kafka
1.Kafka课程介绍
2.Kafka消息队列介绍
3.Kafka概念
4.Kafka架构
5.Kafka集群搭建&启动
6.Kafka命令行操作
7.Kafka工作流程分析
8.Kafka生产数据流程
9.Kafka保存数据
10.Kafka消费数据
11.Kafka回顾
12.Kafka生产者API使用
13.Kafka带回调函数的生产者
14.Kafka自定义分区的生产者
15.Kafka高级消费者
16.Kafka低级消费者API思路梳理
17.Kafka低级API参数设置
18.Kafka低级API之获取分区leader
19.Kafka低级API之获取分区数据
20.Kafka低级API之测试
21.Kafka扩展
22.Kafka拦截器
23.KafkaKafkaStream
24.Kafka与Flume对比及集成
第9章:大数据技术之Hbase
1.HBase课程介绍
2.HBase介绍
3.HBase特点
4.HBase架构
5.HBase角色介绍
6.HBase安装配置&启动
7.HBaseShell操作之增&查
8.HBaseShell操作(二)
9.HBase删除操作执行
10.HBase数据结构
11.HBase读数据流程
12.HBase写流程
13.HBase数据Flush&Compact参数
14.HBase回顾
15.HBase判断表是否存在旧API
16.HBase判断表是否存在新API
17.HBase创建表
18.HBase删除表
19.HBase添加数据
20.HBase删除数据
21.HBase全表扫描
22.HBase获取指定列族:列的数据
23.HBase&MR集成官方案例
24.HBase自定义MR1之Mapper
25.HBase自定义MR1之Reducer&Driver
26.HBase自定义MR1打包测试
27.HBase自定义MR2完成
28.HBase回顾
29.HBaseHive与HBase对比
30.HBaseHive&HBase集成(需求一)
31.HBase向关联表添加数据
32.HBaseHive&HBase集成(需求二)
33.HBase高可用
34.HBase预分区
35.HBaseRowKey设计
36.HBase内存&基础优化
37.HBase谷粒微博之需求分析
38.HBase谷粒微博之项目构建
39.HBase谷粒微博之创建命名空间
40.HBase谷粒微博之创建表
41.HBase谷粒微博之发布微博
42.HBase谷粒微博之关注用户(一)
43.HBase谷粒微博之关注用户(二)
44.HBase谷粒微博之关注用户版本问题修复
45.HBase回顾(一)
46.HBase谷粒微博回顾
47.HBase谷粒微博之取关用户
48.HBase谷粒微博之获取微博内容&过滤器介绍
49.HBase谷粒微博之初始化页面微博内容
50.HBase谷粒微博之测试
第10章:大数据技术之Sqoop
1.Sqoop课程介绍
2.Sqoop安装
3.Sqoop全部数据导入
4.Sqoop查询导入
5.Sqoop导入指定列
6.Sqoop查询条件导入
7.Sqoop导入数据到Hive
8.Sqoop导入数据到HBase
9.Sqoop导出数据
10.Sqoop脚本调用
第11章:大数据技术之Oozie
1.Oozie课程介绍
2.Oozie功能模块
3.Oozie快速部署CDH版本Hadoop
4.Oozie部署环境准备
5.Oozie发布&启动
6.Oozie调度Shell脚本案例
7.Oozie逻辑调度多个任务案例
8.Oozie调度MR任务
9.Oozie调度定时任务

 

7项超值权益,保障学习质量」

  • 大咖讲解

技术专家系统讲解传授编程思路与实战。

  • 答疑服务

专属社群随时沟通与讲师答疑,扫清学习障碍,自学编程不再难。

  • 课程资料+课件

超实用资料,覆盖核心知识,关键编程技能,方便练习巩固。(部分讲师考虑到版权问题,暂未上传附件,敬请谅解)

  • 常用开发实战

企业常见开发实战案例,带你掌握Python在工作中的不同运用场景。

  • 大牛技术大会视频

2019Python开发者大会视频免费观看,送你一个近距离感受互联网大佬的机会。

  • APP+PC随时随地学习

满足不同场景,开发编程语言系统学习需求,不受空间、地域限制。

 

「什么样的技术人适合学习?」

  • 想进入互联网技术行业,但是面对多门编程语言不知如何选择,0基础的你
  • 掌握开发、编程技术单一、冷门,迫切希望能够转型的你
  • 想进入大厂,但是编程经验不够丰富,没有竞争力,程序员找工作难。

 

「悉心打造精品好课,96天学到大牛3年项目经验」

【完善的技术体系】

技术成长循序渐进,帮助用户轻松掌握

掌握大数据知识,扎实编码能力

【清晰的课程脉络】

浓缩大牛多年经验,全方位构建出系统化的技术知识脉络,同时注重实战操作。

【仿佛在大厂实习般的课程设计】

课程内容全面提升技术能力,系统学习大厂技术方法论,可复用在日后工作中。

 

「你可以收获什么?」

本阶段详细介绍了大数据所涉及到的Linux、shell、Hadoop、zookeeper、HadoopHA、Hive、Flume、Kafka、Hbase、Sqoop、Oozie等技术的概念、安装配置、架构原理、数据类型定义、数据操作、存储集群等重点知识点。

 

订阅课程 开始学习

你可能感兴趣的:(视频教程-大数据技术-大数据)