尚硅谷大数据hadoop教程

p01 课程整体介绍

p02 大数据的概念

p03大数据的特点

p04 05 大数据应用场景

p06 未来工作内容

p07hadoop入门 课程介绍

p08 09 hadoop是什么

p 10 hadoop3大发行版本

p11 hadoop优势

p12 hadoop 1 2 3版本区别

p13 HDFS概述

NameNode DataNode SecondNameNode

p14 Hadoop入门 YARN概述

ResourceManager NodeManager

p15 MapReduce概述

p16 HDFS YARN MapReduce三者关系

p17 大数据技术生态体系

p18 VMWARE安装

我安装的16 网上找序列码直接用

p19 centos7安装

看到韩老师的linux视频

p20 ip和主机名称配置

修改ip

修改主机名称

修改主机名和host映射

p21 xshell远程访问

我用的crt

p22 模版虚拟机准备完成

安装epel-release

Extra Packages for Enterprise Linux是为“红帽系”的操作系统提供额外的软件包，适用于 RHEL、CentOS和Scientific Linux。相当于是一个软件仓库，大多数 rpm 包在官方 repository 中是找不到的。

yum install -y epel-release

关闭防火墙

创建用户

配置用户权限

在opt目录下创建文件夹,改变文件所有者

卸载自带的JDK

检查系统中自带的JDK：

rpm -qa | grep -i java

卸载自带的JDK：（需要以root用户运行）

# grep -i 忽略大小写
# xargs 将前面的输出结果作为命令的参数
# -n1 每次只取一个结果作为命令参数。如果不加，则会将所有结果以空格分隔拼接作为命令的参数
# rpm -e --nodeps：不验证套件档的相互关联性进行卸载
rpm -qa | grep -i java | grep -v ".noarch" | xargs -n1 rpm -e  --nodeps

p23 克隆3台虚拟机

克隆完成之后，还需要依次修改 hadoop102、hadoop103、hadoop104的ip和hostname。

p24 jdk安装

在02上安装jdk和hadoop 剩下2台复制就行了

p25 hadoop安装

hadoop目录结构

p26 hadoop入门 本地运行模式

p27 scp&rsync命令