HDFS集群环境部署(超级详细！！)

一、部署Hadoop的关键点

1.上传，解压到/export/server,配置软链接

2.修改4个配置文件，workers，hadoop.env.sh，core-stie.xml，hdfs-site.xml

3.SCP分发到root2,root3，并设置环境变量

4.创建数据目录,并修改文件权限归属hadoop用户

5.start-all.sh启动,并且查看web UI页面

部署之前首先要确定前置准备中的，服务器创建，固定ip，防火墙关闭，Hadoop用户创建，ssh免密钥，JDK部署等操作

二、上传&解压

上传到root1机器上

使用命令解压到/export/server/中

创建软链接

ln -s /export/server/hadoop-3.1.3 hadoop

进入到hadoop安装包内

通过ls -l命令查看文件夹内部结构

bin，存放Hadoop的各类程序(命令)

etc，存放Hadoop的配置文件

include，C语言的一些头文件

lib，存放Linux系统的动态链接库(.so文件)

libexec，存放配置Hadoop系统的脚本文件（.sh和.cmd）

Liceses-binary，存放许可证文件

sbin，管理员程序(super bin)

share，存放二进制源码(java jar包)

修改配置文件，应用自定义设置

配置HDFS集群，主要涉及到如下文件的修改：

workers：配置从节点(DataNode)有哪些

Hadoop-env.sh：配置Hadoop的相关环境变量

Core-site.xml：Hadoop核心配置文件

Hdfs-site.xml：HDFS核心配置文件

三、配置workers(表明集群记录了三个从节点)

Cd etc/hadoop

Vim workers

填入root1，root2，root3

1.配置hadoop-env.sh文件

2.配置core-site.xml文件

3.配置hdfs-site.xml文件

四、准备数据目录

分发hadoop文件夹

五、配置环境变量

授权为hadoop用户

六、格式化整个文件系统

        今天的大数据就到这里啦，大家要是有什么建议的，或者有什么不懂都可以在评论区留言！都会回复大家的，下期见！