hadoop3.2安装手册-安装hadoop3.2.0

配置hadoop3.2.0

安装前准备

hadoop3.2安装手册-准备工作

1、完全分布式安装下载

1）下载地址：[https://hadoop.apache.org/releases.html]

我们下载3.2.0版本，然后拷贝至node1上，由于我是root用户下安装，我存放在目录 /root/software
没有software文件夹的可以自己创建一个

2）进入software目录 解压该目录至 /etc
tar -zxvf hadoop-3.2.0.tar.gz -C /etc/

3）解压到 /etc 下文件夹名为hadoop-3.2.0,我们重命名为hadoop

mv ./hadoop-3.2.0/ ./hadoop

4)查看目录内容如下

2、配置文件设置

首先我们梳理下要涉及的配置文件及对应路径(根据我安装目录确定的绝对路径)

安装路径为： /etc/hadoop/

配置文件	功能	路径
hadoop-env.sh	hadoop运行环境变量配置	/etc/hadoop/etc/hadoop/hadoop-env.sh
sore-site.xml	hadoop公共属性的配置	/etc/hadoop/etc/hadoop/sore-site.xml
hdfs-site.xml	HDFS属性配置	/etc/hadoop/etc/hadoop/hdfs-site.xml
worker	DataNode 分配属性配置	/etc/hadoop/etc/hadoop/worker

配置hadoop-env.sh 如下图

vi /etc/hadoop/etc/hadoop/hadoop-env.sh

上图红色框线处填写JDK的路径
所有的安装用户我都使用root;
我的java_home 路径为：usr/lib/jvm/java-1.8.0-openjdk-1.8.0.181-7.b13.el7.x86_6
不知道的用如下命令查看

echo $JAVA_HOME

以上配置参数解释：
JAVA_HOME 指定JDK的路径
HDFS_NAMENODE_USER 指定操作NameNode进程的用户
HDFS_DATANODE_USER 指定操作DataNode进程的用户
HDFS_SECONDARYNAMENODE_USER 指定操作Secondary_NameNode的用户

配置core-site.xml ，主要配置hadoop公共属性 如下图

vi /etc/hadoop/etc/hadoop/core-site.xml

以下代码复制到之间

fs.defaultFs
hdfs://node1:9802


hadoop.tmp.dir
/opt.hadoopdata

以上配置参数解释：
fs.defaultFs 指NameNode所在节点，value这里配置node1；端口9820;hdfs指协议
hadoop.tmp.dir 指配置元数据存放的位置，value这里配置为/opt/hadoopdata, 后续如果查看fsiamge和edits文件，可以在这个目录下找
手动在node1目录下/opt/创建文件夹 hadoopdata

配置hdfs-site.xml ,主要是HDFS属性配置

vi /etc/hadoop/etc/hadoop/hdfs-site.xml

dfs.namenode.secondary.http-address
node2:9868

以上配置参数解释：
dfs.namenode.secondary.http-address 配置Secondary NameNode的节点 这里配置值为 node2 端口 9868

配置workers,主要配置DataNode属性

vi /etc/hadoop/etc/hadoop/workers

删除默认的localhost 在其中写入

node1
node2
node3

3、其他节点部署

以上均是在node1中完成了 NameNode,Secondary NameNode,DataNode的配置，现在将这些配置复制到其他两个节点特定目录。
为了方便我们三个节点目录均设置一致

scp -r /etc/hadoop root@node2:/etc/
scp -r /etc/hadoop root@node3:/etc/

这样hadoop配置文件就复制到其他节点上了

4、启动

未完待续！需要交流可以私信我。