学习笔记Hadoop（七）—— Hadoop集群的安装与部署（4）—— 配置Hadoop集群

四、配置Hadoop集群

Hadoop集群总体规划

Hadoop集群安装采用下面步骤：

1. 在Master节点：上传并解压Hadoop安装包 。
2. 在Master节点：配置Hadoop所需configuration配置文件。
3. 在Master节点：拷贝配置好的Hadoop安装包到其他节点。
4. 在所有节点：创建数据存储目录 。
5. 在Master节点：执行HDFS格式化操作。

4.1、上传并解压Hadoop安装包

(这里我已经用Xshell连接到Master结点了)

Hadoop安装包链接：https://pan.baidu.com/s/1teHwnBH2Qm6F7iWZ3q-hSQ
提取码：cgnb

上传

完成后用 ls 指令查看
在这里插入图片描述
解压

tar -zxf hadoop-2.6.5.tar.gz -C /opt/

4.2、修改配置文件：hadoop-env.sh

首先进入/opt/hadoop-2.6.5/etc/hadoop/目录

cd /opt/hadoop-3.1.4/etc/hadoop/

配置hadoop-env.sh

vi hadoop-env.sh

4.3、修改配置文件：core-site.xml & hdfs-site.xml

首先进入/opt/hadoop-2.6.5/etc/hadoop/目录

cd /opt/hadoop-3.1.4/etc/hadoop/

配置core-site.xml

vi core-site.xml

在 间添加如下

    hadoop.tmp.dir
    /data/hadoop/tmp



    fs.defaultFS
    hdfs://master:8020

配置hdfs-site.xml

vi hdfs-site.xml

在 间添加如下

    dfs.namenode.http-address
    master:50070 



        dfs.replication
        3
    

       
        dfs.permissions.enabled
        false
    

       
        dfs.blocksize
        134217728
    
    
      dfs.namenode.name.dir
    /data/hadoop/namenode
    
    
      dfs.datanode.name.dir
      /data/hadoop/datanode
    

4.4、修改配置文件：mapred-site.xml & yarn-site.xml & workers

首先进入/opt/hadoop-2.6.5/etc/hadoop/目录

cd /opt/hadoop-3.1.4/etc/hadoop/

配置mapred-site.xml

vi mapred-site.xml

在 间添加如下

    mapreduce.framework.name
    yarn


        yarn.app.mapreduce.am.env
        HADOOP_MAPRED_HOME=/opt/hadoop-3.1.4


        mapreduce.application.classpath
        /opt/hadoop-3.1.4/share/hadoop/mapreduce/*:/opt/hadoop-3.1.4/share/hadoop/mapreduce/lib/*

配置yarn-site.xml

vi yarn-site.xml

在 间添加如下

    yarn.resourcemanager.hostname
    master




    yarn.nodemanager.aux-services
    mapreduce_shuffle



    yarn.nodemanager.vmem-check-enabled
    false

配置workers

vi workers

把里面内容改为

node1
node2
node3

4.5、拷贝Hadoop安装包

进入/opt目录，通过指令(依次执行)拷贝到node1、node2、node3目录
(可以多建立几个会话，速度会快些)

scp -r hadoop-3.1.4/ node1:/opt/
scp -r hadoop-3.1.4/ node2:/opt/
scp -r hadoop-3.1.4/ node3:/opt/

4.6、创建数据目录

(依次执行下面语句)

mkdir -p /data/hadoop/tmp
mkdir -p /data/hadoop/namenode
ssh node1 "mkdir -p /data/hadoop/tmp & mkdir -p /data/hadoop/datanode"
ssh node2 "mkdir -p /data/hadoop/tmp & mkdir -p /data/hadoop/datanode"
ssh node3 "mkdir -p /data/hadoop/tmp & mkdir -p /data/hadoop/datanode"

4.7、格式化HDFS

进入hadoop安装下的bin目录

cd /opt/hadoop-3.1.4/bin/

执行

./hdfs namenode -format demo

格式化完成，集群配置完成