Hadoop 3.x集群搭建教程【图文】

目录

一、配置服务器

1.1 .nat模式下的dhcp自动配ip

1.2 配置hosts

二、 配置ssh无密码访问

2.1 生成公钥密钥对

2.2 将子节点的公钥拷贝到主节点并添加进authorized_keys

2.3 最后测试是否配置成功

2.4 将主节点的authorized_keys文件分别替换子节点的authorized_keys文件

三、安装jdk

3.1卸载jdk

3.2安装JDK（三台机器都要安装）

3.3测试是否安装成功：

四、安装hadoop

五、配置hadoop

5.1 配置hadoop配置文件

5.1.1 hadoop-env.sh中

5.1.2 core-site.xml中

5.1.3 hdfs-site.xml中

5.1.4 yarn-site.xml中

5.1.5 mapred-site.xml

5.1.6 workers中

5.2 拷贝hadoop安装文件到子节点

5.3 格式化主节点的namenode

5.4 启动hadoop 

---

一、配置服务器

1.1 .nat模式下的dhcp自动配ip

首先输入

vi /ect/sysconfig/network-s

进入其实，将ONBOOT=no改成NONBOOT=yes

再按Esc输入：wq保存退出

重启网络：

service  network  restart

Ping一下，测试一下网络是否通了

输入ip add查看ip地址（可知主节点IP：192.168.48.128，两个从节点分别为192.168.48.129   192.168.48.130）

 

配置主节点名（192.168.48.128）

vi /etc/sysconfig/network

添加内容：

NETWORKING=yes
HOSTNAME=master

简要说明：

配置两台子节点名(192.168.48.129)和(192.168.48.130)

vi /etc/sysconfig/network

添加内容：

NETWORKING=yes
HOSTNAME=slaver1

 

       

 

vi /etc/sysconfig/network

添加内容：

NETWORKING=yes
HOSTNAME=slaver2

1.2 配置hosts

打开主节点的hosts文件，要将文件的前两行注释掉 (注释当前主机的信息)并在文件中添加所有hadoop集群的主机信息。

vi /etc/hosts

192.168.48.128   master
192.168.48.129   slaver1
192.168.48.130   slaver2

保存之后，将主节点的hosts分别拷贝到其他两个子节点

scp /etc/hosts [email protected]:/etc/

scp /etc/hosts [email protected]:/etc/

（下边的生效命令不需要执行也可以，但名字显示不出来，最好重启或者使用命令）

然后分别执行(重启服务器也可以不执行下面的语句):

reboot

二、 配置ssh无密码访问

2.1 生成公钥密钥对

在每个节点上分别执行：

ssh-keygen -t rsa

一直按回车直到生成结束

执行结束之后每个节点上的/root/.ssh/目录下生成了两个文件 id_rsa 和 id_rsa.pub

其中前者为私钥，后者为公钥

在主节点上执行(在.ssh目录里)：

cp id_rsa.pub authorized_keys

2.2 将子节点的公钥拷贝到主节点并添加进authorized_keys

将两个子节点的公钥拷贝到主节点上，分别在两个子节点上执行：

scp  ~/.ssh/ id_rsa.pub root@master:/~/.ssh/id_rsa_slaver1.pub

(~进入到root目录，/~/.ssh可能报错找不到目录，可以写成/root/.ssh)

Scp  ~/.ssh/ id_rsa.pub root@master:/~/.ssh/id_rsa_slaver2.pub

然后在主节点上，将拷贝过来的两个公钥合并到authorized_keys文件中去

主节点上执行：

cat id_rsa_slaver1.pub>> authorized_keys

cat id_rsa_slaver2.pub>> authorized_keys

2.3 最后测试是否配置成功

在master上分别执行

ssh slaver1

ssh slaver2

能正确跳转到两台子节点的操作界面即可，

输入exit退出

这里的配置方式可以有多种操作步骤，最终目的是每个节点上的/root/.ssh/authorized_keys文件中都包含所有的节点生成的公钥内容。

2.4 将主节点的authorized_keys文件分别替换子节点的authorized_keys文件

同样在每个子节点通过相同的方式登录主节点和其他子节点也能无密码正常登录就表示配置成功。

主节点上用scp命令将authorized_keys文件拷贝到子节点的相应位置

scp authorized_keys root@slaver1:/root/.ssh/

 

scp authorized_keys root@slaver2:/root/.ssh/

 

三、安装jdk

3.1卸载jdk

查看系统已经装的jdk：

rpm -qa|grep jdk

卸载jdk:

rpm -e：卸载rpm包

Nodeps：强制卸载

 

rpm -e --nodeps java-1.7.0-openjdk-headless-1.7.0.191-2.6.15.5.el7.x86_64

3.2安装JDK（三台机器都要安装）

安装在同一位置/opt/java/jdk1.7.0_72

下载JDK

解压JDK ：

 tar -zxvf /opt/java/jdk-8u201-linux-x64.tar.gz

配置环境变量, 编辑profile文件：

vi /etc/profile

在profile文件末尾添加以下代码:

export JAVA_HOME=/opt/java/jdk1.8.0_201
export JRE_HOME=$JAVA_HOME/jre
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib

保存后，使刚才编辑的文件生效：

source /etc/profile

3.3测试是否安装成功：

java –version

 

四、安装hadoop

在master主机上安装hadoop

安装位置自定，例如安装在/usr目录下面

下载hadoop包，放在/usr目录下，解压hadoop

tar -zxvf /opt/hadoop/hadoop-3.2.0.tar.gz

在usr下面生成hadoop-2.6.4目录

配置环境变量：

vi /etc/profile

在末尾添加：

export HADOOP_HOME=/usr/hadoop-3.2.0
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

保存后使新编辑的profile生效：

source /etc/profile

五、配置hadoop

5.1 配置hadoop配置文件

需要配置的文件的位置为/hadoop-2.6.4/etc/hadoop，需要修改的有以下几个

hadoop-env.sh

core-site.xml

hdfs-site.xml

mapred-site.xml

yarn-site.xml

slaves

其中

hadoop-env.sh和yarn-env.sh里面都要添加jdk的环境变量：

5.1.1 hadoop-env.sh中
 

# The java implementation to use. By default, this environment
# variable is REQUIRED on ALL platforms except OS X!
# export JAVA_HOME=
export JAVA_HOME=/opt/java/jdk1.8.0_201

# Location of Hadoop.  By default, Hadoop will attempt to determine
# this location based upon its execution path.
# export HADOOP_HOME=
export HADOOP_HOME=/usr/hadoop-3.2.0

# Location of Hadoop's configuration information.  i.e., where this
# file is living. If this is not defined, Hadoop will attempt to
# locate it based upon its execution path.
#

5.1.2 core-site.xml中

        
                fs.defaultFS
                hdfs://master:9000
        
        
                io.file.buffer.size
                131072
        
        
                hadoop.tmp.dir
                file:/usr/temp
        
        
                hadoop.proxyuser.root.hosts
                *
        
        
                hadoop.proxyuser.root.groups
                *
        

5.1.3 hdfs-site.xml中

        
                dfs.namenode.secondary.http-address
                master:9001
        
        
                dfs.namenode.name.dir
                file:/usr/dfs/name
        
        
                dfs.datanode.data.dir
                file:/usr/dfs/data
        
        
                dfs.replication
                2
        
        
                dfs.webhdfs.enabled
                true
        
        
                dfs.permissions
                false
        
         
                dfs.web.ugi
                 supergroup
        

5.1.4 yarn-site.xml中

        
                yarn.nodemanager.aux-services
                mapreduce_shuffle
        
        
                yarn.nodemanager.aux-services.mapreduce.shuffle.class
                org.apache.hadoop.mapred.ShuffleHandler
        
        
                yarn.resourcemanager.address
                master:8032
        
        
                yarn.resourcemanager.scheduler.address
                master:8030
        
        
                yarn.resourcemanager.resource-tracker.address
                master:8031
        
        
                yarn.resourcemanager.admin.address
                master:8033
        
        
                yarn.resourcemanager.webapp.address
                master:8088
        

5.1.5 mapred-site.xml

        
                mapreduce.framework.name
                yarn
        
        
                mapreduce.jobhistory.address
                master:10020
        
        
                mapreduce.jobhistory.webapp.address
                master:19888
        

5.1.6 workers中

master
slaver1
slaver2

 

5.2 拷贝hadoop安装文件到子节点

主节点上执行：

scp -r /usr/hadoop-3.2.0 root@slaver1:/usr

scp -r /usr/hadoop-3.2.0 root@slaver2:/usr

拷贝profile到子节点
主节点上执行：

scp /etc/profile root@slaver1:/etc/

scp /etc/profile root@slaver2:/etc/

在两个子节点上分别使新的profile生效：

source /etc/profile

5.3 格式化主节点的namenode

主节点上进入hadoop目录

然后执行：

./bin/hdfs namenode –format

提示：successfully formatted表示格式化成功

5.4 启动hadoop 

主节点上在hadoop目录下执行：

./sbin/start-all.sh

主节点上jps进程有：

NameNode

SecondaryNameNode

ResourceManager

 

每个子节点上的jps进程有：

DataNode

NodeManager

如果这样表示hadoop集群配置成功

 

再打开浏览器，输入：(hadopp3.x的端口跟2.x比有变动50070→9870)

1992.168.48.128:9870