Hadoop教程：多节点集群

本章介绍了Hadoop多节点集群在分布式环境中的设置。

由于无法演示整个集群，我们使用三个系统(一个主系统和两个从系统)解释Hadoop集群环境;以下是他们的IP地址。

• Hadoop Master: 192.168.1.15 (hadoop-master)
• Hadoop Slave: 192.168.1.16 (hadoop-slave-1)
• Hadoop Slave: 192.168.1.17 (hadoop-slave-2)

按照下面给出的步骤设置Hadoop多节点集群。

安装Java

参考：Hadoop安装与环境设置

映射节点

您必须在/etc/文件夹中编辑所有节点上的hosts 文件，指定每个系统的IP地址及其主机名。

# vi /etc/hosts
enter the following lines in the /etc/hosts file.
192.168.1.109 hadoop-master 
192.168.1.145 hadoop-slave-1 
192.168.56.1 hadoop-slave-2

配置基于密钥的登录

在每个节点上设置ssh，这样它们就可以彼此通信，而无需提示输入密码。

# su hadoop 
$ ssh-keygen -t rsa 
$ ssh-copy-id -i ~/.ssh/id_rsa.pub tutorialspoint@hadoop-master 
$ ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop_tp1@hadoop-slave-1 
$ ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop_tp2@hadoop-slave-2 
$ chmod 0600 ~/.ssh/authorized_keys 
$ exit

安装Hadoop

在主服务器中，使用以下命令下载和安装Hadoop。

# mkdir /opt/hadoop 
# cd /opt/hadoop/ 
# wget http://apache.mesi.com.ar/hadoop/common/hadoop-1.2.1/hadoop-1.2.0.tar.gz 
# tar -xzf hadoop-1.2.0.tar.gz 
# mv hadoop-1.2.0 hadoop
# chown -R hadoop /opt/hadoop 
# cd /opt/hadoop/hadoop/

配置Hadoop

您必须配置Hadoop服务器，方法如下所示。

core-site.xml

打开core-site.xml文件并编辑它，如下所示。

    
      fs.default.name 
      hdfs://hadoop-master:9000/ 
    
    
      dfs.permissions 
      false 
    

hdfs-site.xml

打开hdfs-site.xml 文件并编辑它，如下所示。

    
      dfs.data.dir 
      /opt/hadoop/hadoop/dfs/name/data 
      true 
    

    
      dfs.name.dir 
      /opt/hadoop/hadoop/dfs/name 
      true 
    

    
      dfs.replication 
      1 
    

mapred-site.xml

打开mapred-site.xml文件并编辑它，如下所示。

    
      mapred.job.tracker 
      hadoop-master:9001 
    

hadoop-env.sh

打开hadoop-env.sh文件并编辑JAVA_HOME、hadoop op_conf_dir和hadoop op_opts，如下所示。

注意:按照系统配置设置JAVA_HOME。

export JAVA_HOME=/opt/jdk1.7.0_17 export HADOOP_OPTS=-Djava.net.preferIPv4Stack=true export HADOOP_CONF_DIR=/opt/hadoop/hadoop/conf

在从服务器上安装Hadoop

按照给定的命令在所有从服务器上安装Hadoop。

# su hadoop 
$ cd /opt/hadoop 
$ scp -r hadoop hadoop-slave-1:/opt/hadoop 
$ scp -r hadoop hadoop-slave-2:/opt/hadoop

在主服务器上配置Hadoop

打开主服务器并按照给定的命令配置它。

# su hadoop 
$ cd /opt/hadoop/hadoop

配置主节点

$ vi etc/hadoop/masters
hadoop-master

配置从节点

$ vi etc/hadoop/slaves
hadoop-slave-1 
hadoop-slave-2

在Hadoop Master上格式化NameNode

# su hadoop 
$ cd /opt/hadoop/hadoop 
$ bin/hadoop namenode –format

11/10/14 10:58:07 INFO namenode.NameNode: STARTUP_MSG: /************************************************************ 
STARTUP_MSG: Starting NameNode 
STARTUP_MSG: host = hadoop-master/192.168.1.109 
STARTUP_MSG: args = [-format] 
STARTUP_MSG: version = 1.2.0 
STARTUP_MSG: build = https://svn.apache.org/repos/asf/hadoop/common/branches/branch-1.2 -r 1479473; compiled by 'hortonfo' on Mon May 6 06:59:37 UTC 2013 
STARTUP_MSG: java = 1.7.0_71 ************************************************************/ 11/10/14 10:58:08 INFO util.GSet: Computing capacity for map BlocksMap editlog=/opt/hadoop/hadoop/dfs/name/current/edits
………………………………………………….
………………………………………………….
…………………………………………………. 11/10/14 10:58:08 INFO common.Storage: Storage directory /opt/hadoop/hadoop/dfs/name has been successfully formatted. 11/10/14 10:58:08 INFO namenode.NameNode: 
SHUTDOWN_MSG: /************************************************************ SHUTDOWN_MSG: Shutting down NameNode at hadoop-master/192.168.1.15 ************************************************************/

启动Hadoop服务

下面的命令是在Hadoop- master上启动所有Hadoop服务。

$ cd $HADOOP_HOME/sbin
$ start-all.sh

在Hadoop集群中添加一个新的DataNode

下面给出了向Hadoop集群添加新节点的步骤。

配置网络

使用适当的网络配置向现有Hadoop集群添加新节点。假设以下网络配置。

新节点配置:

IP address : 192.168.1.103 
netmask : 255.255.255.0
hostname : slave3.in

添加用户和SSH访问

添加用户

在新节点上，使用以下命令添加“hadoop”用户，并将hadoop用户的密码设置为“hadoop op123”或您想要的任何值。

useradd hadoop
passwd hadoop

设置从主服务器到新从服务器的连接。

在主服务器上执行以下操作

mkdir -p $HOME/.ssh 
chmod 700 $HOME/.ssh 
ssh-keygen -t rsa -P '' -f $HOME/.ssh/id_rsa 
cat $HOME/.ssh/id_rsa.pub >> $HOME/.ssh/authorized_keys 
chmod 644 $HOME/.ssh/authorized_keys
Copy the public key to new slave node in hadoop user $HOME directory
scp $HOME/.ssh/id_rsa.pub [email protected]:/home/hadoop/

对从服务器执行以下操作

登录到hadoop。

su hadoop ssh -X [email protected]

将公钥内容复制到文件"$HOME/.ssh/authorized_keys"中。然后通过执行以下命令更改相同的权限。

cd $HOME
mkdir -p $HOME/.ssh 
chmod 700 $HOME/.ssh
cat id_rsa.pub >>$HOME/.ssh/authorized_keys 
chmod 644 $HOME/.ssh/authorized_keys

检查主机上的ssh登录。现在检查是否可以在不需要主节点密码的情况下ssh到新节点。

ssh [email protected] or hadoop@slave3

设置新节点的主机名

您可以在文件/etc/sysconfig/network中设置主机名

On new slave3 machine
NETWORKING=yes 
HOSTNAME=slave3.in

要使更改生效，可以重新启动机器，也可以使用相应的主机名将主机名命令运行到新机器上(重新启动是一个不错的选择)。

slave3节点机器上:

主机名slave3.in

使用以下行更新集群所有机器上的/etc/hosts:

192.168.1.102 slave3.in slave3

现在尝试用主机名ping计算机，检查它是否解析到IP。

在新节点机器上:

ping master.in

在新节点上启动DataNode

使用$HADOOP_HOME/bin/hadoop-daemon.sh手动启动datanode守护进程。它将自动联系主节点(NameNode)并加入集群。我们还应该将新节点添加到主服务器中的conf/slave文件中。基于脚本的命令将识别新节点。

登录到新节点

su hadoop or ssh -X [email protected]

使用以下命令在新添加的从节点上启动HDFS

./bin/hadoop-daemon.sh start datanode

使用jps命令检查新节点

$ jps
7141 DataNode
10312 Jps

从Hadoop集群中删除DataNode

我们可以在节点运行时动态地从集群中删除节点，而不会丢失任何数据。HDFS提供了一个退役特性，可以确保安全地删除节点。使用方法如下:

Step 1: 登录到主服务器

登录到安装Hadoop的主机用户。

$ su hadoop

Step 2: 改变集群配置

在启动集群之前，必须配置一个排除文件。添加一个名为dfs.hosts的键。排除到我们的$HADOOP_HOME/etc/hadoop/hdfs-site.xml文件。与此键关联的值提供了NameNode本地文件系统上文件的完整路径，该文件系统包含不允许连接到HDFS的机器列表。

例如，将这些行添加到etc/hadoop/hdfs-site.xml文件。

 
   dfs.hosts.exclude 
   /home/hadoop/hadoop-1.2.1/hdfs_exclude.txt 
   DFS exclude 

Step 3: 确定要删除的主机

要删除的每台机器都应该添加到hdfs_exclude.txt文件中，每行一个域名。这将阻止它们连接到NameNode。如果您想删除DataNode2，则"/home/hadoop/hadoop-1.2.1/hdfs_exclude.txt"的内容文件如下所示。

slave2.in

Step 4: 强制重加载配置

运行"$HADOOP_HOME/bin/hadoop dfsadmin -refreshNodes"命令，不带引号。

$ $HADOOP_HOME/bin/hadoop dfsadmin -refreshNodes

这将强制NameNode重新读取其配置，包括最新更新的“exclude”文件。它将在一段时间内对节点进行退役，允许将每个节点的块复制到计划保持活动的机器上。

在slave2.in，检查jps命令输出。一段时间后，您将看到DataNode进程自动关闭。

Step 5: 关闭节点

删除过程完成后，删除的硬件可以安全停机进行维护。向dfsadmin运行report命令检查状态。下面的命令将描述删除节点和连接到集群的节点的状态。

$ $HADOOP_HOME/bin/hadoop dfsadmin -report

Step 6: 再次排除文件

机器一旦退役，就可以从“exclude”文件中删除它们。再次运行"$HADOOP_HOME/bin/hadoop dfsadmin -refreshNodes"会将排斥文件读入NameNode;允许数据节点在维护完成后重新加入集群，或者在集群中再次需要额外的容量，等等。

特别提示：如果遵循上述流程，且tasktracker流程仍在节点上运行，则需要关闭该流程。一种方法是断开机器，就像我们在上述步骤中所做的那样。主进程将自动识别进程，并将声明为已死。删除任务跟踪器不需要遵循相同的过程，因为与DataNode相比，任务跟踪器并不重要。DataNode包含您希望安全地删除的数据，而不会丢失任何数据。

任务跟踪器可以在任何时间点通过以下命令动态运行/关闭。

$ $HADOOP_HOME/bin/hadoop-daemon.sh stop tasktracker $HADOOP_HOME/bin/hadoop-daemon.sh start tasktracker

原文链接： https://www.tutorialspoint.com/...