Hadoop的部署教程

Hadoop的部署教程

• 第一步创建hadoop用户
• 第二步系统更新
• 第三步安装SSHserver、配置SSH无密钥登录
• 第四步安装Java环境
• 第五步网络配置
• 第六步安装Hadoop
• 第七步配置集群分布式环境
• 第八步执行分布式实例

---

因为该教程是在三台远程虚拟机上搭建的，三台虚拟机的IP地址如下：
192.168.3.53 作为Mater
192.168.3.54 作为Slave1
192.168.3.55 作为Slave2

第一步创建hadoop用户

如果你安装 Ubuntu 的时候不是用的 hadoop 用户，那么最好增加一个名为 hadoop 的用户，密码可设置为 hadoop (密码随意指定)，这里设为hadoop。
首先按 ctrl+alt+t 打开终端窗口，输入如下命令创建新用户 :

sudo useradd -m hadoop -s /bin/bash

这条命令创建了可以登陆的 hadoop 用户，并使用 /bin/bash 作为shell。
接着使用如下命令修改密码，按提示输入两次密码 hadoop ：

sudo passwd hadoop

可为 hadoop 用户增加管理员权限，方便部署，避免一些对新手来说比较棘手的权限问题：

sudo adduser hadoop sudo

注销当前用户，切换到hadoop用户：

su hadoop

第二步系统更新

后面需要通过apt安装一些软件，在此之前最好更新一下，否则一些软件可能安装不了：

sudo apt-get update
sudo apt-get upgrade

当出现hash校验不符时可以通过更改软件源来解决。若没有出现该问题时，则不用需要更改。
后续需要更改一些配置文件，强烈建议用 vim（vi增强版，基本用法相同），安装一下（如果你实在还不会用vi/vim 请将后面用到 vim 的地方改为 gedit，这样可以使用文本编辑器进行修改，并且每次文件更改完成后请关闭 gedit这里由于在虚拟机里安装推荐vim。）

sudo apt-get install vim

第三步安装SSHserver、配置SSH无密钥登录

集群、单节点模式都需要用到SSH登陆（类似于远程登陆，你可以登录某台Linux电脑，并且在上面运行命令），Ubuntu 默认已安装了 SSH client，此外还需要安装 SSH server：

sudo apt-get install openssh-server

安装后，可以使用如下命令登陆本机：

ssh localhost

此时会有如下提示(SSH首次登陆提示)，输入yes 。然后按提示输入密码 hadoop，这样就登陆到本机了。
但这样登陆是需要每次输入密码的，我们需要配置成SSH无密码登陆比较方便。
首先退出刚才的 ssh，就回到了我们原先的终端窗口，然后利用 ssh-keygen 生成密钥，并将密钥加入到授权中：

exit                                     #退出刚才的登录的本机ssh localhost
cd ~/.ssh                                #切换到.ssh文件夹 
ssh-keygen -t rsa                        # 生产登录密钥，会有提示，都按回车就可以
cat id_rsa.pub >> authorized_keys        #加入授权

~的含义：在 Linux 系统中，~ 代表的是用户的主目录，即 “/home/用户名” 这个目录，如你的用户名为 hadoop，则 ~ 就代表 “/home/hadoop/”。 此外，# 后面的文字是注释。此时再用 ssh localhost 命令，无需输入密码就可以直接登陆了，如下图所示。

第四步安装Java环境

因为后期安装Spark1.6.0时发现Java1.8会出现莫名的错误，安装JDK1.7
jdk下载地址从这里下载tar.gz结尾的压缩包。解压到相关目录，本次将jdk解压到/usr/local/jvm/；如果没有jvm/文件夹可以先进行创建，由于本次是用hadoop账户登录的，因此在/usr/local文件夹下一系列操作都要前缀sudo命令。

sudo tar -zxvf jdk1.7.0_79.tar.gz -C /usr/local/jvm

接着需要配置一下 JAVA_HOME 环境变量，为方便，我们在 ~/.bashrc 中进行设置：

vim ~/.bashrc

可以在文件的开头添加如下：

export JAVA_HOME=/usr/lib/jvm/jdk1.7.0_79

并在PATH后配置如下：

export PATH=$PATH:$JAVA_HOME/bin

退出.bashrc文件，运行一下命令使环境变量生效

source ~/.bashrc                              # 使变量设置生效
echo $JAVA_HOME                               # 检验是否设置正确

第五步网络配置

（如果已进行过伪分布式配置请执行这一步，没没配置则不需要）在 Master 主机上完成伪分布式配置后，请先关闭 Hadoop (/usr/local/hadoop/sbin/stop-dfs.sh)，再进行后续集群配置。
我这边是使用了三台主机搭建集群，主机名与IP地址对应如下：

Master  192.168.3.53
Slave1  192.168.3.54
Slave2  192.168.3.55

首先选定哪台主机要作为Master（比如我选择的是ip为 192.168.3.53 这台），然后在该主机的 /etc/hostname 中，修改机器名为Master，将其他主机命令为Slave1、Slave2等。接着在 /etc/hosts 中，把所有集群的主机信息都写进去。

sudo vim /etc/hostname      # 在此处修改主机名
sudo vim /etc/hosts         # 在此处修改主机与 IP 的映射关系

完成后，如下图所示(/etc/hosts 中只能有一个127.0.0.1，对应为localhost，否则会出错)。

最好重启一下，在终端中才会看到机器名的变化。重启可用命令：

sudo shutdown -r now

注意，该网络配置需要在所有主机上进行
如上面讲的是 Master 主机的配置，而在其他的 Slave 主机上，也要对 /etc/hostname（修改为 Slave1、Slave2等） 和 /etc/hosts（一般跟 Master 上的配置一样） 这两个文件进行相应的修改！
配置好后可以在各个主机上执行ping Master和ping Slave1测试一下，看是否相互ping得通。
SSH无密码登陆节点
这个操作是要让Master节点可以无密码SSH登陆到Slave节点上。
首先生成 Master 的公匙，在 Master 节点终端中执行：

cd ~/.ssh                      # 如果没有该目录，先执行一次ssh localhost
ssh-keygen -t rsa              # 一直按回车就可以，生成的密钥保存为.ssh/id_rsa

Master 节点需能无密码 ssh 本机，这一步还是在 Master 节点上执行：

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

这一步再Master再上面已经执行过了，Mster不用再执行可以直接将此公钥传给两个从机。
完成后可以使用 ssh Master 验证一下。接着将公匙传输到 Slave1与Slave2 节点：

scp ~/.ssh/id_rsa.pub hadoop@Slave1:/home/hadoop/

scp时会要求输入Slave1上hadoop用户的密码(hadoop)，输入完成后会提示传输完毕。

接着在 Slave1节点 上将ssh公匙保存到相应位置，执行

cat ~/id_rsa.pub >> ~/.ssh/authorized_keys

如果有其他 Slave 节点，也要执行 将公匙传输到 Slave 节点、在 Slave 节点上加入授权 这两步。
最后在 Master 节点上就可以无密码SSH到Slave1与Slave2节点了。

ssh slave

第六步安装Hadoop

最新的 Hadoop 2 稳定版可以通过 官网(这个网站为官网而且下载速度很快)或者 这里（这也是官网但下载速度有点慢，这个视自己情况而定）下载，目前最新的版本是 2.6.0，总之请下载 hadoop-2.x.y.tar.gz 这个格式的文件，这是编译好的，另一个包含 src 的则是 Hadoop 源代码。同时强烈建议也下载 hadoop-2.x.y.tar.gz.mds 这个文件，该文件包含了检验值可用于检查 hadoop-2.x.y.tar.gz 的完整性，否则若文件发生了损坏或下载不完整，Hadoop 将无法正常运行。
下载前一定要仔细核对文件名后缀不要下成包含 src 的 Hadoop 源代码，这个是安装不了的。
用命令来下载

wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.6.0/hadoop-2.6.0.tar.gz
wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.6.0/hadoop-2.6.0.tar.gz.mds

远程虚拟机下载到当前文件夹下（输入pwd可查看当前所在文件夹），当然如果你默认下载到某一文件下你需要用cd命令去切换到那一文件夹下来执行ls命令，下面输入ls命令查看这两个文件:

如果你用的不是 2.6.0 版本，则将所有命令中出现的 2.6.0 更改为你所使用的版本。

cat ./hadoop-2.6.0.tar.gz.mds | grep 'MD5' # 列出md5检验值md5
md5sum ./hadoop-2.6.0.tar.gz | tr "a-z" "A-Z" # 计算md5值，并转化为大写，方便比较

若文件不完整则这两个值一般差别很大，可以简单对比下前几个字符跟后几个字符是否相等即可，如下图所示，如果两个值不一样，请务必重新下载。

我们选择将 Hadoop 安装至 /usr/local/ 中：

sudo tar -zxvf ./hadoop-2.6.0.tar.gz -C /usr/local     # 解压到/usr/local中

提示需要输入用户hadoop密码，我们输入之前所设密码：hadoop

cd /usr/local/
sudo mv ./hadoop-2.6.0/ ./hadoop          # 将文件夹名改为hadoop 
sudo chown -R hadoop:hadoop ./hadoop      # 修改文件的所有权，将文件划到hadoop用户，方便运行

Hadoop解压后即可使用。输入如下命令来检查 Hadoop 是否可用，成功则会显示命令用法：

cd /usr/local/hadoop
./bin/hadoop

第七步配置集群分布式环境

集群/分布式模式需要修改 etc/hadoop 中的5个配置文件，后四个文件可点击查看官方默认设置值，这里仅设置了正常启动所必须的设置项： slaves、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml。
1、文件slave

cd /usr/local/hadoop/etc/hadoop
vim slaves

将原来 localhost 删除，把所有Slave的主机名写上，每行一个。例如我只有俩个 Slave节点，那么该文件中就只有俩行内容： Slave1与Slave2。
2、文件 core-site.xml ，将原本的如下内容：
改为下面的配置。后面的配置文件的修改类似。

<configuration>
 <property>
   <name>fs.defaultFSname>
   <value>hdfs://Master:9000value>
 property>
 <property>
   <name>hadoop.tmp.dirname>
   <value>file:/usr/local/hadoop/tmpvalue>
   <description>Abase for other temporary directories.description>
 property>
configuration>

修改后如下（后面的文件类似）：

后面的类似不不再一一放图，新加的内容放在

configuration>

之间
3、文件hdfs-site.xml，dfs.replication指的是文件副本数，因为只有两个Slave，所以dfs.replication的值设为2。一般设置为3，hadoop默认为3，表示一共三副本。

<property>
    <name>dfs.namenode.secondary.http-addressname>
    <value>Master:50090value>
property>
<property>
    <name>dfs.namenode.name.dirname>
    <value>file:/usr/local/hadoop/tmp/dfs/namevalue>
property>
<property>
    <name>dfs.datanode.data.dirname>
    <value>file:/usr/local/hadoop/tmp/dfs/datavalue>
property>
<property>
    <name>dfs.replicationname>
    <value>2value>
property>

4、文件mapred-site.xml，这个文件不存在，首先需要从模板中复制一份：

cp mapred-site.xml.template mapred-site.xml

然后配置修改如下：

<property>
    <name>mapreduce.framework.namename>
    <value>yarnvalue>
property>

5、文件yarn-site.xml：

<property>
    <name>yarn.resourcemanager.hostnamename>
    <value>Mastervalue>
property>
<property>
   <name>yarn.nodemanager.aux-servicesname>
   <value>mapreduce_shufflevalue>
property>

配置好后，将 Master 上的 Hadoop 文件复制到各个节点上(虽然直接采用 scp 复制也可以正确运行，但会有所不同，如符号链接 scp 过去后就有点不一样了。所以先打包再复制比较稳妥)。因为之前有跑过伪分布式模式，建议在切换到集群模式前先删除之前的临时文件。没有就不用删，可以在/usr/local/hadoop/目录下用ls命令查看一下是否有tmp这个文件。看完后记得回到/usr/local/目录下，否这打包压缩命令会提示无hadoop文件夹。

cd /usr/localrm -r ./hadoop/tmp                    # 删除 Hadoop 临时文件
sudo tar -zcf ./hadoop.tar.gz ./hadoop
scp ./hadoop.tar.gz hadoop@slave1:/home/hadoop

打包压缩后就会看到一个hadoop压缩文件。
把它分别发给Slave1与Slave2
在Slave1与Slave2上执行：

sudo tar -zxf ~/hadoop.tar.gz -C /usr/local
sudo chown -R hadoop:hadoop /usr/local/hadoop

切换 Hadoop 模式应删除之前的临时文件
切换 Hadoop 的模式，不管是从集群切换到伪分布式，还是从伪分布式切换到集群，如果遇到无法正常启动的情况，可以删除所涉及节点的临时文件夹，这样虽然之前的数据会被删掉，但能保证集群正确启动。或者可以为集群模式和伪分布式模式设置不同的临时文件夹（未验证）。所以如果集群以前能启动，但后来启动不了，特别是 DataNode 无法启动，不妨试着删除所有节点（包括 Slave 节点）上的 tmp 文件夹，重新执行一次 bin/hdfs namenode -format，再次启动试试。
然后在Master节点上就可以启动hadoop了。

cd /usr/local/hadoop/bin/hdfs namenode -format      #首次运行需要执行初始化，后面不再需要

格式化成功截图：

启动hadoop

sbin/start-dfs.sh
sbin/start-yarn.sh

通过命令jps可以查看各个节点所启动的进程。

通过jps查看Master的Hadoop进程
可以看到Master节点启动了NameNode、SecondrryNameNode、ResourceManager进程。
通过jps查看Slave的Hadoop进程
Slave节点则启动了DataNode和NodeManager进程。
另外也可以在Master节点上通过命令

bin/hdfs dfsadmin -report

查看DataNode是否正常启动。例如我这边一共有2个Datanodes。
成功的话会看到俩个活动的节点，并且会看到各个节点的ip地址
通过dfsadmin查看DataNode的状态
通过查看启动日志分析启动失败原因
有时Hadoop集群无法正确启动，如 Master 上的 NameNode 进程没有顺利启动，这时可以查看启动日志来排查原因，不过新手可能需要注意几点：
·启动时会提示 “Master: starting namenode, logging to /usr/local/hadoop/logs/hadoop-hadoop-namenode-Master.out”，但其实启动日志信息是记录在 /usr/local/hadoop/logs/hadoop-hadoop-namenode-Master.log 中；
·每一次的启动日志都是追加在日志文件之后，所以得拉到最后面看，这个看下记录的时间就知道了。
·一般出错的提示在最后面，也就是写着 Error 或者 Java 异常的地方。
也可以通过Web页面看到查看DataNode和NameNode的状态。

http://master:50070/              #可以直接访问网址

关闭Hadoop集群可以用如下脚本命令：

sbin/stop-dfs.sh
sbin/stop-yarn.sh

第八步执行分布式实例

执行分布式实例过程与伪分布式模式一样。首先创建所需的几个目录

bin/hdfs dfs -mkdir -p /user/hadoop

将etc/hadoop中的文件作为输入文件复制到分布式文件系统中。

bin/hdfs dfs -put etc/hadoop input
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar grep input output 'dfs[a-z.]+'

通过查看DataNode的状态（占用大小有改变），输入文件是否复制到了DataNode中。
通过Web页面查看DataNode的状态
接着就可以运行MapReduce作业了。
运行时的信息如下所示，显示Job的进度。可能会比较慢，但如果迟迟没有进度，比如10分钟都没看到进度，那不妨重启Hadoop再试试。

显示MapReduce Job的进度，同样可以通过Web界面查看任务进度。

http://master:8088/cluster

通过Web页面集群状态和MapReduce作业的信息
在 Web 界面点击 “Tracking UI” 这一列的 History，可能会提示网页无法打开，遇到这种情况需要手动开启 jobhistory server，开启之后刷新页面再点击就可以打开了。
/usr/local/hadoop/sbin/mr-jobhistory-daemon.sh start historyserver
执行完毕后的输出结果：

bin/hdfs dfs -cat output/*

至此hadoop完全分布式安装完成。