【Hadoop入门学习系列之一】Ubuntu下安装Hadoop（单机模式+伪分布模式）
一.安装须知
Hadoop版本问题：
Hadoop 有两个主要版本，Hadoop 1.x.y 和 Hadoop 2.x.y 系列，比较老的教材上用的可能是 0.20 这样的版本。Hadoop 2.x 版本在不断更新，本教程均可适用。如果需安装 0.20，1.2.1这样的版本，本教程也可以作为参考，主要差别在于配置项，配置请参考官网教程或其他教程。自学建议安装最新版本，目前是hadoop2.7.2
单机模式&&伪分布模式
- 单机模式（standalone）
单机模式是Hadoop的默认模式。当首次解压Hadoop的源码包时，Hadoop无法了解硬件安装环境，便保守地选择了最小配置。在这种默认模式下所有3个XML文件均为空。当配置文件为空时，Hadoop会完全运行在本地。因为不需要与其他节点交互，单机模式就不使用HDFS，也不加载任何Hadoop的守护进程。**该模式主要用于开发调试**MapReduce程序的应用逻辑。
- 伪分布模式（Pseudo-Distributed Mode）
伪分布模式在“单节点集群”上运行Hadoop，其中所有的守护进程都运行在同一台机器上。该模式在单机模式之上增加了代码调试功能，允许你检查内存使用情况，HDFS输入输出，以及其他的守护进程交互。
- 伪分布模式（Pseudo-Distributed Mode）
- 全分布模式（Fully Distributed Mode）
Hadoop守护进程运行在一个集群上。
备注：本教程使用 Ubuntu 14.04 64位 +VMware12.0+Hadoop2.2.0组合，请自行下载相关文件。
- 单机模式（standalone）
二.开始安装
1.前期准备
[1]将下载好的jdk压缩包jdk-7u79-linux-x64.tar复制到目录/app/complied下，并解压至路径/usr/local/java下面
hadoop@hadoop1:~$ cd /app 进入app目录下
hadoop@hadoop1:~$ /app mkdir complied 创建complied目录
root@hadoop1:cd /home/hadoop 进入jdk安装包所在目录
root@hadoop1:/home/hadoop# cp jdk-7u79-linux-x64.tar /app/compied 复制jdk安装包至目录/app/complied下
root@hadoop1:/app/complied# tar -zxvf jdk-7u79-linux-x64.tar 解压安装包
root@hadoop1:/app/complied# mv jdk1.7.0_79 /usr/local/java 移动解压文件
[2]将下载好的hadoop压缩包hadoop-2.2.0-64bit.tar.gz复制到目录/app/complied下，并解压至路径/usr/local/hadoop下面
root@hadoop1:~# cd /home/hadoop 进入hadoop安装包所在目录
root@hadoop1:/home/hadoop# cp hadoop-2.2.0-64bit.tar.gz /app/compied 复制hadoop安装包至目录/app/complied下
root@hadoop1:/app/complied# tar -zxvf hadoop-2.2.0-64bit.tar.gz 解压安装包
root@hadoop1:/app/complied# mv hadoop2.2.0 /usr/local/hadoop 移动解压文件
2.创建hadoop用户组和hadoop用户
root@hadoop1:~# sudo addgroup hadoop 创建用户组
root@hadoop1:~# sudo adduser --ingroup hadoop hadoop 在hadoop用户组中创建用户hadoop
root@hadoop1:~# sudo adduser hadoop sudo 创建hadoop用户
3.安装SSH、配置SSH无密码登陆
由于Hadoop用ssh通信，先安装ssh
hadoop@hadoop1:~$ sudo apt-get install openssh-serverssh安装完成以后，先启动SSH服务
hadoop@hadoop1:~$ sudo /etc/init.d/ssh start 启动后，可以通过如下命令查看服务是否正确启动：
hadoop@hadoop1:~$ ps -e | grep ssh 作为一个安全通信协议，使用时需要密码，因此我们要设置成免密码登录，生成私钥和公钥：
hadoop@hadoop1:~$ ssh-keygen -t rsa -P ""
第一次操作时会提示输入密码，按Enter直接过，这时会在～/home/{username}/.ssh下生成两个文件：id_rsa和id_rsa.pub，前者为私钥，后者为公钥，现在我们将公钥追加到authorized_keys中（authorized_keys用于保存所有允许以当前用户身份登录到ssh客户端用户的公钥内容）：
hadoop@hadoop1:~$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys 现在可以登入ssh确认以后登录时不用输入密码：
hadoop@hadoop1:~$ ssh localhost登出：
hadoop@hadoop1:~$ exit4.安装配置Java环境
- 安装openjdk
hadoop@hadoop1:~$ sudo apt-get install openjdk-8-jdk
安装好 OpenJDK 后，需要找到相应的安装路径，这个路径是用于配置 JAVA_HOME 环境变量的。执行如下命令：
hadoop@hadoop1:~$ dpkg -L openjdk-7-jdk | grep '/bin/javac'我们需要的路径为 /usr/lib/jvm/java-8-openjdk-amd64
接着配置 JAVA_HOME 环境变量，为方便，我们在 ~/.bashrc 中进行设置
hadoop@hadoop1:~$ vim ~/.bashrc
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64 #jdk的安装路径接着还需要让该环境变量生效，执行如下代码：
source ~/.bashrc #使变量设置生效测试是否配置成功
echo $JAVA_HOME # 检验变量值
java -version
$JAVA_HOME/bin/java -version # 与直接执行 java -version 一样
- 安装oracle的jdk
前面准备部分已经将jdk压缩包解压后的文件复制到/usr/local/java目录中，按照openjdk的环境变量配置方式配置即可。
5.安装配置hadoop环境
hadoop解压目录为/usr/local/hadoop,修改hadoop用户对hadoop文件夹的读写权限
hadoop@hadoop1：~$ sudo chown 774 hadoop ./hadoop- 设定hadoop-env.sh(Java 安装路径)
进入./etc/hadoop目录，打开hadoop-env.sh，添加以下信息：
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64 (openjdk的默认安装路径)
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:/usr/local/hadoop/bin- Hadoop单机配置(非分布式)
Hadoop 默认模式为非分布式模式，无需进行其他配置即可运行。非分布式即单Java进程，方便进行调试。
现在我们可以执行例子来感受下Hadoop的运行。Hadoop 附带了丰富的例子（运行 ./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar 可以看到所有例子），包括 wordcount、terasort、join、grep 等。
在此我们选择运行 wordcount例子，我们将input文件夹中的所有文件作为输入，筛选当中单词并统计出现的次数，最后输出结果到output文件夹中。
hadoop@hadoop1:/usr/local/hadoop$ cd /usr/local/hadoop
hadoop@hadoop1:/usr/local/hadoop$ mkdir ./input
hadoop@hadoop1:/usr/local/hadoop$ cp ./etc/hadoop/*.xml ./input # 将配置文件作为输入文件
hadoop@hadoop1:/usr/local/hadoop$ ./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar wordcount input output
hadoop@hadoop1:/usr/local/hadoop$ cat ./output/* # 查看运行结果解释命令：
bin/hadoop jar（使用hadoop运行jar包）hadoop-mapreduce-examples..jar（代表版本号）wordcount（要使用的类，后边的是参数）input output‘dfs[a-z.]+’整个就是运行hadoop示例程序中的wordcount，对应的hdfs上的输入目录为input、输出目录为output。
==注意：Hadoop默认不会覆盖结果文件，因此再次运行上面实例会提示出错，需要先将 ./output 删除。==
hadoop@hadoop1:/usr/local/hadoop$ rm -r ./output- Hadoop伪分布式配置
Hadoop 可以在单节点上以伪分布式的方式运行，Hadoop 进程以分离的Java进程来运行，节点既作为 NameNode 也作为 DataNode，同时，读取的是HDFS 中的文件。
Hadoop 的配置文件位于/usr/local/hadoop/etc/hadoop/ 中，伪分布式需要修改2个配置文件core-site.xml 和 hdfs-site.xml。Hadoop的配置文件是 xml 格式，每个配置以声明 property 的 name 和 value 的方式来实现。
- 修改配置文件core-site.xml (通过 gedit 编辑会比较方便:gedit ./etc/hadoop/core-site.xml)
<configuration>
<property>
<name>hadoop.tmp.dirname>
<value>file:/usr/local/hadoop/tmpvalue>
<description>Abase for other temporary directories.description>
property>
<property>
<name>fs.defaultFSname>
<value>hdfs://localhost:9000value>
property>
configuration>- 修改配置文件 hdfs-site.xml
<configuration>
<property>
<name>dfs.replicationname>
<value>1value>
property>
<property>
<name>dfs.namenode.name.dirname>
<value>file:/usr/local/hadoop/tmp/dfs/namevalue>
property>
<property>
<name>dfs.datanode.data.dirname>
<value>file:/usr/local/hadoop/tmp/dfs/datavalue>
property>
configuration>Hadoop配置文件说明
====Hadoop 的运行方式是由配置文件决定的====（运行Hadoop时会读取配置文件），因此如果需要从伪分布式模式切换回非分布式模式，需要删除 core-site.xml 中的配置项。
此外，伪分布式虽然只需要配置fs.defaultFS和dfs.replication就可以运行（官方教程如此），不过若没有配置 hadoop.tmp.dir 参数，则默认使用的临时目录为/tmp/hadoo-hadoop，而这个目录在重启时有可能被系统清理掉，导致必须重新执行format才行。所以我们进行了设置，同时也指定dfs.namenode.name.dir和dfs.datanode.data.dir，否则在接下来的步骤中可能会出错。
配置完成后，执行 NameNode 的格式化:
hadoop@hadoop1:/usr/local/hadoop$ ./bin/hdfs namenode -format接着开启 NameNode 和 DataNode 守护进程。
hadoop@hadoop1:/usr/local/hadoop$ ./sbin/start-dfs.sh成功启动后，可以访问 Web 界面 http://localhost:50070 查看 NameNode 和 Datanode 信息，还可以在线查看 HDFS 中的文件。
- 安装Hadoop集群
参考博客：http://www.powerxing.com/install-hadoop-cluster/
三.测试并运行实例
1.单机模式之wordcount实例
hadoop@hadoop1:/usr/local/hadoop$ cd /usr/local/hadoop
hadoop@hadoop1:/usr/local/hadoop$ mkdir ./input
hadoop@hadoop1:/usr/local/hadoop$ cp ./etc/hadoop/*.xml ./input #将配置文件作为输入文件
hadoop@hadoop1:/usr/local/hadoop$ ./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar wordcount input output
hadoop@hadoop1:/usr/local/hadoop$ cat ./output/* # 查看运行结果2.伪分布模式之grep实例
上面的单机模式，wordcount 例子读取的是本地数据，伪分布式读取的则是 HDFS 上的数据。要使用 HDFS，首先需要在 HDFS 中创建用户目录：
hadoop@hadoop1:/usr/local/hadoop$ ./bin/hadoop fs -mkdir -p /user/hadoop注意：创建的用户目录不能直接在系统中查看，因为hadoop创建的是逻辑上的目录，必须在hadoop上才能查看。查看命令如下：
hadoop@hadoop1:/usr/local/hadoop$ ./bin/hadoop fs -ls /接着将 ./etc/hadoop 中的 xml文件作为输入文件复制到分布式文件系统中，即将/usr/local/hadoop/etc/hadoop 复制到分布式文件系统中的 /user/hadoop/input中。我们使用的是hadoop用户，并且已创建相应的用户目录 /user/hadoop ，因此在命令中就可以使用相对路径如 input，其对应的绝对路径就是 /user/hadoop/input:
hadoop@hadoop1:/usr/local/hadoop$ ./bin/hdfs dfs -mkdir input
hadoop@hadoop1:/usr/local/hadoop$ ./bin/hdfs dfs -put ./etc/hadoop/*.xml input复制完成后，可以通过如下命令查看文件列表：
hadoop@hadoop1:/usr/local/hadoop$ ./bin/hadoop fs -ls input伪分布式运行 MapReduce 作业的方式跟单机模式相同，区别在于伪分布式读取的是HDFS中的文件（可以将单机步骤中创建的本地 input 文件夹，输出结果 output 文件夹都删掉来验证这一点）。
hadoop@hadoop1:/usr/local/hadoop$ ./bin/hadoopjar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar grep input output 'dfs[a-z.]+'查看运行结果的命令（查看的是位于 HDFS 中的输出结果）：
hadoop@hadoop1:/usr/local/hadoop$ ./bin/hdfs dfs -cat output/*
运行结果还可以取回本地
hadoop@hadoop1:/usr/local/hadoop$ rm -r ./output # 先删除本地的 output 文件夹（如果存在）
hadoop@hadoop1:/usr/local/hadoop$ ./bin/hdfs dfs -get output ./output # 将 HDFS 上的 output 文件夹拷贝到本机
hadoop@hadoop1:/usr/local/hadoop$ cat ./output/*Hadoop 运行程序时，输出目录不能存在，否则会提示错误 “org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory hdfs://localhost:9000/user/hadoop/output already exists” ，因此若要再次执行，需要执行如下命令删除 output 文件夹:
hadoop@hadoop1:/usr/local/hadoop$ ./bin/hdfs dfs -rm -r output # 删除 output 文件夹==备注：./bin/hdfs dfs = ./bin/hadoop fs==
关闭 Hadoop
hadoop@hadoop1:/usr/local/hadoop$ ./sbin/stop-dfs.sh注意
下次启动 hadoop 时，无需进行 NameNode 的初始化，只需要运行 ./sbin/start-dfs.sh 就可以！
3.启动YARN
新版的 Hadoop 使用了新的 MapReduce 框架（MapReduce V2，也称为 YARN，Yet Another Resource Negotiator）。
YARN 是从 MapReduce 中分离出来的，==负责资源管理与任务调度==。YARN 运行于 MapReduce 之上，提供了==高可用性==、==高扩展性==，上述通过 ./sbin/start-dfs.sh 启动 Hadoop，仅仅是启动了 MapReduce 环境，我们可以启动 YARN ，让 YARN 来负责资源管理与任务调度。
- 首先修改配置文件 mapred-site.xml，这边需要先进行重命名：
hadoop@hadoop1:/usr/local/hadoop$ mv ./etc/hadoop/mapred-site.xml.template ./etc/hadoop/mapred-site.xml- 然后再进行编辑，同样使用 gedit 编辑会比较方便些 gedit ./etc/hadoop/mapred-site.xml ：
<configuration>
<property>
<name>mapreduce.framework.namename>
<value>yarnvalue>
property>
configuration>- 接着修改配置文件 yarn-site.xml：
<configuration>
<property>
<name>yarn.nodemanager.aux-servicesname>
<value>mapreduce_shufflevalue>
property>
configuration>- 然后就可以启动 YARN 了（需要先执行过 ./sbin/start-dfs.sh）：
hadoop@hadoop1:/usr/local/hadoop$ ./sbin/start-yarn.sh # 启动YARN
hadoop@hadoop1:/usr/local/hadoop$ ./sbin/mr-jobhistory-daemon.sh start historyserver # 开启历史服务器，才能在Web中查看任务运行情况
- 开启后通过 jps 查看，可以看到多了 NodeManager 和 ResourceManager 两个后台进程，如下图所示。
- 启动 YARN 之后，运行实例的方法还是一样的，仅仅是资源管理方式、任务调度不同。观察日志信息可以发现，不启用 YARN 时，是 “mapred.LocalJobRunner” 在跑任务，启用 YARN 之后，是 “mapred.YARNRunner” 在跑任务。启动 YARN 有个好处是可以通过Web界面查看任务的运行情况：http://localhost:8088/cluster，如下图所示。
但 YARN 主要是为集群提供更好的资源管理与任务调度，然而这在单机上体现不出价值，反而会使程序跑得稍慢些。因此在单机上是否开启 YARN 就看实际情况了。
备注：不启动 YARN 需重命名 mapred-site.xml
如果不想启动 YARN，务必把配置文件 mapred-site.xml 重命名，改成 mapred-site.xml.template，需要用时改回来就行。否则在该配置文件存在，而未开启 YARN 的情况下，运行程序会提示 “Retrying connect to server: 0.0.0.0/0.0.0.0:8032” 的错误，这也是为何该配置文件初始文件名为 mapred-site.xml.template。
- 关闭 YARN 的脚本如下：
hadoop@hadoop1:/usr/local/hadoop$ ./sbin/stop-yarn.sh
hadoop@hadoop1:/usr/local/hadoop$ ./sbin/mr-jobhistory-daemon.sh stop historyserver四.总结
花了一整天的时间，终于把这篇博客写完了，对hadoop的环境配置和工作工程有了一个初步的认识了，尤其对hdfs文件系统了有了初步的感觉，同时linux的使用又熟练一些，在这里感谢网络上的各个小伙伴的帮助，之后会继续跟进hadoop相关的内容。