【Hadoop入门学习系列之一】Ubuntu下安装Hadoop(单机模式+伪分布模式)

一.安装须知

  • Hadoop版本问题:

    Hadoop 有两个主要版本,Hadoop 1.x.y 和 Hadoop 2.x.y 系列,比较老的教材上用的可能是 0.20 这样的版本。Hadoop 2.x 版本在不断更新,本教程均可适用。如果需安装 0.20,1.2.1这样的版本,本教程也可以作为参考,主要差别在于配置项,配置请参考官网教程或其他教程。自学建议安装最新版本,目前是hadoop2.7.2

  • 单机模式&&伪分布模式

    • 单机模式(standalone)
      单机模式是Hadoop的默认模式。当首次解压Hadoop的源码包时,Hadoop无法了解硬件安装环境,便保守地选择了最小配置。在这种默认模式下所有3个XML文件均为空。当配置文件为空时,Hadoop会完全运行在本地。因为不需要与其他节点交互,单机模式就不使用HDFS,也不加载任何Hadoop的守护进程。**该模式主要用于开发调试**MapReduce程序的应用逻辑。
      • 伪分布模式(Pseudo-Distributed Mode)
        伪分布模式在“单节点集群”上运行Hadoop,其中所有的守护进程都运行在同一台机器上。该模式在单机模式之上增加了代码调试功能,允许你检查内存使用情况,HDFS输入输出,以及其他的守护进程交互
    • 全分布模式(Fully Distributed Mode)
      Hadoop守护进程运行在一个集群上。

    备注:本教程使用 Ubuntu 14.04 64位 +VMware12.0+Hadoop2.2.0组合,请自行下载相关文件。

二.开始安装

1.前期准备

[1]将下载好的jdk压缩包jdk-7u79-linux-x64.tar复制到目录/app/complied下,并解压至路径/usr/local/java下面

hadoop@hadoop1:~$ cd /app  进入app目录下
hadoop@hadoop1:~$ /app mkdir complied  创建complied目录
root@hadoop1:cd /home/hadoop  进入jdk安装包所在目录
root@hadoop1:/home/hadoop# cp jdk-7u79-linux-x64.tar /app/compied 复制jdk安装包至目录/app/complied下
root@hadoop1:/app/complied# tar -zxvf jdk-7u79-linux-x64.tar 解压安装包
root@hadoop1:/app/complied# mv jdk1.7.0_79 /usr/local/java 移动解压文件

[2]将下载好的hadoop压缩包hadoop-2.2.0-64bit.tar.gz复制到目录/app/complied下,并解压至路径/usr/local/hadoop下面

root@hadoop1:~# cd /home/hadoop  进入hadoop安装包所在目录
root@hadoop1:/home/hadoop# cp hadoop-2.2.0-64bit.tar.gz /app/compied 复制hadoop安装包至目录/app/complied下
root@hadoop1:/app/complied# tar -zxvf hadoop-2.2.0-64bit.tar.gz 解压安装包
root@hadoop1:/app/complied# mv hadoop2.2.0 /usr/local/hadoop 移动解压文件

2.创建hadoop用户组和hadoop用户

root@hadoop1:~# sudo addgroup hadoop  创建用户组
root@hadoop1:~# sudo adduser --ingroup hadoop hadoop 在hadoop用户组中创建用户hadoop
root@hadoop1:~# sudo adduser hadoop sudo 创建hadoop用户

3.安装SSH、配置SSH无密码登陆

由于Hadoop用ssh通信,先安装ssh

hadoop@hadoop1:~$ sudo apt-get install openssh-server

ssh安装完成以后,先启动SSH服务

hadoop@hadoop1:~$ sudo /etc/init.d/ssh start 

启动后,可以通过如下命令查看服务是否正确启动:

hadoop@hadoop1:~$ ps -e | grep ssh 

作为一个安全通信协议,使用时需要密码,因此我们要设置成免密码登录,生成私钥和公钥:

hadoop@hadoop1:~$ ssh-keygen -t rsa -P ""

【Hadoop入门学习系列之一】Ubuntu下安装Hadoop(单机模式+伪分布模式)_第1张图片

第一次操作时会提示输入密码,按Enter直接过,这时会在~/home/{username}/.ssh下生成两个文件:id_rsa和id_rsa.pub,前者为私钥,后者为公钥,现在我们将公钥追加到authorized_keys中(authorized_keys用于保存所有允许以当前用户身份登录到ssh客户端用户的公钥内容):

hadoop@hadoop1:~$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys 

现在可以登入ssh确认以后登录时不用输入密码:

hadoop@hadoop1:~$ ssh localhost

登出:

hadoop@hadoop1:~$ exit

4.安装配置Java环境
- 安装openjdk

hadoop@hadoop1:~$ sudo apt-get install openjdk-8-jdk

安装好 OpenJDK 后,需要找到相应的安装路径,这个路径是用于配置 JAVA_HOME 环境变量的。执行如下命令:

hadoop@hadoop1:~$ dpkg -L openjdk-7-jdk | grep '/bin/javac'

我们需要的路径为 /usr/lib/jvm/java-8-openjdk-amd64
接着配置 JAVA_HOME 环境变量,为方便,我们在 ~/.bashrc 中进行设置

hadoop@hadoop1:~$ vim ~/.bashrc
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64   #jdk的安装路径

接着还需要让该环境变量生效,执行如下代码:

source ~/.bashrc    #使变量设置生效

测试是否配置成功

echo $JAVA_HOME     # 检验变量值
java -version
$JAVA_HOME/bin/java -version  # 与直接执行 java -version 一样

这里写图片描述

  • 安装oracle的jdk

前面准备部分已经将jdk压缩包解压后的文件复制到/usr/local/java目录中,按照openjdk的环境变量配置方式配置即可。

5.安装配置hadoop环境

hadoop解压目录为/usr/local/hadoop,修改hadoop用户对hadoop文件夹的读写权限

hadoop@hadoop1:~$ sudo chown 774 hadoop ./hadoop
  • 设定hadoop-env.sh(Java 安装路径)
    进入./etc/hadoop目录,打开hadoop-env.sh,添加以下信息:
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64 (openjdk的默认安装路径)
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:/usr/local/hadoop/bin
  • Hadoop单机配置(非分布式)

Hadoop 默认模式为非分布式模式,无需进行其他配置即可运行。非分布式即单Java进程,方便进行调试。

现在我们可以执行例子来感受下Hadoop的运行。Hadoop 附带了丰富的例子(运行 ./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar 可以看到所有例子),包括 wordcount、terasort、join、grep 等。

在此我们选择运行 wordcount例子,我们将input文件夹中的所有文件作为输入,筛选当中单词并统计出现的次数,最后输出结果到output文件夹中。

hadoop@hadoop1:/usr/local/hadoop$ cd /usr/local/hadoop
hadoop@hadoop1:/usr/local/hadoop$ mkdir ./input
hadoop@hadoop1:/usr/local/hadoop$ cp ./etc/hadoop/*.xml ./input   # 将配置文件作为输入文件
hadoop@hadoop1:/usr/local/hadoop$ ./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar wordcount input output 
hadoop@hadoop1:/usr/local/hadoop$ cat ./output/*          # 查看运行结果

解释命令:

bin/hadoop jar(使用hadoop运行jar包)hadoop-mapreduce-examples..jar(代表版本号)wordcount(要使用的类,后边的是参数)input output‘dfs[a-z.]+’整个就是运行hadoop示例程序中的wordcount,对应的hdfs上的输入目录为input、输出目录为output。

==注意:Hadoop默认不会覆盖结果文件,因此再次运行上面实例会提示出错,需要先将 ./output 删除。==

hadoop@hadoop1:/usr/local/hadoop$ rm -r ./output
  • Hadoop伪分布式配置

Hadoop 可以在单节点上以伪分布式的方式运行,Hadoop 进程以分离的Java进程来运行,节点既作为 NameNode 也作为 DataNode,同时,读取的是HDFS 中的文件。

Hadoop 的配置文件位于/usr/local/hadoop/etc/hadoop/ 中,伪分布式需要修改2个配置文件core-site.xml 和 hdfs-site.xml。Hadoop的配置文件是 xml 格式,每个配置以声明 property 的 name 和 value 的方式来实现。

  • 修改配置文件core-site.xml (通过 gedit 编辑会比较方便:gedit ./etc/hadoop/core-site.xml)
<configuration>
        <property>
             <name>hadoop.tmp.dirname>
             <value>file:/usr/local/hadoop/tmpvalue>
             <description>Abase for other temporary directories.description>
        property>
        <property>
             <name>fs.defaultFSname>
             <value>hdfs://localhost:9000value>
        property>
configuration>
  • 修改配置文件 hdfs-site.xml
<configuration>
        <property>
             <name>dfs.replicationname>
             <value>1value>
        property>
        <property>
             <name>dfs.namenode.name.dirname>
             <value>file:/usr/local/hadoop/tmp/dfs/namevalue>
        property>
        <property>
             <name>dfs.datanode.data.dirname>
             <value>file:/usr/local/hadoop/tmp/dfs/datavalue>
        property>
configuration>

Hadoop配置文件说明

====Hadoop 的运行方式是由配置文件决定的====(运行Hadoop时会读取配置文件),因此如果需要从伪分布式模式切换回非分布式模式,需要删除 core-site.xml 中的配置项。

此外,伪分布式虽然只需要配置fs.defaultFS和dfs.replication就可以运行(官方教程如此),不过若没有配置 hadoop.tmp.dir 参数,则默认使用的临时目录为/tmp/hadoo-hadoop,而这个目录在重启时有可能被系统清理掉,导致必须重新执行format才行。所以我们进行了设置,同时也指定dfs.namenode.name.dir和dfs.datanode.data.dir,否则在接下来的步骤中可能会出错。
配置完成后,执行 NameNode 的格式化:

hadoop@hadoop1:/usr/local/hadoop$ ./bin/hdfs namenode -format

接着开启 NameNode 和 DataNode 守护进程。

hadoop@hadoop1:/usr/local/hadoop$ ./sbin/start-dfs.sh

成功启动后,可以访问 Web 界面 http://localhost:50070 查看 NameNode 和 Datanode 信息,还可以在线查看 HDFS 中的文件。
【Hadoop入门学习系列之一】Ubuntu下安装Hadoop(单机模式+伪分布模式)_第2张图片

  • 安装Hadoop集群
    参考博客:http://www.powerxing.com/install-hadoop-cluster/

三.测试并运行实例

1.单机模式之wordcount实例

hadoop@hadoop1:/usr/local/hadoop$ cd /usr/local/hadoop
hadoop@hadoop1:/usr/local/hadoop$ mkdir ./input
hadoop@hadoop1:/usr/local/hadoop$ cp ./etc/hadoop/*.xml ./input  #将配置文件作为输入文件
hadoop@hadoop1:/usr/local/hadoop$ ./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar wordcount input output 
hadoop@hadoop1:/usr/local/hadoop$ cat ./output/*          # 查看运行结果

2.伪分布模式之grep实例

上面的单机模式,wordcount 例子读取的是本地数据,伪分布式读取的则是 HDFS 上的数据。要使用 HDFS,首先需要在 HDFS 中创建用户目录:

hadoop@hadoop1:/usr/local/hadoop$ ./bin/hadoop fs -mkdir -p /user/hadoop

注意:创建的用户目录不能直接在系统中查看,因为hadoop创建的是逻辑上的目录,必须在hadoop上才能查看。查看命令如下:

hadoop@hadoop1:/usr/local/hadoop$ ./bin/hadoop fs -ls /

接着将 ./etc/hadoop 中的 xml文件作为输入文件复制到分布式文件系统中,即将/usr/local/hadoop/etc/hadoop 复制到分布式文件系统中的 /user/hadoop/input中。我们使用的是hadoop用户,并且已创建相应的用户目录 /user/hadoop ,因此在命令中就可以使用相对路径如 input,其对应的绝对路径就是 /user/hadoop/input:

hadoop@hadoop1:/usr/local/hadoop$ ./bin/hdfs dfs -mkdir input
hadoop@hadoop1:/usr/local/hadoop$ ./bin/hdfs dfs -put ./etc/hadoop/*.xml input

复制完成后,可以通过如下命令查看文件列表:

hadoop@hadoop1:/usr/local/hadoop$ ./bin/hadoop fs -ls input

伪分布式运行 MapReduce 作业的方式跟单机模式相同,区别在于伪分布式读取的是HDFS中的文件(可以将单机步骤中创建的本地 input 文件夹,输出结果 output 文件夹都删掉来验证这一点)。

hadoop@hadoop1:/usr/local/hadoop$ ./bin/hadoopjar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar grep input output 'dfs[a-z.]+'

查看运行结果的命令(查看的是位于 HDFS 中的输出结果):

hadoop@hadoop1:/usr/local/hadoop$ ./bin/hdfs dfs -cat output/*

【Hadoop入门学习系列之一】Ubuntu下安装Hadoop(单机模式+伪分布模式)_第3张图片

运行结果还可以取回本地

hadoop@hadoop1:/usr/local/hadoop$ rm -r ./output    # 先删除本地的 output 文件夹(如果存在)
hadoop@hadoop1:/usr/local/hadoop$ ./bin/hdfs dfs -get output ./output     # 将 HDFS 上的 output 文件夹拷贝到本机
hadoop@hadoop1:/usr/local/hadoop$ cat ./output/*

Hadoop 运行程序时,输出目录不能存在,否则会提示错误 “org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory hdfs://localhost:9000/user/hadoop/output already exists” ,因此若要再次执行,需要执行如下命令删除 output 文件夹:

hadoop@hadoop1:/usr/local/hadoop$ ./bin/hdfs dfs -rm -r output    # 删除 output 文件夹

==备注:./bin/hdfs dfs = ./bin/hadoop fs==

关闭 Hadoop

hadoop@hadoop1:/usr/local/hadoop$ ./sbin/stop-dfs.sh

注意
下次启动 hadoop 时,无需进行 NameNode 的初始化,只需要运行 ./sbin/start-dfs.sh 就可以!

3.启动YARN

新版的 Hadoop 使用了新的 MapReduce 框架(MapReduce V2,也称为 YARN,Yet Another Resource Negotiator)。

YARN 是从 MapReduce 中分离出来的,==负责资源管理与任务调度==。YARN 运行于 MapReduce 之上,提供了==高可用性==、==高扩展性==,上述通过 ./sbin/start-dfs.sh 启动 Hadoop,仅仅是启动了 MapReduce 环境,我们可以启动 YARN ,让 YARN 来负责资源管理与任务调度。

  • 首先修改配置文件 mapred-site.xml,这边需要先进行重命名:
hadoop@hadoop1:/usr/local/hadoop$ mv ./etc/hadoop/mapred-site.xml.template ./etc/hadoop/mapred-site.xml
  • 然后再进行编辑,同样使用 gedit 编辑会比较方便些 gedit ./etc/hadoop/mapred-site.xml :
<configuration>
        <property>
             <name>mapreduce.framework.namename>
             <value>yarnvalue>
        property>
configuration>
  • 接着修改配置文件 yarn-site.xml:
<configuration>
        <property>
             <name>yarn.nodemanager.aux-servicesname>
             <value>mapreduce_shufflevalue>
            property>
configuration>
  • 然后就可以启动 YARN 了(需要先执行过 ./sbin/start-dfs.sh):
hadoop@hadoop1:/usr/local/hadoop$ ./sbin/start-yarn.sh      # 启动YARN
hadoop@hadoop1:/usr/local/hadoop$ ./sbin/mr-jobhistory-daemon.sh start historyserver  # 开启历史服务器,才能在Web中查看任务运行情况

【Hadoop入门学习系列之一】Ubuntu下安装Hadoop(单机模式+伪分布模式)_第4张图片
- 开启后通过 jps 查看,可以看到多了 NodeManager 和 ResourceManager 两个后台进程,如下图所示。

  • 启动 YARN 之后,运行实例的方法还是一样的,仅仅是资源管理方式、任务调度不同。观察日志信息可以发现,不启用 YARN 时,是 “mapred.LocalJobRunner” 在跑任务,启用 YARN 之后,是 “mapred.YARNRunner” 在跑任务。启动 YARN 有个好处是可以通过Web界面查看任务的运行情况:http://localhost:8088/cluster,如下图所示。

但 YARN 主要是为集群提供更好的资源管理与任务调度,然而这在单机上体现不出价值,反而会使程序跑得稍慢些。因此在单机上是否开启 YARN 就看实际情况了。

备注:不启动 YARN 需重命名 mapred-site.xml

如果不想启动 YARN,务必把配置文件 mapred-site.xml 重命名,改成 mapred-site.xml.template,需要用时改回来就行。否则在该配置文件存在,而未开启 YARN 的情况下,运行程序会提示 “Retrying connect to server: 0.0.0.0/0.0.0.0:8032” 的错误,这也是为何该配置文件初始文件名为 mapred-site.xml.template。

  • 关闭 YARN 的脚本如下:
hadoop@hadoop1:/usr/local/hadoop$ ./sbin/stop-yarn.sh
hadoop@hadoop1:/usr/local/hadoop$ ./sbin/mr-jobhistory-daemon.sh stop historyserver

四.总结

花了一整天的时间,终于把这篇博客写完了,对hadoop的环境配置和工作工程有了一个初步的认识了,尤其对hdfs文件系统了有了初步的感觉,同时linux的使用又熟练一些,在这里感谢网络上的各个小伙伴的帮助,之后会继续跟进hadoop相关的内容。

你可能感兴趣的:(Hadoop,Hadoop零基础入门)