hadoop2.7.2伪分布模式安装教程

hadoop2.7.2伪分布模式安装教程

 

安装环境：

Ubuntu14.04- server

 

1.  创建hadoop用户

若安装Ubuntu时已创建hadoop用户，可跳过此步骤。

sudo useradd hadoop

      设置密码：

sudo passwd hadoop

      为hadoop用户添加管理员权限：

      方法一：

            sudo adduser hadoop sudo

      方法二：

            打开/etc/sudoers文件，在root用户组中添加hadoop

            sudo nano /etc/sudoers

使用hadoop用户登录：

      su hadoop

（注意：以下步骤均需在hadoop用户下完成！）

2.  安装ssh，配置ssh无密码登录

安装ssh前，先更新一下apt：

sudo apt-get update

安装ssh命令：

sudo apt-get install openssh-server

安装后，启动ssh登录本机：

ssh localhost

        作为一个安全通信协议，使用ssh登录时需要输入密码，而在hadoop集群中，需要将ssh改成无密码登录，hadoop节点间才能正常通信。

退出ssh登录：

exit

生成私钥和公钥：

cd ~/.ssh/

ssh-keygen -t rsa

将公钥追加到authorized_keys文件中：

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

再次使用ssh localhost登录本机，此时便不在需要输入密码了。

 

3.  安装Java环境

安装JRE和JDK：

sudo apt-get install openjdk-7-jre openjdk-7-jdk

（注意：hadoop2.7.2不再支持jdk1.6及以下版本）

配置Java环境变量：

为了方便对环境变量的统一管理，我们将其添加到/etc/profile文件中。

打开/etc/profile文件：

sudo nano /etc/profile

将以下内容追加到文件中：

export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64

export JRE_HOME=${JAVA_HOME}/jre

export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib

export PATH=${JAVA_HOME}/bin:$PATH

（注：JAVA_HOME为JDK的安装路径）

更新一下配置文件：

source /etc/profile

测试JAVA_HOME环境变量和Java版本：

echo $JAVA_HOME

java –version

若能正确输出JAVA_HOME和Java版本，则Java环境配置成功。

 

4.  安装hadoop-2.7.2

从Apache官网下载hadoop-2.7.2.tar.gz：

http://apache.fayea.com/hadoop/common/hadoop-2.7.2/hadoop-2.7.2.tar.gz

解压hadoop-2.7.2.tar.gz：

sudo tar –zxvf ~/hadoop-2.7.2.tar.gz

将其移动到合适位置：

sudo mv hadoop-2.7.2 /usr/local

重命名文件夹：

sudo mv hadoop-2.7.2 hadoop

配置hadoop环境变量：

为方便执行hadoop命令，需在/etc/profile文件中配置hadoop环境变量。

打开/etc/profile文件：

sudo nano /etc/profile

将以下内容追加到/etc/profile文件中：

export HADOOP_HOME=/usr/local/hadoop

export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

export PATH=$PATH:$HADOOP_HOME/lib

export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

（注：HADOOP_HOME为HADOOP的安装路径）

更新一下配置文件：

source /etc/profile

修改hadoop-env.sh文件中的JAVA_HOME环境变量：

打开hadoop-env.sh文件：

sudo nano /usr/local/hadoop/etc/hadoop/hadoop-env.sh

将export JAVA_HOME=$JAVA_HOME改为JDK具体的安装路径。

更新hadoop-env.sh文件，使其生效：

source /usr/local/hadoop/etc/hadoop/hadoop-env.sh

查看hadoop版本：

hadoop version

若能正确显示hadoop版本，则hadoop单机模式安装成功。

 

5.  配置伪分布模式

       需要在/hadoop/etc/hadoop目录下的core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml四个配置文件中添加配置，其中后两个是用于配置YARN的。

       为方便伪分布模式的配置，可先对主机名进行修改，将/etc/hostname文件中的内容改为Master（名字可随意，不一定是Master），这样有利于后继的完全分布式配置。

在core-site.xml中添加：

<property>
    <name>hadoop.tmp.dir</name>
    <value>file:/usr/local/hadoop/tmp</value>
    <description>Abase for other temporarydirectories.</description>
</property>
<property>
    <name>fs.defaultFS</name>
    <value>hdfs://Master:9000</value>
</property>

在hdfs-site.xml文件中添加：

<property>
    <name>dfs.replication</name>
    <value>1</value>
</property>
<property>
    <name>dfs.namenode.name.dir</name>
    <value>file:/tmp/hadoop/dfs/name</value>
</property>
<property>
    <name>dfs.datanode.data.dir</name>
    <value>file:/tmp/hadoop/dfs/data</value>
</property>
<property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>Master:50090</value>
</property>

mapred-site.xml文件原先并不存在，需先将mapred-site.xml.template更名为mapred-site.xml：

sudo mv mapred-site.xml.template mapred-site.xml

然后在mapred-site.xml文件中添加：

<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>
<property>
    <name>mapreduce.jobhistory.address</name>
    <value>Master:10020</value>
</property>
<property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>Master:19888</value>
</property>

在yarn-site.xml文件中添加：

<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>
<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>Master</value>
</property>

修改完配置文件后，对namenode进行格式化：

./bin/hdfs namenode –format

至此hadoop-2.7.2的伪分布模式配置完毕。

6.  启动hadoop守护进程

启动dfs：

start-dfs.sh

启动后使用jps命令查看进程，将看到NameNode、DataNode、SecondaryNamenode三个进程。

启动YARN：

start-yarn.sh

启动后将增加ResourceManager、NodeManager两个进程。

也可以使用start-all.sh命令启动全部进程（start-all.sh = start-dfs.sh + start-yarn.sh）

 

7.  运行hadoop伪分布式实例

在hdfs中创建输入文件夹，并将文件拷贝到文件夹中：

./bin/hdfs dfs -mkdir input

./bin/hdfs dfs -put ./etc/hadoop/*.xml input

运行mapreduce作业：

hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar wordcount input output

等待mapreduce作业运行结束，查看运行结果：

hdfs dfs -cat output/*

（注意：在作业运行之前，输出路径不能存在！）