Hadoop单机部署2019-03-11

Hadoop单机部署

1. Hadoop介绍

Hadoop是一个能够对海量数据进行分布式处理的系统架构。

Hadoop框架的核心是：HDFS和MapReduce。

HDFS分布式文件系统为海量的数据提供了存储，

MapReduce分布式处理框架为海量的数据提供了计算。

2. Hadoop安装

2.1 安装java

Hadoop是使用JAVA写的，所以需要先安装JAVA环境。

本次安装的是hadoop-2.7.0，需要JDK 7以上版本。

查看是否安装jdk：java -version

# yum install java-1.7.0-openjdk

# yum install java-1.7.0-openjdk-devel

安装后确认# java –version

2.2 需要ssh和rsync（远程数据同步工具）

查看ssh有没有安装：rpm -qa|grep ssh

若没有则安装：yum -y install openssh openssh-client openssh-server openssh-askpass

查看ssh服务状态：service sshd status

重启ssh服务：service sshd restart

查看rsync有没有安装：rpm -qa|grep rsync

若没有则安装：yum -y install rsync

rsync的用法：https://www.cnblogs.com/noxy/p/8986164.html

Linux系统一般都已经默认安装了，如果没有，yum安装。

2.3 下载Hadoop

从官网下载Hadoop最新版2.7.0

# cd /usr/local/

#wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.7.7/hadoop-2.7.7.tar.gz

将hadoop解压到/usr/local/下

# tar zxvf  hadoop-2.7.7.tar.gz

2.4 设置环境变量

设置hadoop和JAVA的环境变量.

JAVA_HOME是JDK的位置

查看jdk的路径：

进入目录：cd /usr/lib/jvm

查看jdk：ll

找到java-1.7.0-openjdk-1.7.0.211-2.6.17.1.el7_6.x86_64

将jdk的路径配置到环境变量/etc/profile中

查看hadoop路径,进入hadoop的bin目录：cd/usr/local/hadoop-2.7.7/bin

查看目录路径：pwd 将pwd的结果/usr/local/hadoop-2.7.7/bin配置到/etc/profile中

2.4.1# vi /etc/profile

Export PATH=/usr/local/hadoop-2.7.7/bin:$PATH

Export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk-1.7.0.211-2.6.17.1.el7_6.x86_64

//请根据个人计算机安装情况，设置本机的JAVA_HOME

让设置生效：# source /etc/profile

2.4.2设置Hadoop的JAVA_HOME

# cd /usr/local/hadoop-2.7.7/

# vi etc/hadoop/hadoop-env.sh

Export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk-1.7.0.211-2.6.17.1.el7_6.x86_64

2.4.3关闭linux系统的防火墙(centos6)

[root@djt002 ~]# service iptables status

[root@djt002 ~]# chkconfig iptables off //永久关闭防火墙 

[root@djt002 ~]# service iptables stop //临时关闭防火墙 

[root@djt002 ~]# service iptables status

iptables: Firewall is not running. //查看防火墙状态

//Centos7的方法如下

systemctl status firewalld//查看防火墙的状态

systemctl stop firewalld//关闭防火墙

2.5关闭SELinux

SELinux一共有3种状态，分别是Enforcing，Permissive和Disabled状态。第一种是默认状态，表示强制启用，第二种是宽容的意思，即大部分规则都放行。第三种是禁用，即不设置任何规则。只能通过setenforce命令来设置前面两种状态，而如果想修改为disable状态，需要修改配置文件，同时重启系统。我们先看修改，Enforcing状态的值是1，permissive状态是0，因此设置为permissive，命令就是：

setenforce 0

查看一下SELinux的状态: getenforce

设置SELinux为permissive：setenforce 0

将selinux的状态设置成disabled

vi /etc/selinux/config

SETLINUX=disabled

到此，Hadoop的安装就算完成了，接下来进行部署和使用。

3. 单机部署

这种模式是，1个节点上运行，HDFS daemon的 NameNode 和 DataNode、YARN daemon的 ResourceManger 和 NodeManager，分别启动单独的java进程，主要用于调试。

3.2.1 修改设定文件

# vi etc/hadoop/core-site.xml

    

        fs.defaultFS

        hdfs://localhost:9000

    

# vi etc/hadoop/hdfs-site.xml

    

        dfs.replication

        1

    

3.2.2 设定本机的无密码ssh登陆

# ssh-keygen -t rsa

截图如下：

[root@localhost hadoop-2.7.7]# ssh-keygen -t rsa

Generating public/private rsa key pair.

Enter file in which to save the key (/root/.ssh/id_rsa):

Created directory '/root/.ssh'.

Enter passphrase (empty for no passphrase):

Enter same passphrase again:

Your identification has been saved in /root/.ssh/id_rsa.

Your public key has been saved in /root/.ssh/id_rsa.pub.

The key fingerprint is:

SHA256:M83eJALeKFPvO6awt28JpubVxiC87s6RYGLUKqlqex0 root@localhost

The key's randomart image is:

+---[RSA 2048]----+

|                 |

|  .              |

| . .  o          |

|.... o = o       |

|+oo = + S + .    |

|+o . Eo= = +     |

|.   *oo.=.. .    |

|.. +o*..=.       |

|o.o=B.o*o.       |

+----[SHA256]-----+

再执行下面的命令

# cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

3.2.3 执行Hadoop job

MapReduce v2 叫做YARN，下面分别操作一下这两种job

3.2.4 执行MapReduce job

3.2.4.1 格式化文件系统

# hdfs namenode -format

3.2.4.2 启动名称节点和数据节点后台进程

# sbin/start-dfs.sh

在localhost启动一个1个NameNode和1个DataNode，在0.0.0.0启动第二个NameNode

3.2.4.3 确认

jps

3.2.4.4 访问NameNode的web页面

http://localhost:50070/

3.2.4.5 创建HDFS

# hdfs dfs -mkdir /user

# hdfs dfs -mkdir /user/test

3.2.4.6 拷贝input文件到HDFS目录下s

1# hdfs dfs -put etc/hadoop /user/test/input

确认，查看

1# hadoop fs -ls /user/test/input

3.2.4.7 执行Hadoop job

1#hadoop jar /usr/local/hadoop-2.7.7/share/hadoop-mapreduce-examples-2.7.7.jar grep /user/test/input output 'dfs[a-z.]+'

3.2.4.8 确认执行结果

1# hdfs dfs -cat output/*

[root@localhost mapreduce]# hdfs dfs -cat output/*

6 dfs.audit.logger

4 dfs.class

3 dfs.logger

3 dfs.server.namenode.

2 dfs.audit.log.maxbackupindex

2 dfs.period

2 dfs.audit.log.maxfilesize

1 dfs.log

1 dfs.file

1 dfs.servers

1 dfsadmin

1 dfsmetrics.log

1 dfs.replication

[root@localhost mapreduce]#

hdfs  dfs -help |less /hdfs 查看帮助命令

或者从HDFS拷贝到本地查看

# bin/hdfs dfs -get hadoop中的文件路径    output

# cat output/*

3.2.5.1 修改设定文件

# cp etc/hadoop/mapred-site.xml.template etc/hadoop/mapred-site.xml

# vi etc/hadoop/mapred-site.xml

    

        mapreduce.framework.name

        yarn

    

# vi etc/hadoop/yarn-site.xml

    

        yarn.nodemanager.aux-services

        mapreduce_shuffle

    

3.2.5.2 启动ResourceManger和NodeManager后台进程

[root@localhost hadoop-2.7.7]# sbin/start-yarn.sh

截图

[root@localhost hadoop-2.7.7]# jps

截图

3.2.5.4 访问ResourceManger的web页面

http://localhost:8088/

3.2.5.5 执行hadoop job

1# hadoop jar /usr/local/hadoop-2.7.7/share/hadoop/mapreduce

/hadoop-mapreduce-examples-2.7.0.jar grep /user/test/input output 'dfs[a-z.]+'

3.2.5.6 确认执行结果

1# hdfs dfs -cat output/*

执行结果和MapReduce job相同

3.2.5.7 停止daemon

1# sbin/stop-yarn.sh

3.2.5.8 问题点

1. 单节点测试情况下，同样的input，时间上YARN比MapReduce好像慢很多，查看日志发现DataNode上GC发生频率较高，可能是测试用VM配置比较低有关。

2. 出现下面警告，是因为没有启动job history server

1java.io.IOException: java.net.ConnectException: Call From test166/10.86.255.166 to 0.0.0.0:10020 failed on connection exception: java.net.ConnectException: Connection refused;

启动jobhistory daemon

1# sbin/mr-jobhistory-daemon.sh start historyserver

确认

1# jps

访问Job History Server的web页面

http://localhost:19888/

3. 出现下面警告，DataNode日志中有错误，重启服务后恢复

1java.io.IOException: java.io.IOException: Unknown Job job_1451384977088_0005

3.3 启动/停止

也可以用下面的启动/停止命令，等同于start/stop-dfs.sh + start/stop-yarn.sh

1# sbin/start-all.sh

1# sbin/stop-all.sh