二、Linux下搭建Hadoop的运行环境

       上一篇文章简单的介绍了一下Hadoop，本篇主要目的是搭建Hadoop的运行环境，关注专栏《from zero to hero（Hadoop篇）》查看相关系列的文章~

---

目录

一、 虚拟机准备

二、 安装JDK

三、安装Hadoop

四、Hadoop的目录结构

---

 

一、 虚拟机准备

1、修改主机名（这里主机名设置为node1）。

hostnamectl set-hostname node1

2、配置主机映射，在/etc/hosts中添加如下内容（这里192.168.0.192为本机的ip地址）。

192.168.0.192 node1

3、关闭防火墙。

systemctl stop firewalld && systemctl disable firewalld && iptables -F

4、关闭安全子系统，在/etc/selinux/config中将如下内容设置成disabled。

SELINUX=disabled

5、重启机器，生效。

reboot

6、在/opt目录下新建software和modules两个目录，software用于存放压缩文件，modules用于存放解压文件。

[root@node1 ~]# cd /opt/

[root@node1 opt]# mkdir software modules

二、 安装JDK

1、查询是否安装java相关的软件。

[root@node1 opt]# rpm -qa | grep java

2、如果存在java相关的软件，卸载。

[root@node1 opt]# rpm -e 相关软件包

3、使用rz命令将jdk的tar包上传到software目录下。如果未能监测到有rz命令，使用yum安装即可。

[root@node1 opt]# yum -y install lrzsz

4、使用解压命令将jdk解压到modules目录下。

[root@node1 software]# tar -zxvf ./jdk-8u144-linux-x64.tar.gz -C ../modules/

5、配置jdk环境变量。首先需要获取jdk路径。

[root@node1 modules]# cd jdk1.8.0_144/

[root@node1 jdk1.8.0_144]# pwd

/opt/modules/jdk1.8.0_144

[root@node1 jdk1.8.0_144]#

然后编辑/etc/profile此文件。

##JAVA_HOME

export JAVA_HOME=/opt/modules/jdk1.8.0_144

export PATH=$PATH:$JAVA_HOME/bin

保存并退出。

:wq

最后，使之生效。

[root@node1 jdk1.8.0_144]# source /etc/profile

6、测试是否安装成功。

[root@node1 jdk1.8.0_144]# java -version

java version "1.8.0_144"

Java(TM) SE Runtime Environment (build 1.8.0_144-b01)

Java HotSpot(TM) 64-Bit Server VM (build 25.144-b01, mixed mode)

三、安装Hadoop

1、同样的，将下载好的tar包上传到对应目录下，解压。

[root@node1 software]# tar -zxvf ./hadoop-2.7.2.tar.gz -C ../modules/

2、配置环境变量。编辑/etc/profile此文件。

##HADOOP_HOME

export HADOOP_HOME=/opt/modules/hadoop-2.7.2

export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

3、保存并退出，同样的使用如下命令使之生效。

[root@node1 hadoop-2.7.2]# source /etc/profile

4、测试是否安装成功。

[root@node1 hadoop-2.7.2]# hadoop version

Hadoop 2.7.2

Subversion Unknown -r Unknown

Compiled by root on 2017-05-22T10:49Z

Compiled with protoc 2.5.0

From source with checksum d0fda26633fa762bff87ec759ebe689c

This command was run using /opt/modules/hadoop-2.7.2/share/hadoop/common/hadoop-common-2.7.2.jar

四、Hadoop的目录结构

[root@node1 hadoop-2.7.2]# ll

total 52

drwxr-xr-x 2 root root  4096 May 22  2017 bin

drwxr-xr-x 3 root root  4096 May 22  2017 etc

drwxr-xr-x 2 root root  4096 May 22  2017 include

drwxr-xr-x 3 root root  4096 May 22  2017 lib

drwxr-xr-x 2 root root  4096 May 22  2017 libexec

-rw-r--r-- 1 root root 15429 May 22  2017 LICENSE.txt

-rw-r--r-- 1 root root   101 May 22  2017 NOTICE.txt

-rw-r--r-- 1 root root  1366 May 22  2017 README.txt

drwxr-xr-x 2 root root  4096 May 22  2017 sbin

drwxr-xr-x 4 root root  4096 May 22  2017 share

       （1）bin目录：存放对Hadoop相关服务（HDFS、YARN）进行操作的脚本。

       （2）etc目录：Hadoop的配置文件目录，存放Hadoop的配置文件。

       （3）lib目录：存放Hadoop的本地库（对数据进行压缩解压缩功能）。

       （4）sbin目录：存放启动或停止Hadoop相关服务的脚本。

       （5）share目录：存放Hadoop的依赖jar包、文档、和官方案例。

 

       本篇博客到此就算完成了，下篇博客我们将会介绍Hadoop的运行模式（本地模式、伪分布式）。