Hadoop学习笔记之--Hadoop的安装

由于没有集群环境,只能在一台电脑上进行Hadoop的搭建,因此只能以伪分布式的方式进行搭建。

准备工作

操作系统:CentOS 7
JDK版本:1.8.0_131
Hadoop版本:2.8.0

操作系统安装

系统最好为Linux,推荐CentOS,关于系统安装,这里不赘述。

JAVA环境配置

1.下载jdk

$ wget http://download.oracle.com/otn-pub/java/jdk/8u131-b11/d54c1d3a095b4ff2b6607d096fa80163/jdk-8u131-linux-x64.tar.gz

2.解压jdk-8u131-linux-x64.tar.gz:

$ tar -zvxf jdk-8u131-linux-x64.tar.gz

3.将解压的文件放到/usr/local下:

$ sudo mv jdk1.8.0_131 /usr/local/ 

4.打开/etc/bashrc

$ sudo vim /etc/bashrc

5.加入如下内容

export JAVA_HOME=/usr/local/jdk1.8.0_131
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib:$CLASSPATH

6.使更改生效

$ source /ect/bashrc

7.测试配置是否成功

    $ java

8.当出现如下图片内容,则表明配置成功。

Hadoop学习笔记之--Hadoop的安装_第1张图片

系统环境配置

1.安装SSH服务(一般CentOS都带有此服务,如果是,请直接跳过)

$ sudo yum install openssh-server openssh-clients 

2.配置SSH免密码登陆

$ ssh-keygen  # 期间需连续回车多次
$ ssh-copy-id user@host # 期间需要输入密码

关于详细的SSH免密码登陆配置,详情请戳:ssh免密码登录

Hadoop安装

1.下载Hadoop包

$ wget http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.8.0/hadoop-2.8.0.tar.gz

2.解压 hadoop-2.8.0.tar.gz

$ tar -zvxf hadoop-2.8.0.tar.gz

3.将 hadoop-2.8.0 移至 /usr/local/ 路径下

$ sudo mv hadoop-2.8.0 /usr/local/

4.修改相关配置文件
打开/usr/local/hadoop-2.8.0/etc/hadoop/mapred-site.xml

加入如下内容:

<configuration>
        <property>
             <name>mapreduce.framework.namename>
             <value>yarnvalue>
        property>
configuration>

打开/usr/local/hadoop-2.8.0/etc/hadoop/yarn-site.xml

加入如下内容

<configuration>
        <property>
             <name>yarn.nodemanager.aux-servicesname>
             <value>mapreduce_shufflevalue>
            property>
configuration>

5.启动各项服务:

/usr/lcaol/hadoop-2.8.0/sbin/start-dfs.sh       # 启动HDFS
/usr/local/hadoop-2.8.0/sbin/start-yarn.sh      # 启动YARN
/usr/local/hadoop-2.8.0/sbin/mr-jobhistory-daemon.sh start historyserver  # 开启历史服务器,才能在Web中查看任务运行情况

执行jps

$ jps

出现如下:

Hadoop学习笔记之--Hadoop的安装_第2张图片

通过浏览器打开如下URL:http://localhost:8088/cluster

可通过浏览器查看任务情况:

Hadoop学习笔记之--Hadoop的安装_第3张图片

至此,Hadoop基本安装成功了。

你可能感兴趣的:(Hadoop)