Hadoop----单节点集群安装

Hadoop的安装模式

  1. 单节点上的独立模式(Standalone/loacal)
    也叫本地模式,
    使用的文件系统:本地文件系统,运行在单个jvm上,一般用来进行开发测试MapReduce程序
  2. 单节点上的伪分布模式(Pseudo-Distributed )
    Hadoop可以在单节点上以伪分布式模式运行,其中每个Hadoop守护进程运行在单独的Java进程中。
  3. 多节点的完全分布模式(Fully-Distributed)

安装条件

  1. 操作平台
    Linux
  2. 软件
    jdk-8u172-linux-x64.tar.gz
    hadoop-2.7.3.tar.gz

开始安装

  1. 安装jdk
    1)在用户的主目录下新建目录apps
    2)上传jdk-8u172-linux-x64.tar.gz
    3)解压:tar -zvxf jdk-8u172-linux-x64.tar.gz
    Hadoop----单节点集群安装_第1张图片
    在这里插入图片描述
    4)创建解压文件夹的软连接
    ln -s jdk1.8.0_172 jdk
    Hadoop----单节点集群安装_第2张图片
    5)配置环境变量
    vim ~/.bash_profile
    配置以下信息
     JAVA_HOME=/home/用户名/apps/jdk
	 PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin
	 export JAVA_HOME PATH

在这里插入图片描述Hadoop----单节点集群安装_第3张图片
6)重新加载配置文件
source ~/.bash_profile
注意:
配置后,因为不管是login shell还是non-login shell,都不会再加载配置文件,如果想重新加载配置文件,需要重新启动机器。如果不想重启,需要使用source或 .
在这里插入图片描述
7)检查是否配置成功
java -version
javac
Hadoop----单节点集群安装_第4张图片

  1. 安装hadoop
    1)上传hadoop-2.7.3.tar.gz到apps
    2)解压hadoop压缩包
    tar -zvxf hadoop-2.7.3.tar.gz
    Hadoop----单节点集群安装_第5张图片
    在这里插入图片描述
    3)创建解压文件夹的软连接
    Hadoop----单节点集群安装_第6张图片
    4)配置home/student/apps/hadoop-2.7.3/etc/hadoop/hadoop-env.sh文件
    配置以下信息
    JAVA_HOME=/home/用户名/apps/jdk
    在这里插入图片描述
    Hadoop----单节点集群安装_第7张图片

5)配置环境变量
vim ~/.bash_profile
配置以下信息

    HADOOP_HOME=/home/用户名/apps/hadoop
	PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
	export PATH HADOOP_HOME

在这里插入图片描述
Hadoop----单节点集群安装_第8张图片
6)重新加载配置文件
source ~/.bash_profile
在这里插入图片描述
7)检查是否配置成功 hadoop
Hadoop----单节点集群安装_第9张图片
8)执行官网上的独立模式的案例
$ mkdir input
$ cp hadoop-2.7.3/etc/hadoop/.xml input
$ hadoop jar hadoop-2.7.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar grep input output ‘dfs[a-z.]+’
$ cat output/

Hadoop----单节点集群安装_第10张图片
Hadoop----单节点集群安装_第11张图片
在这里插入图片描述

注意:

UnknowHostname:master 域名解析错误。
进入/etc/hosts文件,在文件末尾追加 【ip hostname】
重启机器生效
Hadoop----单节点集群安装_第12张图片

你可能感兴趣的:(Hadoop)