【绝对有效，从头开始自己一步一步测试的】CentOs 8.0 下安装Hadoop环境搭建

 CentOs 8.0 下安装Hadoop

      在Linux系统下安装Hadoop环境具体流程：

1. 首先安装java  jdk1.8

 有两种方法：

1.    安装Oracle的jdk（相对复杂）；
2.    安装OpenJDK（相对简单，我安装的是这种）;

  这两种jdk的区别，给个链接大家去看    https://www.php.cn/java-article-415831.html

  安装OpenJDK一个命令就搞定

[root@localhost /]#  yum install -y java-1.8.0-openjdk-devel.x86_64

如果想安装别的版本的话，可以通过如下命令搜索一下，看看有哪些版本（注意是JDK还是JRE）

[root@localhost /]# yum search jdk
上次元数据过期检查：0:31:04 前，执行于 2019年10月31日 星期四 10时51分10秒。
============================ 小结 和 名称 匹配：jdk ============================
java-11-openjdk-demo.x86_64 : OpenJDK Demos 11
java-1.8.0-openjdk-demo.x86_64 : OpenJDK Demos 8
java-11-openjdk-jmods.x86_64 : JMods for OpenJDK 11
java-11-openjdk-src.x86_64 : OpenJDK Source Bundle 11
java-1.8.0-openjdk-src.x86_64 : OpenJDK Source Bundle 8
java-11-openjdk.x86_64 : OpenJDK Runtime Environment 11
copy-jdk-configs.noarch : JDKs configuration files copier
java-1.8.0-openjdk.x86_64 : OpenJDK Runtime Environment 8
java-11-openjdk-javadoc.x86_64 : OpenJDK 11 API documentation
java-1.8.0-openjdk-javadoc.noarch : OpenJDK 8 API documentation
java-11-openjdk-devel.x86_64 : OpenJDK Development Environment 11
java-1.8.0-openjdk-devel.x86_64 : OpenJDK Development Environment 8
java-11-openjdk-headless.x86_64 : OpenJDK Headless Runtime Environment 11
java-1.8.0-openjdk-accessibility.x86_64 : OpenJDK 8 accessibility connector
java-1.8.0-openjdk-headless.x86_64 : OpenJDK Headless Runtime Environment 8
java-11-openjdk-javadoc-zip.x86_64 : OpenJDK 11 API documentation compressed in
                                   : a single archive
java-1.8.0-openjdk-javadoc-zip.noarch : OpenJDK 8 API documentation compressed
                                      : in a single archive
================================ 小结 匹配：jdk ================================
icedtea-web.noarch : Additional Java components for OpenJDK - Java browser
                   : plug-in and Web Start implementation
 

2. 安装Hadoop

    （1）  下载Hadoop

         直接去官网http://hadoop.apache.org/releases.html下载Hadoop最新版本，新版本可能不太好稳定，我下载的版本如下

 点击binary，进入如下网页，复制（不是下载哦）一个下载源，这里我复制的清华大学的（下面红色框框中的）

    回到Linux系统命令行中，自行创建一个目录，存放Hadoop压缩包

    这是我的目录结构，hadoop是一个空文件夹（记住我是在root管理员下进来的）

    

    直接开始在系统中下载Hadoop，命令如下（直接复制粘贴即可）：

wget http://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.8.5/hadoop-2.8.5.tar.gz 

系统就开始下载这个压缩包，因为使用的是清华数据源，所以下载起来很快。

（2）解压文件

下载之后，输入ls命令查看当前目录文件，可以发现多了一个hadoop-2.8.5.tar.gz文件，这是hadoop压缩包

解压该文件 输入命令：

tar  -xvf  hadoop-2.8.5.tar.gz

解压过程系统屏幕刷刷刷的，等就好了。

（3）备份文件

解压后就只有一个hadoop文件夹，这里面有很多hadoop的配置文件，保险起见，我们执行复制文件命令

cp  -r hadoop-2.8.5  /usr/software/hadoop/hadoop-2.8.5-backup
复制一个备份文件（hadoop-2.8.5-backup是备份的文件）出来，这样就不怕改错了。

（4）配置环境变量

（Hadoop和JAVA一起配）

  通过vi命令编辑环境变量文件

  vi  ~/.bashrc

j进来的界面如下，红色框起来的是我本次配的环境变量

一行一行讲解吧：

    1)配置JAVA的环境变量

JAVA_HOME=/usr/lib/jvm/java                 

如果按照我的方法安装的OpenJdk的话，jdk则默认安装在这个路径下了，直接按照我的复制粘贴就好了。

不然就自己设置等号右边的jdk的路径即可，没什么太复杂的地方。

 PATH=$JAVA_HOME/bin:$PATH:

 第二行就是将这个环境变量键值对放到系统中去，如果不懂环境变量是什么意思。（懂得话直接忽略）

最好去理解一下，简单来说就是给指定  文件在系统中设置一个快捷访问方式，通过左边的变量JAVA_HOME映射右边的指定文件的路径，以后直接使用JAVA_HOME就是直接找到对应文件的路径了。

到这里JAVA的已经配置完了。

  2）Hadoop的环境变量配置

 也就是第三行了，同样左边是变量名，右边是Hadoop的安装路径（每个人的安装路径不同，记得修改）

HADOOP_INSTALL=/usr/software/hadoop/hadoop-2.8.5

 第四行第五行也是将Hadoop的两个bin文件添加到系统环境中，这里不用修改 

PATH=$HADOOP_INSTALL/bin:$PATH:.
PATH=$HADOOP_INSTALL/sbin:$PATH:.

 最后一行可有可无，因为我也没添加到系统中，就是简单的注册了我的备份的hadoop的文件的环境变量键值对。

 也加上吧，以后说不定要用！（备份文件的路径也需要设置为自己的文件所在路径哈）

HADOOP_CONF_DIR=/usr/software/hadoop/hadoop-2.8.5-backup

                                                        （这个图和上面的一样）

最后添加代码：

export JAVA_HOME
export HADOOP_INSTALL
export HADOOP_CONF_DIR
export PATH

 编辑完毕，按下esc，输入:wq命令保存并退出即可。

（5）使配置文件立即生效

  直接执行如下命令：

source ~/.bashrc

（6） 测试是否安装成功

       1.测试java安装情况

[root@localhost hadoop-2.8.5]# javac

执行结果如下：

[root@localhost hadoop-2.8.5]# javac
用法: javac
其中, 可能的选项包括:
  -g                         生成所有调试信息
  -g:none                    不生成任何调试信息
  -g:{lines,vars,source}     只生成某些调试信息
  -nowarn                    不生成任何警告
  -verbose                   输出有关编译器正在执行的操作的消息
  -deprecation               输出使用已过时的 API 的源位置
  -classpath <路径>            指定查找用户类文件和注释处理程序的位置
  -cp <路径>                   指定查找用户类文件和注释处理程序的位置
  -sourcepath <路径>           指定查找输入源文件的位置
  -bootclasspath <路径>        覆盖引导类文件的位置
  -extdirs <目录>              覆盖所安装扩展的位置
  -endorseddirs <目录>         覆盖签名的标准路径的位置
  -proc:{none,only}          控制是否执行注释处理和/或编译。
  -processor [,,...] 要运行的注释处理程序的名称; 绕过默认的搜索进程
  -processorpath <路径>        指定查找注释处理程序的位置
  -parameters                生成元数据以用于方法参数的反射
  -d <目录>                    指定放置生成的类文件的位置
  -s <目录>                    指定放置生成的源文件的位置
  -h <目录>                    指定放置生成的本机标头文件的位置
  -implicit:{none,class}     指定是否为隐式引用文件生成类文件
  -encoding <编码>             指定源文件使用的字符编码
  -source <发行版>              提供与指定发行版的源兼容性
  -target <发行版>              生成特定 VM 版本的类文件
  -profile <配置文件>            请确保使用的 API 在指定的配置文件中可用
  -version                   版本信息
  -help                      输出标准选项的提要
  -A关键字[=值]                  传递给注释处理程序的选项
  -X                         输出非标准选项的提要
  -J<标记>                     直接将 <标记> 传递给运行时系统
  -Werror                    出现警告时终止编译
  @<文件名>                     从文件读取选项和文件名
 

[root@localhost hadoop-2.8.5]# java -version

 

 Hadoop安装测试

[root@localhost hadoop-2.8.5]# hadoop version

 到此JAVA环境和Hadoop基本就安装完成了 。