hadoop安装环境准备和关联知识解析

本想一口气把redis多学一点，奈何还有常见的如穿透、雪崩、击穿、分布式锁、redis并发原理、linux多路复用、redis集群等都还没梳理清楚，而项目就需要先学习一下hadoop等大数据相关技术，于是不得不暂停redis，转而进入hadoop系列的摸石头过河。

据我了解，一般正式环境的hadoop使用都是需要zookeeper的，但是使用hadoop是否一定要zookeeper这个事，对于刚开始学习hadoop的我来说，还是一个未知数。尤其是网上有的教程写了zookeeper，有的又没写，也就更加的茫然。
茫然不可怕，怕的是一直茫然，而解决茫然最好的办法就是行动起来，只要动起来就会有结果，然后便能自然而然的触发下一步，进而一点一点的从茫然中走出来。
那么第一步自然是先想办法把环境搭起来，根据已知的内容一步步摸索，如果抛开zookeeper不谈，能确定的是jdk和hadoop本身是一定不可或缺的。

linux中jdk安装

我现在的虚拟机安装的是迷你纯净版的centos系统，一开始连wget、nc等常用命令都没有，所以就更不用说jdk了，这里其实想说的是，建议大家装虚拟机的时候尽量装纯净版，这样其实能体验很多非纯净版体会不了的乐趣。

jdk的安装实际也很简单，windows中老的版本还需要手动配置环境变量，现在已经精简到就鼠标点点点，然后自动配置环境变量的地步了。
而linux中，虽然还没有自动配置环境变量那么便捷，但也不复杂，配置环境变量本身就是一个通用的技术，操作多了也就像windows中点点点一样简单。
linux安装jdk大体分三步，分别是下载、解压、配环境变量，如果一定要说的话，也可以再加一步，那就是验证。

下载jdk
jdk版本现在升级很快，目前已经到14了，但有项目中实际使用的还是8，所以我自然也还是以8为基础，首先是选择对应的安装包，选择页面如下;
https://www.oracle.com/java/technologies/javase/javase-jdk8-downloads.html
选择安装包时有一个需要注意的细节是，一定要选择正确位数的安装包，例如centos系统只支持64位，如果下载选择打的是i586而不是x64,则安装以后执行java相关命令会发现报错：

java: /lib/ld-linux.so.2: bad ELF interpreter: No such file or directory

在此基础上，我选择的安装包是jdk-8u261-linux-x64.tar.gz，在下载页复制到的下载链接是：
https://download.oracle.com/otn/java/jdk/8u261-b12/a4634525489241b9a9e1aa73d9e118e6/jdk-8u261-linux-x64.tar.gz

这个地方就又可以引申出一些别的知识了，实际上在安装redis的时候也提到过，就是安装包获取方式，既可以直接用windows下载，又可以直接在虚拟机中使用wget命令下载。
实际工作中我们使用最高效可行的方式就可以了，但是既然是学习，自然是要一定程度上为了应用而应用一下，所以之前redis使用的wget，这里就直接windows下载。

文件传输
windows下载以后要传到虚拟机中，又有不同的选择，可以使用专门的ftp工具传输，还可以使用redis管道学习的时候拓展到的nc命令。
ftp上传就是纯粹工具的使用，拖拽就完了，所以这里自然是要以看起来高大上的nc来操作。
首先，在我的虚拟机中开启nc文件下载的监听：

nc -l 9999 > jdk-8u261-linux-x64.tar.gz

然后，在windows的cmd命令窗口，进入到jdk安装包存放目录使用nc执行文件上传：

nc 192.168.139.9 9999 > jdk-8u261-linux-x64.tar.gz

如果直接按照这个步骤操作，可能会发现windows执行nc命令找不到，这是因为windows中默认也是没有这个的，所以还需要在windows中先安装一下nc。
nc下载地址：https://eternallybored.org/misc/netcat/
下载下来的zip文件解压，解压后可能会还有一层，不管有几层，需要把最内层的所有文件复制到C:\Windows\System32下，然后重启cmd窗口，就能正常使用nc了。
需要注意的是，linux系统本身也没有nc，我是使用redis的时候装过，如果有人linux中也执行不了，那么也需要先安装一下，非常简单：

yum instal nc

需要提一点的是，实际操作发现，在使用nc传文件的时候，windows向linux传输，文件传输完成了也不会自动断开连接，而linux向linux传输，文件传输完成就会自动断开连接。
所以windows向linux传输时，如果看到文件大小显示已经传输完成不再变化了，可以ctrl+c主动断开连接。
还要注意的是，上边9999端口是随便写的，不和本机现有端口冲突即可，但是由于防火墙存在，可能会连接失败。因此，要么关闭防火墙，要么端口加白名单，我这里就是临时起意试一下，所以防火墙也就使用临时关闭的方式：

service iptables stop

解压
有了安装包以后，下一步是解压，这个就更简单了：

tar -zxvf jdk-8u261-linux-x64.tar.gz

tar相关内容可以参考redis安装的那篇文章：https://blog.csdn.net/tuzongxun/article/details/107170447

环境变量配置
之所以说环境变量的配置简单，是因为这些软件不同，但基本规律一样，像之前redis配置环境变量，就是执行如下命令：

export REDIS_HOME=/opt/soft/redis5
export PATH=$PATH:$REDIS_HOME/bin

实际就是在PATH环境变量里指向软件的bin目录，linux中多数软件的操作功能命令都是在bin目录下，所以jdk的环境变量配置其实也是这样的，没有一点特殊：

export JAVA_HOME=/root/soft/jdk1.8.0_261
export PATH=$PATH:$JAVA_HOME/bin

不同的，也就是安装目录不一样而已。有了上边配置后，不能忘记的是需要让配置生效，即执行source /etc/profile命令。

验证
我们说安装好了不代表真的好了，所以需要进行验证，任意目录执行java版本查询命令即可：

java -version

正常的情况下就会看到输出几行java版本相关的数据，如果安装包不正确，比如上边说到的位数不对，就会提示相关的错误，我这里输出如下;

java version "1.8.0_261"
Java(TM) SE Runtime Environment (build 1.8.0_261-b12)
Java HotSpot(TM) 64-Bit Server VM (build 25.261-b12, mixed mode)

hadoop下载安装

安装好了jdk，下一步是下载hadoop安装包，我一开始参考网上教程选择的安装包地址是
http://archive.apache.org/dist/hadoop/core/hadoop-2.7.5/
同样的，有了下载地址，下载方式就可以多种选择，可以windows下载，也可以wget下载，这里就不在重复了。
需要注意的是，上边这个网址流量有限制，目前看到的是每天10G，所以有可能存在下载不成功的情况，会提示当天流量已经超过了10G。

hadoop一般是集群方式出现，所以我准备了3台虚拟机，这里实际也有偷懒的方式，即先一台机器装好一套环境，然后使用虚拟机快照和克隆功能快速的创建多个。
但是还是上边说的为了应用和练习，我以及采用一个一个手动创建和安装各种环境的方式。
这种方式便又涉及到安装包获取问题，根据之前的操作，已知的就有wget直接下载、windows下载+ftp工具上传、windows下载+nc上传，实际还有更多方式，比如这里我就采用新的方式scp。
在192.168.139.9这台机，我已经有了jdk和hadoop安装包，另两台机分别是192.168.139.19和192.168.139.29，则可以使用scp复制文件到另两台机器：

scp jdk-8u261-linux-x64.tar.gz [email protected]:/root/soft/zip/
scp jdk-8u261-linux-x64.tar.gz [email protected]:/root/soft/zip/

这样一来，安装包获取方式就又增加一个选择，即wget直接下载、windows下载+ftp工具上传、windows下载+nc上传、系统间scp复制。

补充
上边的安装包是可以使用的，但是实际现在官网最新版已经到了3.3，所以为了不至于落伍太多，后边又重新下载了较新的3.1.3版本，可以到hadoop官网下载：
https://hadoop.apache.org/releases.html

而后续部署也发现2.6和3.1.3的版本操作上还是有不少区别的，后续操作将会以3.1.3为准，但是部分遇到的差异也会有所提及。

至此，第一步的环境准备以及知识拓展告一段落。