centOS7集群hadoop环境搭建
今天安装了下hadoop，感觉网上的教程还有几点要注意的地方，我把它总结在写一下。
一、准备工作
准备3台centOS 7
虚拟机的安装我这边就不写了，给两个教程链接把：
centOS7安装教程：https://www.centos.net.cn/archive/1518
centOS7下载：https://www.centoschina.cn/downloads
（Tip：安装完一个虚拟机之后，剩下的两个可以进行克隆，右键就行）
关闭防火墙：
systemctl stop firewalld.service
禁用防火墙：systemctl disable firewalld.service
查看防火墙状态firewall-cmd --state
重启 reboot
二、实现三台机器ssh免密码登录
首先，你要确保知道你的三台机子的名称和ip
比如：我的三台分别是
10.25.0.165 hadoop01
10.25.0.221 hadoop02
10.25.0.232 hadoop03
1.检查机器的名称和IP
检查机器名称
用root账户登录，然后使用hostname命令查看机器名称
[root@localhost etc]# hostname
localhost.localdomain
[root@localhost etc]#
把他修改成我们想要的名称
hostname hadoop01
修改之后检查一下，如果修改不成功，可以进入配置文件进行名称的修改。
vim /etc/hostname ##用vi进行修改
类似的，将其他两个机器，分别改名为hadoop02和hadoop03
检查IP
使用ifconfig来检查电脑的ip
[root@hadoop01 etc]# ifconfig
ens33: flags=4163 mtu 1500
inet 10.25.0.165 netmask 255.255.254.0 broadcast 10.25.1.255
inet6 fe80::57c1:8afa:60e5:4cc7 prefixlen 64 scopeid 0x20
ether 00:0c:29:92:e6:51 txqueuelen 1000 (Ethernet)
RX packets 370188 bytes 428647745 (408.7 MiB)
RX errors 0 dropped 0 overruns 0 frame 0
TX packets 52416 bytes 15864915 (15.1 MiB)
TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0
lo: flags=73 mtu 65536
inet 127.0.0.1 netmask 255.0.0.0
inet6 ::1 prefixlen 128 scopeid 0x10
loop txqueuelen 1000 (Local Loopback)
RX packets 987 bytes 105906 (103.4 KiB)
RX errors 0 dropped 0 overruns 0 frame 0
TX packets 987 bytes 105906 (103.4 KiB)
TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0
virbr0: flags=4099 mtu 1500
inet 192.168.122.1 netmask 255.255.255.0 broadcast 192.168.122.255
ether 52:54:00:d6:35:d0 txqueuelen 1000 (Ethernet)
RX packets 0 bytes 0 (0.0 B)
RX errors 0 dropped 0 overruns 0 frame 0
TX packets 0 bytes 0 (0.0 B)
TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0
[root@hadoop01 etc]#
如果你的虚拟机使用的是桥接的，ifconfig之后你还是不确定你的IP，建议使用CRT工具连接试试，能够成功联通的就是正确的IP。
2.修改/etc/hosts文件
修改三台机器的/etc/hosts文件，在里面添加如下内容(添加就行了，不需要删除)
修改方法：可以使用vim命令，也可以再写一个hosts文件，拿到linux上覆盖。
10.25.0.165 hadoop01
10.25.0.221 hadoop02
10.25.0.232 hadoop03
Tip：IP地址不需要和我的一样，这里只是做一个映射。
配置完成后使用ping命令检查这3个机器是否相互ping得通（互相检查一下）。
[root@hadoop01 etc]# ping -c 3 hadoop02
PING hadoop02 (10.25.0.221) 56(84) bytes of data.
64 bytes from hadoop02 (10.25.0.221): icmp_seq=1 ttl=64 time=0.416 ms
64 bytes from hadoop02 (10.25.0.221): icmp_seq=2 ttl=64 time=0.431 ms
64 bytes from hadoop02 (10.25.0.221): icmp_seq=3 ttl=64 time=0.458 ms
--- hadoop02 ping statistics ---
3 packets transmitted, 3 received, 0% packet loss, time 2003ms
rtt min/avg/max/mdev = 0.416/0.435/0.458/0.017 ms
[root@hadoop01 etc]#
ping得通，说明机器是互联的，hosts配置正确。
3.给3个机器生成秘钥文件
以hadoop01为例，执行命令，生成空字符串的秘钥(后面要使用公钥)，命令是：
ssh-keygen -t rsa -P ''
如图（我自己的已经弄好了，所以网上找了个图）：
image.png
因为我现在用的是root账户，所以秘钥文件保存到了/root/.ssh/目录内，可以使用命令查看，命令是：
[root@hadoop01 .ssh]# ls /root/.ssh/
id_rsa id_rsa.pub
[root@hadoop01 .ssh]#
要有两个文件，使用同样的方法为hadoop02和hadoop03生成秘钥(命令完全相同，不用做如何修改)。
4.在hadoop01上创建authorized_keys文件
接下来要做的事情是在3台机器的/root/.ssh/目录下都存入一个内容相同的文件，文件名称叫authorized_keys，文件内容是我们刚才为3台机器生成的公钥。
即：把刚刚的三个公钥，汇总成一个文件，放到三台机器里面。
首先创建文件：
touch /root/.ssh/authorized_keys
查看下，是否创建成功
[root@hadoop01 .ssh]# ls /root/.ssh/
authorized_keys id_rsa id_rsa.pub
[root@hadoop01 .ssh]#
汇总公钥，即汇总/root/.ssh/id_rsa.pub文件内容，到authorized_keys 的办法有很多，一个是用cat和vim命令，一个是本地编辑好后丢到各个机器上面。
我这边是这样的：
##我的hadoop01的/root/.ssh/id_rsa.pub文件内容
ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABAQDPnzSm1RBU/H4fcg2rIEh5O5AzE3uprj67LNsS8g9xjajuGz1eZ+dbp8lKZl/OrA9ihkg5FaCh/NKtdHMW4dw2Q0ST5m2y/tz94PNhGYnC84cZ02TzcV1HnlAr3Od+RsvfQt1Rmc3PZDn7bel21gc08YgfpMOjj0R7dfcYPBx/SW/mLekQz4JCESbTk+Ev24r2zE9gfmV8NZzsr+Jx8r/WxfoauMRrVXNcu8LmZ6irkyIe9CAWeVMLlaZPFWLwvW0S/aWMVmXsYf9fkC00L+S6YeaHzezKDwA2r6uvgy5SWFiCw0iQhNB+fb9MAD4e+fesvb4Ra+hmYk28wzz3K8tp root@hadoop01
##我的hadoop02的/root/.ssh/id_rsa.pub文件内容
ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABAQDL6uc5/Upj1vpTy0hSd+kRp8aYE2PdjpResBy8nm4g+ZhXAZG/eas5aVHZhLxX7PePwtVTJZ/v1RU3UfgNIXMwJhteNaFPgZFdMjFIcsgqJBKzzP2DVm3qz9tUC6UfQ156r2GL9KGn82R9xMdZXgfMHARsRs2SQx6w90HlnwwQvcbsXeyJ71Lr9xnEYWX1pwksxkr6fIEyT0666/CFcPFXPrBVgHen0cSzXcKcA3qinCrJfke/eesC30+e7oJ6WruEXKUa3BVuU59P0Ac4QV9C+5jIC/HSn73pA5NxA55gEFPxN2DtjEE/QqwznY+6DPGwe2SVg4/Jl0zcx24XBd7/ root@hadoop02
##我的hadoop03的/root/.ssh/id_rsa.pub文件内容
ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABAQDL+o7b6PTYW2MiETCFG2Gg4sIBGXexjJC4LPX4xCZsa7XE8ToCRd4/LIkc+a7lhxVYAbp1wWf+oF+zJapq7Aa6ZOowpviAyFJg/K1DvAdvfhjG8HJE8I6zgknhu3ixAxtIozmrtD17bGVXUSR+7i9rZtvWuhNiIZ/EWI2QGKRuEoKBYsFuIeXn6f/zvJQGj3hFMNvO60dOxDByMDTfAaQse0+rz9mFLr0Xbu2HRpxLC34iiTRpEZhWY+lgEyt8LYrXJeNjHx15qHn6OXYzc2YH8apryfmv1PhTeJZfHDTnmIARfIuyxxvUs7VS13w8VZBD9L7sjk2AFcDAoAlJ1IkX root@hadoop03
##汇总之后就是
ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABAQDPnzSm1RBU/H4fcg2rIEh5O5AzE3uprj67LNsS8g9xjajuGz1eZ+dbp8lKZl/OrA9ihkg5FaCh/NKtdHMW4dw2Q0ST5m2y/tz94PNhGYnC84cZ02TzcV1HnlAr3Od+RsvfQt1Rmc3PZDn7bel21gc08YgfpMOjj0R7dfcYPBx/SW/mLekQz4JCESbTk+Ev24r2zE9gfmV8NZzsr+Jx8r/WxfoauMRrVXNcu8LmZ6irkyIe9CAWeVMLlaZPFWLwvW0S/aWMVmXsYf9fkC00L+S6YeaHzezKDwA2r6uvgy5SWFiCw0iQhNB+fb9MAD4e+fesvb4Ra+hmYk28wzz3K8tp root@hadoop01
ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABAQDL6uc5/Upj1vpTy0hSd+kRp8aYE2PdjpResBy8nm4g+ZhXAZG/eas5aVHZhLxX7PePwtVTJZ/v1RU3UfgNIXMwJhteNaFPgZFdMjFIcsgqJBKzzP2DVm3qz9tUC6UfQ156r2GL9KGn82R9xMdZXgfMHARsRs2SQx6w90HlnwwQvcbsXeyJ71Lr9xnEYWX1pwksxkr6fIEyT0666/CFcPFXPrBVgHen0cSzXcKcA3qinCrJfke/eesC30+e7oJ6WruEXKUa3BVuU59P0Ac4QV9C+5jIC/HSn73pA5NxA55gEFPxN2DtjEE/QqwznY+6DPGwe2SVg4/Jl0zcx24XBd7/ root@hadoop02
ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABAQDL+o7b6PTYW2MiETCFG2Gg4sIBGXexjJC4LPX4xCZsa7XE8ToCRd4/LIkc+a7lhxVYAbp1wWf+oF+zJapq7Aa6ZOowpviAyFJg/K1DvAdvfhjG8HJE8I6zgknhu3ixAxtIozmrtD17bGVXUSR+7i9rZtvWuhNiIZ/EWI2QGKRuEoKBYsFuIeXn6f/zvJQGj3hFMNvO60dOxDByMDTfAaQse0+rz9mFLr0Xbu2HRpxLC34iiTRpEZhWY+lgEyt8LYrXJeNjHx15qHn6OXYzc2YH8apryfmv1PhTeJZfHDTnmIARfIuyxxvUs7VS13w8VZBD9L7sjk2AFcDAoAlJ1IkX root@hadoop03
5.将authorized_keys文件复制到其他机器
将authorized_keys复制到其他机器，可以使用可视化工具，比如FlashFXP。最后呈现的结果是三个机器都如图所示
image.png
6.进行免密码登陆测试
前面搞了这么多就是为了让他们通起来，这就来测试下吧！
在hadoop01上面进行测试：
[root@hadoop01 ~]# ssh hadoop02
Last login: Fri Jul 13 01:34:06 2018 from hadoop03
[root@hadoop02 ~]# exit
登出
Connection to hadoop02 closed.
[root@hadoop01 ~]#
当然，第一次登录可能要按一次回车，如图
image.png
三台机器之间可以互多测试几遍
三、安装jdk和hadoop
1.安装jdk
见我的另外一篇教程
https://www.jianshu.com/p/a243fc5f0fc5
2.下载hadoop
http://hadoop.apache.org/releases.html
选择合适的版本进行下载，我这边使用的是2.91
http://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.9.1/hadoop-2.9.1.tar.gz
3.上传文件并进行解压
在opt目录下新建一个名为hadoop的目录，并将下载得到的hadoop-2.9.1.tar.gz上载到该目录下。
进入该目录，并进行解压操作：
[root@hadoop01 ~]# cd /opt/hadoop
[root@hadoop01 hadoop]# tar -xvf hadoop-2.9.1.tar.gz
在三台机器上重复这一操作。
在/root目录下新建几个目录，复制粘贴执行下面的命令：
mkdir /root/hadoop
mkdir /root/hadoop/tmp
mkdir /root/hadoop/var
mkdir /root/hadoop/dfs
mkdir /root/hadoop/dfs/name
mkdir /root/hadoop/dfs/data
4.修改一大堆的配置文件
进入/opt/hadoop/hadoop-2.9.1/etc/hadoop/
主要修改的配置文件都在这里，我们可以看一下。
[root@hadoop01 hadoop]# ls /opt/hadoop/hadoop-2.9.1/etc/hadoop/
capacity-scheduler.xml core-site.xml hadoop-metrics2.properties hdfs-site.xml httpfs-signature.secret kms-env.sh log4j.properties mapred-queues.xml.template slaves yarn-env.cmd
configuration.xsl hadoop-env.cmd hadoop-metrics.properties httpfs-env.sh httpfs-site.xml kms-log4j.properties mapred-env.cmd mapred-site.xml ssl-client.xml.example yarn-env.sh
container-executor.cfg hadoop-env.sh hadoop-policy.xml httpfs-log4j.properties kms-acls.xml kms-site.xml mapred-env.sh mapred-site.xml.template ssl-server.xml.example yarn-site.xml
[root@hadoop01 hadoop]#
下面进行配置文件的修改，用vim命令（或者文件替换，和上面的操作一样）
！！！细节提示：一下配置文件中，带有hadoop01的，你们都需要替换成自己配置的主机名称，不要照抄！！！
1) 修改core-site.xml
在
hadoop.tmp.dir
/root/hadoop/tmp
Abase for other temporary directories.
fs.default.name
hdfs://hadoop01:9000
2）修改hadoop-env.sh
将
export JAVA_HOME=${JAVA_HOME}
修改为：
export JAVA_HOME=/opt/java/jdk1.8.0_171
说明：修改为自己的JDK路径
3)修改hdfs-site.xml
在
dfs.name.dir
/root/hadoop/dfs/name
Path on the local filesystem where theNameNode stores the namespace and transactions logs persistently.
dfs.data.dir
/root/hadoop/dfs/data
Comma separated list of paths on the localfilesystem of a DataNode where it should store its blocks.
dfs.replication
2
dfs.permissions
false
need not permissions
说明(这一段我是抄的，不是很理解，总之，我写的是true)：dfs.permissions配置为false后，可以允许不要检查权限就生成dfs上的文件，方便倒是方便了，但是你需要防止误删除，请将它设置为true，或者直接将该property节点删除，因为默认就是true。
4）新建并且修改mapred-site.xml
该版本中，有一个名为mapred-site.xml.template的文件，复制该文件，然后改名为mapred-site.xml，命令是：
cp /opt/hadoop/hadoop-2.9.1/etc/hadoop/mapred-site.xml.template /opt/hadoop/hadoop-2.9.1/etc/hadoop/mapred-site.xml
修改这个新建的mapred-site.xml文件，在
mapred.job.tracker
hadoop01:49001
mapred.local.dir
/root/hadoop/var
mapreduce.framework.name
yarn
5)修改slaves文件
修改/opt/hadoop/hadoop-2.9.1/etc/hadoop/slaves文件，将里面的localhost删除，添加如下内容：
hserver2
hserver3
说明：这个只需要修改hadoop01主机，另外两台不需要修改！！！
6）修改yarn-site.xml文件
修改/opt/hadoop/hadoop-2.9.1/etc/hadoop/yarn-site.xml文件， 在
yarn.resourcemanager.hostname
hadoop01
The address of the applications manager interface in the RM.
yarn.resourcemanager.address
${yarn.resourcemanager.hostname}:8032
The address of the scheduler interface.
yarn.resourcemanager.scheduler.address
${yarn.resourcemanager.hostname}:8030
The http address of the RM web application.
yarn.resourcemanager.webapp.address
${yarn.resourcemanager.hostname}:8088
The https adddress of the RM web application.
yarn.resourcemanager.webapp.https.address
${yarn.resourcemanager.hostname}:8090
yarn.resourcemanager.resource-tracker.address
${yarn.resourcemanager.hostname}:8031
The address of the RM admin interface.
yarn.resourcemanager.admin.address
${yarn.resourcemanager.hostname}:8033
yarn.nodemanager.aux-services
mapreduce_shuffle
yarn.scheduler.maximum-allocation-mb
2048
每个节点可用内存,单位MB,默认8182MB
yarn.nodemanager.vmem-pmem-ratio
2.1
yarn.nodemanager.resource.memory-mb
2048
yarn.nodemanager.vmem-check-enabled
false
四、启动hadoop
到这里，就是检验成果的时候了，激动一下吧！
1.在namenode上执行初始化
因为hadoop01是namenode，hadoop02和hadoop03都是datanode，所以只需要对hadoop01进行初始化操作，也就是对hdfs进行格式化。
[root@hadoop01 hadoop]# cd /opt/hadoop/hadoop-2.9.1/bin
[root@hadoop01 bin]# ./hadoop namenode -format
...
...
不报错的话，就是顺利的执行完初始化了；
格式化成功后，可以在看到在/root/hadoop/dfs/name/目录多了一个current目录，而且该目录内有一系列文件：
[root@hadoop01 bin]# cd /root/hadoop/dfs/name/
[root@hadoop01 name]# ls
current in_use.lock
[root@hadoop01 name]# ls current/
edits_0000000000000000001-0000000000000000002 edits_0000000000000000005-0000000000000000006 fsimage_0000000000000000004 fsimage_0000000000000000006 seen_txid
edits_0000000000000000003-0000000000000000004 edits_inprogress_0000000000000000007 fsimage_0000000000000000004.md5 fsimage_0000000000000000006.md5 VERSION
[root@hadoop01 name]#
2.执行启动命令：
[root@hadoop01 name]# cd /opt/hadoop/hadoop-2.9.1/sbin
[root@hadoop01 sbin]# ./start-all.sh
...
...
第一次执行上面的启动命令，会需要我们进行交互操作，在问答界面上输入yes回车,我由于已经安装完成，所以就复制了个网上的图。
image.png
五、测试hadoop
hadoop01是我自己的主机，ip是10.25.0.165
所以访问：
http://10.25.0.165:50070/
image.png
http://10.25.0.165:8088/
image.png
那么，你成功过了嘛？！
六、问题
1.hadoop命令无法使用
在昨天使用了成功安装部署了hadoop之后，使用了
hadoop fs -ls /*
命令来查看HDFS文件系统，结果发现报错
[root@hadoop01 hadoop-2.9.1]# hadoop fs -ls /*
bash: hadoop: 未找到命令...
这是由于没有配置环境变量的关系，使用vim命令修改 /etc/profile 文件，添加
export HADOOP_HOME=你的hadoop安装路径
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
2.datanode没有启动
在使用start-all.sh启动hadoop的时候，会发现，主节点namenode是启动了，但是分节点datanode启动失败。继续观察，会发现一开始是有datanode的，但它在启动后一会儿自动消失了。
可能原因网上讲了一些：防火墙没关（注意区分centOS6和centOS7关闭防火墙的命令是不一样的）。
我这边经过反复查询发现原因是因为datanode的clusterID 和 namenode的clusterID 不匹配！
打开hdfs-site.xml里配置的datanode和namenode对应的目录，分别打开current文件夹里的VERSION，可以看到clusterID项正如日志里记录的一样，确实不一致。
[root@hadoop01 sbin]# cat /root/hadoop/dfs/name/current/VERSION
#Fri Jul 13 23:04:07 CST 2018
namespaceID=781012180
clusterID=CID-b6934b47-4a9a-4e4c-8291-cd153ef830ba
cTime=1531494247761
storageType=NAME_NODE
blockpoolID=BP-485123232-10.25.0.165-1531494247761
layoutVersion=-63
[root@hadoop01 sbin]# cat /root/hadoop/dfs/data/current/VERSION
#Fri Jul 13 18:27:19 CST 2018
storageID=DS-b3dda351-22bb-4423-b058-df3b5af962ae
clusterID=hadoop-federation-clusterId
cTime=0
datanodeUuid=9241c115-8068-46d4-956b-eb86b8b37b49
storageType=DATA_NODE
layoutVersion=-57
[root@hadoop01 sbin]#
修改datanode里VERSION文件的clusterID 与namenode里的一致，再重新启动dfs（执行start-all.sh）再执行jps命令可以看到datanode已正常启动。