第三节 阿里云下Hadoop分布式集群安装

【Hadoop大数据基础】##

第三节 Hadoop分布式集群安装

3.1 环境准备
3.2 服务器规划
3.3 tar上传服务器和解压情况
3.4 修改profile文件
3.5 SHH免签设置
3.6 hosts文件修改
3.7 将hadoop目录scp到其他2台服务器上
3.8 hadoop启动

---

3.1. 环境准备：

1. 3台阿里云服务器: 10.0.73.21； 10.0.73.20 ； 10.0.73.6；

2. hadoop-2.6.0.tar.gz

3. jdk-8u65-linux-x64.tar.gz

3.2. 服务器规划：

3.2-01.png

3.3. tar上传服务器和解压情况：

3.3-01.png

jdk解压：

3.3-02.png

hadoop解压：

3.3-03.png

解压之后：

3.3-04.png

3.4. 修改profile文件：

3.4-01.png

在profile文件上添加如下图信息：

3.4-02.png

使profile文件生效：

3.4-03.png

3.5. SHH免签设置：
1） 检查系统是否安装了ssh：

3.5-01.png

如果没有按照那么就用yum和rpm 可以通过yum或rpm安装包进行安装 yum install ssh 上图显示已经按照！

2） ssh的rsa秘钥生成：ssh-keygen -t rsa -P ''

3.5-02.png

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys 将生成的公钥id_rsa.pub 内容追加到authorized_keys：

3.5-03.png

3）这里需要将另外2台节点的id_rsa.pub内容添加到本机的authorized_keys文件中：

3.5-04.png

4）将本机的authorized_keys文件scp到其他2台服务器：

3.5-05.png

5）记得要设置600的权限给authorized_keys
chmod 600 .ssh/authorized_keys：

3.5-06.png

3.6. hosts文件修改：
该文件另外2台服务器也要跟着修改：

3.6-01.png

hadoop文件修改：

1）进入$HADOOP_HOME/etc/hadoop目录如下图：

3.6-02.png

2）修改hadoop-env.sh文件如下：

3.6-03.png

3）修改yarn-env.sh文件如下：

3.6-04.png

4）修改core-site.xml文件如下：

3.6-05.png

5）修改hdfs-site.xml文件如下：

3.6-06.png

6）修改mapred-site.xml文件如下：

3.6-07.png

7）修改yarn-site.xml文件如下：

3.6-08.png

8）修改slaves文件如下：

3.6-09.png

3.7. 将hadoop目录scp到其他2台服务器上：

3.7-01.png

3.8. hadoop启动
1）格式化HDFS 格式化NameNode,不需要每次启动都需要格式化,机器第一次启动的时候需要格式化一次；如果多次格式化，注意要保持datanode的clusterID一致，否则要出现nodes instead of minReplication (=1). There are 0 datanode(s) running an的错误！

3.8-01.png

2）启动hadoop

3.8-02.png

3）查看各节点情况：

3.8-03.png

3.8-04.png

3.8-05.png

---

以上内容由小张网校学员-Like提供
更多课程可以关注

【微信公众号】小张网校

公众号内有微信群，扫描加入后更多大牛交流学习