手把手教你配置hadoop（一）

网络配置

命令：
你的虚拟机也可能是ens33

vi /etc/sysconfig/network-scripts/ifcfg-ens32

修改如下
IPADDR的网段要与上图中的子网IP网段一致，GATEWAY的网段也要一致（前段数字都要一样，最后一段数字随意
不要用2-255）

image.png

配置网络工作

在 /etc/sysconfig/network 文件里增加如下配置

image.png

修改

关闭防火墙并重启

image.png

我们发现ping无法使用时

image.png

image.png

重启服务

ping百度

ctrl+c退出

centos7配置(三台虚拟机都需要配置)

1.配置自动时钟同步

该项同时需要在HadoopSlave节点配置。

1.1使用Linux命令配置

[root@master ~]# crontab -e

vi下的操作大家一定要会
该命令是vi编辑命令，按i进入插入模式，按Esc，然后键入:wq保存退出
键入下面的一行代码，输入i，进入插入模式（星号之间和前后都有空格）

*/5 * * * * ntpdate -u ntp1.aliyun.com

2.配置主机名

2.1HadoopMaster节点

使用vi编辑主机名

[root@master ]# vi /etc/hostname

配置信息如下，如果已经存在则不修改，将HadoopMaster节点的主机名改为master，即下面代码的第2行所示。
master
确实修改生效命令：

[root@master kkb]# hostname master

检测主机名是否修改成功命令如下，在操作之前需要关闭当前终端，重新打开一个终端：

[root@master kkb]# hostname

image.png

2.2HadoopSlave节点（两个Slave节点）

使用vi编辑主机名：

[root@slave kkb]# vi /etc/hostname

配置信息如下，如果已经存在则不修改，将Hadoopslave节点的主机名改为slave，即下面代码的第
2行所示。 slave01
另一台改为
slave02
确实修改生效命令：

  [root@slave kkb]# hostname slave01

image.png

另一台执行

[root@slave kkb]# hostname slave02

image.png

检测主机名是否修改成功命令如下，在操作之前需要关闭当前终端，重新打开一个终端： [root@slave kkb]#
hostname
[图片上传中...(image.png-ba3c18-1576726720350-0)]

5.配置hosts列表(配置映射列表）

该项也需要在HadoopSlave节点配置。
需要在root用户下（使用su命令），编辑主机名列表的命令：

[root@master ~]# vi /etc/hosts

将下面两行添加到/etc/hosts文件中：

192.168.48.128 master
192.168.48.129 slave01
192.168.48.130 slave02

三台虚拟机都需要配置

注意：这里master节点对应IP地址是192.168.48.128，slave1对应的IP是192.168.48.129，slave2对应的IP是192.168.48.130,而自己在做配置时，需要将这两个IP地址改为你的master和slave对应的IP地址

image.png

配置完毕后查看ifconfig

image.png

可以用ping来查看是否连通

[root@master ~]$ ping slave01
[kkb@master ~]$ ping slave02
[kkb@slave01 ~]$ ping master 
[kkb@slave02 ~]$ ping master

如果出现下图的信息表示配置成功：

image.png

6.安装JDK

该项也需要在HadoopSlave节点配置。

首先查询系统自带的jdk，但我们一般不使用
[kkb@master ~]$ rpm -qa | grep java

然后移除系统自带的jdk
[root@master ~]# yum remove java-1.*   # *号代表是占位符

image.png

将JDK文件解压，放到/usr/java目录下

image.png

放入文件有2种方式：

第一种直接复制

image.png

image.png

因为我们的解压包在桌面上所以先移动/usr/java/下，再解压

image.png

使用cd命令回到root用户的家目录下

[root@master java]$ cd

使用vi配置环境变量root用户下
[root@master ~]$ vi .bash_profile

复制粘贴以下内容添加到到上面vi打开的文件中：

#我们提前把hadoop的环境变量设好了
JAVA_HOME=/usr/java/jdk1.8.0_181/
HADOOP_HOME=/software/hadoop/hadoop-2.7.3
PATH=$PATH:$HOME/bin:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export JAVA_HOME
export HADOOP_HOME
export PATH

image.png

接着让环境变量生效

#环境变量生效
[root@master ~]$ source .bash_profile

#测试配置：
root@master ~]$ java -version

成功

7.免密钥登录配置(root用户与普通用户均需要配置)

7.1三个节点分别执行生成秘钥的命令

[root@master ~]# ssh-keygen -t rsa #一路回车完成秘钥生成
[root@slave01 ~]# ssh-keygen -t rsa #一路回车完成秘钥生成
[root@slave02 ~]# ssh-keygen -t rsa #一路回车完成秘钥生成

7.2在master节点上做示范，以下的命令需要在所有节点上执行

[root@master ~]# ssh-copy-id -i slave01
[root@master ~]# ssh-copy-id -i slave02

以node1节点作为示范，其他节点需要相应的验证.如果免密码登录失败，会提示输入登录密码,此时重复7.1和7.2等两个步骤

[root@master ~]# ssh slave01
[root@master ~]# ssh slave02

ssh远程登录其他节点后，可使用exit退回到本机节点

image.png

8. 创建hadoop用户和hadoop组

此用户用于操作hadoop集群,因此也需要对此用进行免密码登录配置.此处以node1节点为例，其他节点也需要按照以下步骤操作.

[root@node1 ~] useradd kkb
[root@node1 ~] passwd kkb #密码输入kkb
[root@node1 ~] groupadd kkb #创建kkb用户组
[root@node1 ~] usermod -G kkb kkb #讲hadoop添加到hadoop组中
[root@node1 ~] su - kkb #切换到hadoop用户目录下
[kkb@master ~]# ssh-keygen -t rsa #一路回车完成秘钥生成
[kkb@master ~]$ cd .ssh
[kkb@master .ssh]$ cat id_rsa.pub >> authorized_keys #将生成的公钥添加到认证文件中

在普通用户下做ssh操作与上面root用户做ssh操作相同，三台都要做，只是多出一步将公钥添加到认证文件
(普通用户意味着权限稍弱）
先cd 返回根目录，重复上面7.2，7.3操作

出现免密失败的解决方法