(Hadoop搭建) 2.Hadoop节点安装前的准备—网络配置

(注:搭建的是三节点Hadoop集群。)

  • 创建 DataNode
    上一篇 已经创建了NameNode。DataNode与NameNode安装CentOS7 的 不同处有:
    1.NameNode 建议磁盘大于50G,DataNode 建议磁盘大于30G。
    2.NameNode 和 DataNode 的内存和处理器看电脑配置决定。一般NameNode 比 DataNode 内存大,处理器多。
    3.NameNode 的“SOFTWARE SELECTION”选择"server with GUI",带有图形界面。DataNode 的“SOFTWARE SELECTION”选择“Minimal install”。
    PS:各节点用户名要相同。

  • 编辑网卡配置文件,保证能正常上网

  • 对于带GUI的NameNode节点虚拟机可以直接 在图形界面中设置网卡,勾选“connect automatically”。
    (Hadoop搭建) 2.Hadoop节点安装前的准备—网络配置_第1张图片
    2.对于不带GUI的DataNode节点虚拟机可以 用 命令 sudo vi /etc/sysconfig/network-scripts/ifcfg-ens33 来直接修改网卡配置文件,将 ONBOOT=no 改为 ONBOOT=yes,并保存文件退出。重启该虚拟机后,终端上可以ping通网站。

  • 网络地址设置
    在vmware菜单:编辑—>虚拟网络编辑器,应该看到三个网卡,否则点击“还原默认设置”,前提是以管理员身份运行的vmware。建议如果不是多物理机运行,选择NAT模式。多物理机运行就用桥接模式。
    (Hadoop搭建) 2.Hadoop节点安装前的准备—网络配置_第2张图片
    192.168.137是网络地址,后面的是主机地址。
    (Hadoop搭建) 2.Hadoop节点安装前的准备—网络配置_第3张图片
    NAT模式下子网IP可以自由设置“NAT设置”下的网关地址。网关地址最后面不能是0,1或255。

  • 修改主机名
    sudo vi /etc/hostname 把里面内容改成自己需要的主机名,只要是为了好区分。

  • 设置静态IP
    在集群设置中,需要进行ssh免密,如果IP地址变化,免密就需要重新设置。如果使用DHCP自动获取IP地址,那么集群中有任何一个IP地址发生变化,整个集群将不能正常运行。所以我们要设置静态IP。
    1.对于带GUI的NameNode节点的虚拟机,可以直接在图形界面上配置,写好后点击“Appy”,也可以和DataNode节点一样通过修改文件来设置。
    (Hadoop搭建) 2.Hadoop节点安装前的准备—网络配置_第4张图片
    (前面就是上面的网络地址。网关IP和上面要一样。我设20为主机地址,这个可以自由设置)
    2.DataNode节点虚拟机
    sudo vi /etc/sysconfig/network-scripts/ifcfg-ens33
    添加:
    IPADDR=192.168.137.21
    PREFIX=24
    GATEWAY=192.168.137.2
    DNS1=192.168.137.2
    上面21只要是与NameNode 的主机地址不同即可。

  • 拷贝DataNode 节点。
    先把DataNode 节点虚拟机关机,再直接拷贝文件。在vmware中打开,并将其改名为DataNode2,开机后,修改hostname和ifcfg-ens33。ifcfg-ens33中“IPADDR=192.168.137.21” 的后面改为其他数字,保证IP地址不重叠。修改后重启,使其可以上网。
    三个节点,相互ping一下,保证网络畅通。

  • 设置域名解析
    为了可以在ping的时候不用写IP地址,我们设置域名解析。
    sudo vi /ect/hosts
    hosts添加,内容如下:
    192.168.137.20 master
    192.168.137.21 slave1
    192.168.137.22 slave2(Hadoop搭建) 2.Hadoop节点安装前的准备—网络配置_第5张图片
    每个节点的虚拟机均这样设置域名解析。然后验证,例如ping master ,ping slave1,ping slave2。建议在master上用远程操作,因为master有图形界面,拷贝粘贴比较方便。NameNode的域名设置好后,可以通过命令sudo ssh slave1进行远程登陆,进行远程操作IP地址为192.168.137.21的虚拟机。

~~ ~~ ~~ ~~ ~~ ~~ ~~ ~~ ~~ ~~ ~~ ~~ ~~ ~~ ~~ ~~ ~~ ~
下一篇 是 Hadoop节点安装前的准备—SSH免密设置

你可能感兴趣的:(Hadoop)