VirtualBox中搭建Hadoop 3.1.1完全分布式集群环境(一)VirtualBox虚拟机CentOS7环境安装

一、所涉及软件环境

VirtualBox安装环境:Windows 7专业版 64bit ,主机CPU配置:Core i7, 主机内存配置:16GB

VirtualBox版本:5.2 .18 r124319

Linux 版本:CentOS 7

 

二、虚拟机软件及首台虚拟机操作系统安装 

1、VirtualBox安装(略) 

2、新建及配置虚拟机(CentOS7)

    步骤1:Oracal VM VirtualBox管理器->“新建”工具条按钮,弹出“新建虚拟电脑”向导对话框 。

    步骤2:在“新建虚拟电脑”向导对话框输入虚拟机电脑名称为“CentOS7”,自动选择类型为"Linux",版本为"Red Hat (64-bit)。

    步骤3: “内存大小”输入“4096”MB。其他的按照默认配置,逐一点击“下一步”,最后点击“完成”即可。

    步骤4:虚拟机“网络”配置:Oracal VM VirtualBox管理器->选中虚拟机列表中要设置的虚拟机->“设置”工具条按钮。

    步骤4.1 ,在设置对话框中选中左侧列表“网络”,发现右侧“网卡1”已经默认启用“启用网络连接”,且连接方式为“网络地址转换(NAT)”,点击“高级”,发现“控制芯片”设置为“Intel PRO/1000 MT桌面(82540EM)”。不用理会,看看MAC地址信息即可。方便在CentOS中进行配置网络环境。

    步骤4.2,在步骤4.1基础上,选择“网卡2”选项卡。选中“启用网络连接”,连接方式选择“仅主机(Host-Only)客户端”。这时显示“界面名称”为“VirtualBox Host-Only Ethernet Adapter”,“控制芯片”显示为“Intel Pro/1000 MT 桌面 (82540EM)”,混杂模式为“拒绝”。

    注:配置NAT是为了让虚拟机里操作系统能够访问互联网;配置VirtualBox Host-Only Ethernet Adapter是为了让各个虚拟机里操作系统能够互相访问。

3、CentOS7安装 

    选择安装CentOS7 Minimal版本(无GNONE图形界面),过程略

4、CentOS7 Minimal网络环境配置

     目的:上网下载相关网络管理工具及Hadoop软件包 

     配置方式一、图形配置命令: nmtui 

注:CentOS7 Minimal中无ifconfig命令,需要额外连上网络后再安装。联网后安装命令:#yum install net-tools.x86_64

    配置方式二、网络配置相关文件:在/etc/sysconfig/network-scripts目录下,找到ifcfg-开头的几个文件,分别编辑(ifcfg-lo文件不用理会,这是为loopback预留文件)。

           1、#vi ifcfg-nat1            #注:ifcfg-nat1中的nat1是本人自定义的,用来配置网卡1为NAT网络。

                     HWADDR=08:00:27:AB:CA:A0 

                    TYPE=Ethernet 

                    BOOTPROTO=dhcp 

                    DNS1=8.8.8.8 

                    DEFROUTE=yes 

                    PEERDNS=yes 

                    PEERROUTES=yes  

                    IPV4_FAILURE_FATAL=no 

                    IPV6INIT=no 

                    NAME=nat1

                    UUID=....................

                    ONBOOT=yes

                    AUTOCONNECT_PRIORITY=-999

            2、#vi ifcfg-vio1 

            内容如下(暂时关闭ipv6,不知道Hadoop是否支持): 

                     HWADDR=08:00:27:AB:CA:A1

                    TYPE=Ethernet

                    BOOTPROTO=none #或者static

                    IPADDR=192.168.56.100

                    PREFIX=24

                    GATEWAY=192.168.56.1

                    DEFROUTE=yes

                    IPV4_FAILURE_FATAL=no

                    IPV6INIT=no

                    NAME=vio1

                    UUID=....................

                    ONBOOT=yes

                    AUTOCONNECT_PRIORITY=-999

            3、修改主机名称 

                  临时修改主机名称:#hostname  hn1

                  永久修改主机名称:编辑/etc/hostname,将主机名称修改为想要的名称,如hn1。操作命令如下

                                                   #vi /etc/hostname

                                                   :wq                (vi的保存文件命令。先按ESC键,再输入:wq三个字符。)

            4、关闭网络防火墙或者配置网络防火墙 

            CentOS7查询防火墙启动状态:service firewalld status(注意:CentOS7 minimal中默认无iptables服务,使用firewalld服务)。

             停止服务:systemctl stop firewalld 
                               systemctl mask firewalld
             启动: systemctl start firewalld 
             开机禁用  : systemctl disable firewalld
             开机启用  : systemctl enable firewalld

详情参考:CentOS7使用firewalld打开关闭防火墙与端口、CentOS7查看和关闭防火墙

#systemctl stop firewalld.service
#systemctl disable firewalld.service 

           4.1管理工具firewall-cmd的使用

            语法:firewall-cmd [--zone=] --add-port=[-]/ [--timeout=]

            语法说明端口可以是一个单独的端口 或者是一个端口范围 - 。协议可以是 tcp 或 udp。

            添加1:firewall-cmd --zone=public --add-port=80/tcp --permanent (--permanent永久生效,没有此参数重启后失效)

             添加2:firewall-cmd --zone=public --add-port=1000-2000/tcp --permanent

             重新载入:firewall-cmd --reload
             查看:firewall-cmd --zone=public --query-port=80/tcp
             删除:firewall-cmd --zone=public --remove-port=80/tcp --permanent

5、配置CentOS7 DNS本地解析文件:/etc/hosts文件

             添加行:
                 192.168.56.100 hn1
                 192.168.56.101 hn2             
                 192.168.56.102 hn3             
             注:添加DNS本地解析,分别为主机hn1、hn2、hn3添加解析条目

6、重启网络

                  service network restart

                或 /etc/sysconfig/network-scripts/ifdown ifcfg-vio1

                    /etc/sysconfig/network-scripts/ifdown ifcfg-nat1

                    /etc/sysconfig/network-scripts/ifup ifcfg-vio1

                    /etc/sysconfig/network-scripts/ifup ifcfg-nat1

7、创建其他虚拟机(通过VirtualBox管理器拷贝获得)

      为了减轻配置负担,先配置好一台,再复制。这一步骤可以放至最后面进行。

你可能感兴趣的:(大数据)