大数据平台环境搭建准备

1.虚拟机安装
安装vmware,此处安装vmware14版本虚拟机，密匙易搜。
2.linux环境准备
下载linux系统镜像,下载地址：
http://archive.kernel.org/centos-vault/6.5/isos/x86_64/
cent-os下载巨细说明：
https://blog.csdn.net/sinat_36564972/article/details/81560395
此处鉴于本机原因选择cent-os-64位-6.5版本(现在一般服务server均使用7.4左右)
3.linux系统(cent-os)于虚拟机安装
关于安装cent-os有直接安装标准版，可以直接安装很容易，这样安装得到的是桌面版的cent-os系统，但是初始使用basic-server版的cent-os安装可以对该系统有个好的的了解，具体的安装本人借鉴于慕课网linux课程安装进行，也可以自行搜集进行linux系统的安装，安装需要注意的地方做一罗列。
不使用标准简易安装，使用自定义安装，之后进入安装，需要注意的是如果是win10系统，需要进入dos界面进行简单的设置。

下一步选择好下载好的cent-os系统镜像文件：

此处注意，开始安装虚拟需要给自己所在盘符如e盘下留有足够的空间，为了文件以及后续大数据hadoop体系组件搭建，留40g以上空间为保证后续操作顺畅。
win10系统创建虚拟机需要bois界面设置：
https://blog.csdn.net/sinat_37390744/article/details/56498655
安装前虚拟机创建好后，其中一般将处理器设置为多核，此处设置为4核，选择centos系统镜像文件网络选择桥接，简单的方法使得一台电脑上的多台虚拟机网络可以互通(桥接的意思是跟主机可以互相通信且是率属于同一网段，非主机路由出的子网段，如果是net模式是由主机路由出的子网)，初始建议网络均选择桥接模式，桥接模式下在同一局域网下或者公司内网，之间均可以通信，但是需要注意如果公司网络大量用于开发使用，需要跟网络工程师沟通，看是否有闲置ip，否则造成ip冲突，网络不稳定，还会影响同时办公，也可以请教网络工程师进行协助，那样效率也会高很多，由于其它原因后续需要考虑与云主机进行通讯等，暂不巨细讨论。
网络选择桥接，选择镜像文件，内存选择1g(1g一般够用，本机内存是8g，内存1g分给虚拟机)

开机(快速切入虚拟机按F2)
进入后选择第一项-->已经存在的系统-->之后检查选择skip跳过-->之后ok确认后进入centos的安装-->选择语言Chinese中文简体-->键盘美国英式标准-->设备选择基本存储设备默认-->默认之后选择安装模式-->此处为了节省存储空间-->使用自定义安装-->然后进行分区-->一般分区设置-->自定义分区-->必须根分区与boot分区，boot 200M home 2000M swap 1000M \ 根分选择剩余全部，作为最后需要的扩展分区(备存放逻辑分区)
-->格式化-->选择basic server，之后按照引导重新启动ok，密码设置此处均设置的不少于6位，完成安装，上述主要步骤如上，巨细可以查找资料或者慕课网linux安装。

安装成功后关机配置网络，在安装虚拟机后，进入网络适配器选项，修改vm8网络适配器，其网段与本机所在网络一致，此处再可以查找资料。

修改vm8网络适配器后修改vmware的网路适配器

网络适配器参考：

配置好之后开机进入虚拟机。
上述安装完毕，虚拟机有两个功能比较实用，快照和克隆，快照记录下虚拟机某一状态，所得到的快照文件也就便于另一台，或者多态虚拟机的安装，克隆可以将整个系统克隆下来，生成的文件比快照要大，快照使用的更多一些，快照下某一时刻的应用，之间进行切换，便于系统恢复以及相关功能或者应用组件安装测试。

上述对于虚拟机的基本安装已经好了，接下来需要做一些为使用，再更进一步为大数据组件安装使用做一些准备工作。
网络配置：
vi /etc/sysconfig/network-scripts/ifcfg-eth0
如果是动态获取地址，BOOTPROTO=dhcp ，如果是设置静态地址，则BOOTPROTO=static

BOOTPROTO=static
IPADDR=192.168.1.103 (此处所在局域网的网络ip设置，与网络适配器属同一网段)
NETMASK=255.255.255.0
GATEWAY=192.168.1.1 (主机网络适配器设置的网关)
https://blog.csdn.net/u010064017/article/details/77883776
ONBOOT=yes
无论是动态还是静态，配置文件里默认的ONBOOT=no要改成ONBOOT=yes，然后保存。
service neteork restart 命令重启网络服务。
vi /etc/resolv.conf
添加域名服务器：
nameserver 218.2.135.1
nameserver 8.8.8.8
保存后，无需重启网卡，DNS立即生效。
网络成功配置参考：
https://blog.csdn.net/u010064017/article/details/77883776
https://blog.csdn.net/u014466635/article/details/80284792
网络防火墙关闭(较为简单，参考下文档，注意最好使用永久关闭防火墙)：
service iptables stop（关闭）
chkconfig iptables off (永久关闭,使用永久关闭,三台机器均操作)
service iptables status
https://www.cnblogs.com/maybo/p/5250668.html
service network restart 重启网络服务

为了配置安装hadoop以及其它使用还需要进行主机名的设置
主机名进行设置(修改主机名)：
[root@master /]# cat /etc/sysconfig/network #HOSTNAME=localhostzjx
NETWORKING=yes
HOSTNAME=master
NETWORKING_IPV6=yes

需要进行切换用户生效：
su - root

也可百度下设置用户名和密码，另外需要将进行网络通信的主机名与ip加入/etc/hosts 。这里面配置的是其它主机的ip与主机名的映射，由此才可以通过主机名进行访问。
vim /etc/hosts
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
10.176.2.101 master
10.176.2.103 zjx03
10.176.2.105 zjx05
10.176.2.111 yjy11
10.176.2.113 yjy13
10.176.2.115 yjy15

可以使用主机名进行测试：
ssh master date

基本安装与环境配置到此已经完毕，可以使用此镜像完成

大数据hadoop安装准备
hadoop安装
hadoop下载地址：
http://central.maven.org/maven2/org/apache/hadoop/
https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.7.7/hadoop-2.7.7.tar.gz

hadoop安装获取hadoop官方版本，另一个是CDH版本，关于安装版本选择，目前所使用的较多的有hadoop-2.5版本，但后续更多应用均采用2.7，此处也选用hadoop-2.7
有参考版本如下：
hadoop-2.5.0.tar.gz
hbase-0.98.6-cdh5.3.0
jdk-7u67-linux-x64
zookeeper-3.4.5-cdh.10.0

实际安装版本：
jdk-8.191
hadoop-2.7.7
zookeeper-3.4.5-cdh5.12.2
后续组件安装sqoop选用版本：sqoop-1.4.7.bin__hadoop-2.6.0
已成功安装对应此版本下的基于zookeeper的hadoop集群，此版本测试环境可以放心使用，生产环境待测。

下一篇：进行大数据平台搭建hadoop安装(单机版，hadoop集群版，zookeeper管理集群的安装)

不足之处还望指正，谢谢!Q:1098077157