大数据环境搭建--01 Centos7环境配置

1. 在VMware上安装三台Centos7虚拟机

请参考其他教程，如：http://www.linuxidc.com/Linux/2014-10/108013.htm

2. 配置网路(使用NAT模式)

设置VMware的ip(网关IP)，此次将网段设置为192.168.88.0，三台虚拟机的ip分别为201，202，203

Paste_Image.png

Paste_Image.png

将主机上的VMnet8虚拟网卡的ip设置为192.168.88.2

Paste_Image.png

3. 设置虚拟机静态ip

此处以201为例，使用root身份登录系统，使用vim打开配置文件/etc/sysconfig/network-scripts/ifcfg-ens33，将内容修改如下：

TYPE="Ethernet"
BOOTPROTO="static" #将dhcp改为static
DEFROUTE="yes"
PEERDNS="yes"
PEERROUTES="yes"
IPV4_FAILURE_FATAL="no"
IPV6INIT="yes"
IPV6_AUTOCONF="yes"
IPV6_DEFROUTE="yes"
IPV6_PEERDNS="yes"
IPV6_PEERROUTES="yes"
IPV6_FAILURE_FATAL="no"
IPV6_ADDR_GEN_MODE="stable-privacy"
NAME="ens33"
UUID="8ae181fb-3e3e-4167-a157-687f2f1c71f4"
DEVICE="ens33"
ONBOOT="yes" #开机启用本配置
IPADDR=192.168.88.201 #静态IP地址
GATEWAY=192.168.88.1 #网管地址
NETMASK=255.255.255.0 #子网掩码
DNS1=192.168.88.1 #DNS设置为网管一样

重启虚拟机即可生效

4. 设置虚拟机主机名

我们将主机名命名为以cluster+ip后缀的形式，此处三台依次为：
192.168.88.201 cluster201
192.168.88.202 cluster202
192.168.88.203 cluster203
此处以201为例，查看当前主机名：

[root@localhost ~]# hostname
localhost.localdomain
# 修改hostname，这种修改方式重启后会失效
[root@localhost ~]# hostname cluster201
[root@localhost ~]# hostname
cluster201

使用vim打开/etc/hostname文件，将内容修改如下：

cluster201

可重启一下虚拟机

5. 修改hosts文件

三台虚拟机执行同样的操作，使用vim打开/etc/hosts文件，在文件末尾增加如下内容：

192.168.88.201 cluster201
192.168.88.202 cluster202
192.168.88.203 cluster203

6. 设置ssh免密登录

此处以201和root用户为例，在201上要用root用户免密登录到202与203上，其他用户与IP虚拟机类似
在201上生成key：

# 执行如下命令生成key，一路回车即可
[root@cluster201 ~]# ssh-keygen -t rsa
Generating public/private rsa key pair.
Enter file in which to save the key (/root/.ssh/id_rsa): 
Created directory '/root/.ssh'.
Enter passphrase (empty for no passphrase): 
Enter same passphrase again: 
Your identification has been saved in /root/.ssh/id_rsa.
Your public key has been saved in /root/.ssh/id_rsa.pub.
The key fingerprint is:
ed:5f:6f:e0:84:a7:a4:4c:97:0a:e9:8e:a4:56:17:2c root@cluster201
The key's randomart image is:
+--[ RSA 2048]----+
|                 |
|                 |
|       .         |
|      E o.       |
|       .So.  o   |
|      . +.. = +  |
|     ..o +.= =.. |
|    .o .. +......|
|   .. ...   .  ..|
+-----------------+
#查看~/.ssh目录下生成了两个文件
[root@cluster201 ~]# ls .ssh/
id_rsa  id_rsa.pub
# 将公钥放入目标机器后执行，第一次ssh到202，此时就不需要密码了
[root@cluster201 ~]# ssh cluster202
The authenticity of host 'cluster202 (192.168.88.202)' can't be established.
ECDSA key fingerprint is 7c:1f:06:3d:19:63:3a:c2:79:19:3f:02:ed:f7:49:cd.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added 'cluster202,192.168.88.202' (ECDSA) to the list of known hosts.
Last login: Thu Jun  1 17:39:52 2017 from 192.168.88.2
[root@cluster202 ~]# 

将公钥放入到登录的目标机器上（202,203）：
将生成key的机器上的_{/.ssh/id_rsa.pub内容追加到目标机器的}/.ssh/authorized_keys的最后一行，
然后把三台机器 .ssh/ 文件夹权限改为700，authorized_keys文件权限改为600（or 644）

[root@cluster201 ~]$ chmod 700 .ssh
[root@cluster201 ~]$ chmod 600 .ssh/authorized_keys

7. 安装JAVA环境

请参考：http://www.jianshu.com/p/288cf1bc3096

8. 添加hadoop用户，设置免密登录，添加应用安装目录/opt/bigdata

[root@cluster201 ~]# adduser hadoop
# 比如讲秘密设置为123456
[root@cluster201 ~]# passwd hadoop
更改用户 hadoop 的密码 。
新的 密码：
无效的密码： 密码少于 8 个字符
重新输入新的 密码：
passwd：所有的身份验证令牌已经成功更新。
# 免密登录参考6
#新建应用安装目录，并修改权限
[root@cluster202 ~]# mkdir /opt/bigdata
[root@cluster202 ~]# chown hadoop /opt/bigdata
[root@cluster202 ~]# chgrp hadoop /opt/bigdata