Hadoop大数据平台环境搭建

我们此处使用的是VM虚拟机，centOS6.5的系统，初学者建议装中文版的系统，方便查看，我这边也是先装中文版的系统，本文章主要讲解如何在搭建大数据平台之前要对虚拟机进行环境配置工作，我会在重要的步骤截图上传，方便大家学习讨论，同时，对于一些拓展知识我会进行注释解释，一些其他相关知识也会在文章末尾写出来的，以下便具体的讲解如何进行配置

一、系统环境准备工作：

1、把网卡IP设置成静态（NAT模式） ①

** 首先查看网卡IP

$ ip a 或$ ifconfig (network interfaces configuring)网络接口配置 （此处是为了先查看网段，先把网段记住，方便后面修改IP）

** 然后配置VPN（Virtual Private Network 虚拟专用网络）

a. 右下角选择"配置VPN"

b. 选择eth0，点击编辑（eth开头的是网卡）

c. 在IPv4页面设置

方法：手动

添加：地址192.168.195.195 掩码255.255.255.0 网关192.168.122.2

DNS服务器：192.168.122.2, 202.96.209.5

勾选需要IPv4

注意： 静态IP前三个字段都是必须和系统是一样的，可以修改第四个网段，子网掩码一般都是255.255.255.0，网关把IP复制过来把末端改成2就可以了，末位设置为2,是NAT模式特有的做法。把IP修改成静态过后是不能进行联网的，也就是说ping不同外网，这是必须要配置DNS服务器才行， DNS一般直接把网关拷贝过来就可以了。

#202.96.209.5（或133）是上海电信DNS服务器（baidu），8.8.8.8是Google服务器

***配置Notepad++的NppFTP来修改文件，协议必需要选择 SFTP***

***注意：文件必需在Linux里建，可以在Windows里改，因为Linux里面的编码有时候可能会和 Windows里面的不一样，要是直接在Windows里面建文件的话拿到Linux里面可能会不兼容

编辑文件（root）

# vi /etc/sysconfig/network-scripts/ifcfg-eth0

#注意：VPN修改后，文件名会变化，如：ifcfg-Auto_eth0

ONBOOT=yes# 把网卡设置成开机启动

BOOTPROTO=static# 把DHCP改为static，Linux严格区分大小写，一定要注意

IPADDR=192.168.195.195

NETMASK=255.255.255.0

GATEWAY=192.168.195.2 #前三位相同，末位设置为2,是NAT模式特有的做法

设置好后，重启网卡：

# ifup eth0 （若是有问题，将文件中以IPV6开头的行删除）

#Linux中eth0，eth1，eth2分别表示网卡一，网卡二，网卡三 ……

#/etc/sysconfig/network-scripts/ifcfg-eth0文件内容参照如下 （这里是我的详细类容，大家参考下，不要复制过去）：

#若是有问题就将IPV6开头的删除

DEVICE="eth0"

BOOTPROTO=static

IPV6INIT="yes"

NM_CONTROLLED="yes"

ONBOOT="yes"

TYPE="Ethernet"

UUID="0faffc60-5eda-421f-9cb9-c90cea321005"

HWADDR=00:0C:29:3D:37:60

IPADDR=192.168.122.128

NETMASK=255.255.255.0

PREFIX=24

GATEWAY=192.168.122.2

DNS1=192.168.122.2

DNS2=202.96.209.5

DEFROUTE=yes

IPV4_FAILURE_FATAL=yes

IPV6_AUTOCONF=yes

IPV6_DEFROUTE=yes

IPV6_PEERDNS=yes

IPV6_PEERROUTES=yes

IPV6_FAILURE_FATAL=no

NAME="System eth0"

LAST_CONNECT=1477989881

2、设置DNS

# vi /etc/sysconfig/network-scripts/ifcfg-eth0 （同一个文件）

DNS1=192.168.122.2 #第一个DNS设置成跟网关地址一样，NAT模式比较特殊

DNS2=202.96.209.5

# service network restart #重启network服务，即网络服务

3、修改主机名

** 集群内部的主机名通常都会使用统一的命名格式

** 注意：hadoop里主机名不能使用下划线

ibeifeng

# vi /etc/sysconfig/network

HOSTNAME=ibeifeng

查看主机名：

# hostname

4、关闭Linux防火墙和selinux

** 默认情况下,防火墙只开启了22号端口，会影响集群通讯

# service iptables status

# service iptables stop # 关闭防火墙服务

# chkconfig iptables off # 设置为开机不启动

# chkconfig --list # 列出所有的系统服务

# chkconfig --list | grep ip

PS：

等级代号指定该系统服务要在哪一个执行等级中开启或关闭。

等级0表示：表示关机，系统默认运行级别不能设置为0，否则不能正常启动、关闭。

等级1表示：单用户模式

等级2表示：无网络连接的多用户命令行模式

等级3表示：有网络连接的多用户命令行模式

等级4表示：等级4保留，一般不用，可以处理一些特殊情况。如笔记本电池用尽时，可以切换到这个模式来做一些设置。

等级5表示：带图形界面的多用户模式

等级6表示：重新启动

# 关闭selinux，是一个安全子系统，它能控制程序只能访问特定文件

# vi /etc/sysconfig/selinux（注意：此文件在notepad中不可见）

SELINUX=disabled # 把enforcing改成disabled

5、添加主机名映射

** 后面需要多次使用主机名

# vi /etc/hosts

在最后一行添加：192.168.195.195 ibeifeng

6、创建普通用户

** 后期所有操作都尽量使用普通用户来进行

# useradd tom #创建用户ibeifeng

# passwd tom #设置密码

# echo blue | passwd --stdin ibeifeng #--stdin接收系统输入数据

PS:

Xshell：工具--选项--键盘和鼠标

右键粘贴功能: 修改“右键按钮”为：paste the clipboard contents

选中复制功能：勾选“将选中的内容自动复制到剪贴板”

----JDK-----------------------------------------------

#除非必需，尽量使用普通用户来操作

ssh(Secure Shell)是目前较可靠，专为远程登录会话和其他网络服务提供安全性的协议。

Xshell登录：ssh [email protected]

** 安装JDK

$ su - # tom在/opt内无创建目录的权限

# mkdir /opt/modules # 用于软件安装目录

# mkdir /opt/softwares # 用于软件下载目录

# chown ibeifeng:ibeifeng /opt/modules/ # 授权用户:组

# chown ibeifeng:ibeifeng /opt/softwares/

# su - ibeifeng

$ tar zxvf jdk-7u67-linux-x64.tar.gz -C /opt/modules/ --选项-C 表示解压的目标路径

# 设置JAVA_HOME和PATH

# vi /etc/profile (root用户)

JAVA_HOME=/opt/modules/jdk1.7.0_67

export PATH=$PATH:$JAVA_HOME/bin

PS:

***卸载其他软件捆绑安装的JDK，若是没有则无需卸载

# rpm -qa #查看所有已安装的rpm包

# rpm -qa | grep -i java --'-i'：忽略大小写

# 卸载rpm软件包

# rpm -e --nodeps java-1.7.0-openjdk-1.7.0.9-2.3.4.1.el6_3.x86_64

①NAT(Network Address Translation)网络地址转换，它是一个IETF标准，允许一个整体以一个公用IP地址出现在Internet上。

顾名思义，它是一种把内部私有网络地址翻译成合法网络IP地址的技术。简单的说，NAT就是在局域网内部网络中使用内部地址，

而当内部节点要与外部网络进行通讯时，就在网关处，将内部地址替换成公用地址，从而在外部公网（internet）上正常使用，

这一功能很好地解决了公共IP地址紧缺的问题。通过这种方法，只申请一个合法IP地址，就把整个局域网中的计算机接入Internet。

内部网计算机用户通常不会意识到NAT的存在。NAT功能通常被集成到路由器、防火墙、ISDN路由器或者单独的NAT设备中。

NAT有三种类型：静态NAT(Static NAT)、动态地址NAT(Pooled NAT)、网络地址端口转换NAPT（Port－Level NAT）。其中，

静态NAT设置起来最为简单和最容易实现的一种，内部网络中的每个主机都被永久映射成外部网络中的某个合法的地址。