Hadoop集群环境搭建

1、      系统基本安装

1）、centos简易安装

2）、centos进一步安装

打开centos简易系统桌面上的镜像文件进行详细安装。

3）、VMware-tools安装

Centos系统安装完成后，安装VMware-tools。

2、修改主机名

[root@centosbasic Desktop]# vi /etc/sysconfig/network

[root@centosbasic Desktop]# vi /etc/hosts

3、修改网络配置

1）、修改网卡地址

[root@centosbasic Desktop]# vi /etc/udev/rules.d/70-persistent-net.rules

2）、修改ip地址和网卡地址

[root@centosbasic Desktop]# vi /etc/sysconfig/network-scripts/ifcfg-eth0

3）、修改DNS

[root@centosbasic Desktop]# vi /etc/resolv.conf

验收标准：

成功ping通www.baidu.com

 

4、拍摄快照

5、中文输入法安装

#yum install "@Chinese Support"

6、关闭防火墙

1）、#查看防火墙状态

# /etc/rc.d/init.d/iptables status

2）、#关闭防火墙

#/etc/rc.d/init.d/iptables stop

3）、重启后永久性生效

关闭防火墙

[root@master Desktop]# chkconfig iptables off

开启防火墙

[root@master Desktop]# chkconfig iptables on

4）、即时生效，重启后失效

开启：service iptables start

关闭：service iptables stop

在开启了防火墙时，做如下设置，开启相关端口，修改 /etc/sysconfig/iptables 文件，添加以下内容：

-A INPUT -m state --state NEW -m tcp -p tcp --dport 80 -j ACCEPT   #允许80端口通过防火墙

-A INPUT -m state --state NEW -m tcp -p tcp --dport 3306 -j ACCEPT   #允许3306端口通过防火墙

备注：很多网友把这两条规则添加到防火墙配置的最后一行，导致防火墙启动失败，

正确的应该是添加到默认的22端口这条规则的下面（http://www.centoscn.com/CentOS/help/2014/1030/4021.html）

7、关闭selinux

SELinux是一种基于 域-类型 模型（domain-type）的强制访问控制（MAC）安全系统，它由NSA编写并设计成内核模块包含到内核中，相应的某些安全相关的应用也被打了SELinux的补丁，最后还有一个相应的安全策略。虽然CentOS系统相比较而言相对安全稳定。在长期的linux实践中总结的经验是:SElinux是php的天敌。

我们经常由于CentOS系统默认系统的安全性配置导致些莫名其妙的问题，比如SElinux本来是用于安全子系统的权限控制，可是搞不好就发现限制多多，我们可以用如下方法快速关闭SElinux。（http://os.51cto.com/art/201004/192447.htm）

1）、查看selinux状态

[root@master Desktop]# /usr/sbin/sestatus -v

2）、查看selinux模式

 [root@master Desktop]# getenforce

Enforcing

[root@master Desktop]# /usr/sbin/setenforce 0

[root@master Desktop]# getenforce

Permissive

[root@master Desktop]#

3）、立刻关闭selinux，重启后失效

[root@master Desktop]# /usr/sbin/setenforce 0

4）、立刻启动selinux，重启后失效

[root@master Desktop]# /usr/sbin/setenforce 1

5）、永久性启动、关闭selinux

[root@master Desktop]# vi /etc/selinux/config

SELINUX=disabled

保存后，重启服务器

[root@master Desktop]# init 6 或 reboot

8、下载并安装JAVA JDK系统软件

下载jdk1.7 64位 Linux版：http://pan.baidu.com/s/1hqkuMuo

jdk-7u67-linux-x64.rpm

1）、安装jdk

rpm –ivh jdk-7u67-linux-x64.rpm

 

2）、配置环境变量

vi /etc/profile.d/java.sh

 

JAVA_HOME=/usr/java/jdk1.7.0_45/ CLASSPATH=.:$JAVA_HOME/lib/tools.jar PATH=$JAVA_HOME/bin:$PATH export JAVA_HOME CLASSPATH PATH

3）、手动立即生效

source /etc/profile

4）、测试

jps

9、生成登录秘钥

1)、查看sshd服务状态

ps -e | grep ssh 

或者

service sshd status 

2）、切换到hadoop用户下

[root@master Desktop]# su hadoop [hadoop@master Desktop]$ cd /home/hadoop/ .bash_history          .gconf/              Music/ .bash_logout           .gconfd/             .nautilus/ .bash_profile          .gnome2/             Pictures/ .bashrc                .gnote/              Public/ .cache/                .gnupg/              .pulse/ .config/               .gstreamer-0.10/     .pulse-cookie .dbus/                 .gtk-bookmarks         .recently-used.xbel Desktop/               .gvfs/               .ssh/ .dmrc                  .ICEauthority        Templates/ Documents/             .imsettings.log      Videos/ Downloads/             .local/              .xsession-errors .esd_auth              .mozilla/

3）、生成公钥和私钥

[hadoop@master ~]$ ssh-keygen -q -t rsa -N   "" -f /home/hadoop/.ssh/id_rsa

 

 

[hadoop@master .ssh]$ cat id_rsa.pub >   authorized_keys [hadoop@master .ssh]$ ll -a total 20 drwx------.  2 hadoop hadoop   4096 May 11 17:22 . drwx------. 25 hadoop hadoop 4096 May 11 17:22 .. -rw-rw-r--   1 hadoop   hadoop  395 May 11 17:22 authorized_keys -rw-------   1 hadoop hadoop   1675 May 11 17:16 id_rsa -rw-r--r--   1 hadoop   hadoop  395 May 11 17:16 id_rsa.pub [hadoop@master .ssh]$

 

4）、将authorized_keys分发

将authorized_keys分发到datanode1、datanode2、datanode3、secondarynamenode中：

scp /home/hadoop/.ssh/authorized_keys [email protected]:/home/hadoop/.ssh

5）、启动sshd服务

/etc/init.d/sshd start

6）、永久开启sshd服务

chkconfig –add sshd

chkconfig sshd on

7）、sshd重启后失效

service sshd start

8）、ssh secondarynamenode激活

更加详尽配置参看：http://my.oschina.net/HIJAY/blog/317700

10、配置时间同步

[root@master Desktop]# crontab –e

0 1 * * * /usr/sbin/ntpdate cn.pool.ntp.org

 

 手动同步时间

/usr/sbin/ntpdate cn.pool.ntp.org

11、配置集群hosts列表

[hadoop@master hadoop-1.2.1-src]$ vi   /etc/hosts

 

12、单机版Hadoop安装环境变量

1）、下载Hadoop二进制代码

wget http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-1.2.1/hadoop-1.2.1-bin.tar.gz

或者

wget  https://archive.apache.org/dist/hadoop/core/hadoop-1.0.3/hadoop-1.0.3.tar.gz

2）、解压文件

[hadoop@master modules]$ tar xvf   hadoop-1.2.1-bin.tar.gz

 

3）、配置 hadoop-env.sh 环境变量

export HADOOP_HEAPSIZE=32 export JAVA_HOME= /usr/java/jdk1.7.0_67/

 

4）、配置java.sh文件中的HADOOP_HOME变量

export HADOOP_HOME=/home/hadoop/modules/hadoop-1.2.1/ export CLASSPATH=.:$HADOOP_HOME/lib:$CLASSPATH export PATH=$HADOOP_HOME/bin:$PATH

 

5）、手动立即生效

source /etc/profile

6）、测试

jps

 

13、Hadoop单机版 安装配置

以hadoop用户权限做以下操作：

1）、配置 core-site.xml

2）、配置hdfs-site.xml

新建secondary目录

mkdir -p /home/hadoop/modules/data/hdfs/namesecondary

新建name目录

注意：此处name目录不能事先被建立，它由Hadoop格式化操作时自动创立。

mkdir -p /home/hadoop/modules/data/hdfs/name

mkdir -p /home/hadoop/modules/data1/hdfs/name

新建data目录

新建data目录，并修改目录权限为755.

mkdir -p /home/hadoop/modules/data/hdfs/data

mkdir -p /home/hadoop/modules/data1/hdfs/data

3）、配置mapred-site.xml

mkdir -p /home/hadoop/modules/data/mapred/mrlocal

mkdir -p /home/hadoop/modules/data/mapred/mrsystem

14、Hadoop集群搭建

在之前步骤的基础上，继续做以下步骤：

1）、将Hadoop目录复制到各节点中

scp -r /home/hadoop/modules/ hadoop@datanode4:/home/hadoop/modules/

2）、将/etc/hosts文件内容拷贝到各节点中

3）、在各节点安装jdk，并做相关配置

15、格式化namenode

此处namenode目录不能事先被建立，它由Hadoop格式化操作时自动创立。

hadoop namenode –format

16、启动各节点

1）、启动hdfs

start-dfs.sh

2）、启动mapreduce

start-mapred.sh

3）、启动namenode守护进程

hadoop-daemon.sh start namenode