编译安装方式部署Hadoop 2.x集群

编译安装方式部署Hadoop 2.x 两节点集群

步骤：
1. 安装编译程序必须的软件，如gcc,cmake,libtool,ncurses-devel,openssl-devel
2. 下载jdk，hadoop源码包，maven，protobuf等软件包
3. ssh免密码、修改环境变量
4. 安装jdk,maven,protobuf,编译安装hadoop源码包
5. 修改hadoop配置文件
6. 启动集群

硬件环境：笔记本(VM虚拟机 1G内存)

软件环境：
OS: Centos 5.9 32位
Jdk: jdk-6u23-linux-i586.bin
Hadoop: hadoop-2.3.0-src.tar.gz
Maven: apache-maven-3.2.1-bin.tar.gz
Protobuf: protobuf-2.5.0.tar.bz2

主机名hadoop1: (namenode,secondaryname,jobtracker)
IP:192.168.137.61

主机名hadoop2: (datanode,tasktracher)
IP:192.168.137.62

1. 安装编译程序必须的软件(gcc,cmake,libtool,ncurses-devel,openssl-devel)，部份软件包已安装，略。

2. 下载jdk，hadoop源码包，maven，protobuf等软件包

3. ssh免密码、修改环境变量(ssh设置跟上周作业一样略，)
检查ssh免密码

修改环境变量

4. 安装jdk,maven,protobuf,hadoop
安装jdk(略)

安装maven
[root@hadoop1 opt]# tar xvf apache-maven-3.2.1-bin.tar.gz
检查maven

安装protobuf
[root@hadoop1 opt]# tar xvf protobuf-2.5.0.tar.bz2
[root@hadoop1 opt]# cd protobuf-2.5.0/
[root@hadoop1 protobuf-2.5.0]# ./configure
[root@hadoop1 protobuf-2.5.0]# make && make check && make install

编译安装hadoop
[root@hadoop1 hadoop2.3-src]# mvn clean package -Pdist,native -DskipTests –Dtar

查看编译后生成的文件

5. 修改hadoop配置文件
hadoop-env.sh
export JAVA_HOME=/opt/jdk

yarn-env.sh
export JAVA_HOME=/opt/jdk/

slaves
[root@hadoop1 hadoop]# cat slaves
hadoop2

复制hadoop到其它节点
[root@hadoop1 opt]# scp -r ./hadoop-2.3.0/ root@hadoop2:/opt/

6. 启动集群
格式化namenode
[root@hadoop1 hadoop-2.3.0]# ./bin/hdfs namenode –format
启动hadoop集群
[root@hadoop1 hadoop-2.3.0]# ./sbin/start-all.sh
检查集群运行情况