centos 下安装Hadoop1.2.1

1. 关闭防火墙
   （1）切换到root用户下，执行
   setenforce 0
   
   （2）修改SELINUX
   vi /etc/selinux/config
   
   修改SELINUX为
   
   （3）关闭命令行、图形化界面的防火墙
   执行chkconfig - -list，查看iptables 3和5，没有关闭
   
   执行chkconfig - -level 35 iptables off，关闭3和5
   reboot 重启
   

2. jdk安装
   tar -xzvf jdk-8u65-linux-x64.gz 解压
   解压下载好的jdk到/usr/local/目录下，eg：mv jdk-8u65-linux-x64 /usr/local/jdk 并改名为jdk
   配置Java环境
   root用户下
   执行 vi /etc/profile
   
   在末尾添加
   JAVA_HOME=”/usr/local/jdk”
   PATH=”.: PATH: JAVA_HOME/bin”
   export JAVA_HOME PATH
   
   执行source /etc/profile或者重启，并检查jps是否可用

3. 创建hadoop用户并配置/etc/hosts文件及修改主机名
   adduser hadoop

配置/etc/hosts

修改主机名
vi /etc/sysconfig/network（所有节点都需修改）

4. 免秘钥登录
在hadoop用户下进入隐藏文件夹.ssh
执行ssh-keygen –t rsa（执行之后一直点回车）生成私钥和公钥


执行cp id_rsa.pub authorized_keys生成authorized_keys文件

每个节点下都执行ssh-keygen –t rsa生成公钥
执行scp authorized_keys hadoop@datanode1:/home/hadoop/.ssh 将authorized_keys拷贝到datanode1节点的hadoop/.ssh目录下
执行cat id_rsa.pub >> authorized_keys,将id_rsa.pub文件内容追加到authorized_keys

执行scp authorized_keys hadoop@datanode2:/home/hadoop/.ssh 将authorized_keys拷贝到datanode2节点的hadoop/.ssh目录下
执行cat id_rsa.pub >> authorized_keys,将id_rsa.pub文件内容追加到authorized_keys

更新namenode和datanode1下的authorized_keys文件
执行scp authorized_key. hadoop@namenode:/home/hadoop/.ssh 将authorized_keys拷贝到namenode节点的hadoop/.ssh目录下
执行scp authorized_keys hadoop@datanode1:/home/hadoop/.ssh 将authorized_keys拷贝到datanode1节点的hadoop/.ssh目录下

到此免秘钥登录完成

1. 将下载好的hadoop压缩包拷贝到namenode节点的opt目录下，
   Eg：tar –xzvf hadoop-1.2.1.tar.gz
   执行 mv hadoop-1.2.1 /home/hadoop/ 将解压后的Hadoop移动到/home/hadoop/并改名为hadoop
   在namenode上配置hadoop环境

按照和伪分布模式相同的方法修改core-site.xml，hdfs-site.xml，mapred-site.xml等配置文件
修改hadoop-env.sh文件
修改masters和slaves文件，记录集群中各个节点
向各节点分发hadoop
格式化namenode
在namenode上启动守护进程，系统会自动到各个节点启动相应的进程
进入hadoop/conf文件夹
修改core-site.xml

修改hdfs-site.xml

1 数据节点复制的份数

修改mapred-site.xml

修改hadoop-env.sh 添加jdk路径

修改masters和slaves文件，记录集群中各个节点

向各节点分发hadoop
scp hadoop. hadoop@datanode1:/home/hadoop/
scp hadoop. hadoop@datanode2:/home/hadoop/

格式化namenode
在namenode节点下进行
cd Hadoop/bin/
./hadoop namenode –format

在namenode上启动守护进程，系统会自动到各个节点启动相应的进程
./start-all.sh
停止所有进程
./stop-all.sh

到此Hadoop安装完成