hadoop安装部署

1.下载hadoop-0.20.2

wget http://mirror.bjtu.edu.cn/apache/hadoop/core/stable/hadoop-0.20.2.tar.gz

 

2.修改/etc/hosts文件，添加所有节点的ip-host映射

192.168.221.174 h1

192.168.221.175 h2

192.168.221.176 h3

 

3.修改hadoop安装目录下conf里的配置文件

 

(1)修改hadoop-env.sh,添加java_home和命名hadoop instance

export JAVA_HOME=/usr/java/jdk1.6.0_10

export HADOOP_IDENT_STRING=myhadoop

(2)在masters里添加

h1

(3)在slaves里添加数据节点

 h1

 h2

 h3

(4)修改core-site.xml，添加以下信息

  hadoop.tmp.dir

  /data0/hadoop

  A base for other temporary directories.

  fs.default.name

  hdfs://h1:9000

  fs.trash.interval

  20

  fs.checkpoint.period

  300

  The number of seconds between two periodic checkpoints.

 

 

(5)修改hdfs-site.xml，添加以下信息

  dfs.replication

  2

(6)修改mapred-site.xml,添加以下信息

  mapred.job.tracker

  h1:9001

  mapred.map.tasks

  40

  mapred.reduce.tasks

  10

 

4.添加无密码登陆

在其中一台机器上用root生成密钥，一路回车

/usr/bin/ssh-keygen

/root/.ssh/目录生成两个文件

id_rsa（私钥）  id_rsa.pub（公钥）

生成认证文件cat id_rsa.pub >>authorized_keys

chmod 600 id_rsa  id_rsa.pub authorized_keys

把这上面3个文件分发到hadoop所有机器上

注意.ssh目录应该为700 id_rsa应该为600

 

修改/etc/ssh/ssh_config

#   StrictHostKeyChecking ask -》

StrictHostKeyChecking no

分发到hadoop所有机器，不需要重启服务器

 

5.把配置好的hadoop安装目录复制到所有节点相同的目录下

for loop in 1 2 3 ;do rsync -av --delete /home/hadoop/* [email protected]$loop:/home/hadoop/ ; done

 

6.在/etc/profile里添加环境变量

export JAVA_HOME="/usr/java/jdk1.6.0_10"

export HADOOP_HOME="/home/hadoop/hadoop-0.20.2"

PATH=$PATH:$HOME/bin:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HIVE_HOME/bin:$DERBY_HOME/bin

 

6.修改主机的hostname，mapreduce使用hostname识别主机进行数据传输

vi /etc/sysconfig/network

运行hostname命令使设置立即生效

 

7 cd /home/hadoop/hadoop-0.20.2 ;cp contrib/fairscheduler/hadoop-0.20.2-fairscheduler.jar lib/

./hadoop namenode -format