一、安装准备
1、所需软件
hadoop 0.20.2地址:http://www.apache.org/dist/hadoop/core/hadoop-0.20.2/
JDK版本:jdk-6u26-linux-i586.rpm.bin (必须是1.6)
操作系统:CentOS
三台机器:10.2.33.151(master),10.2.33.152(slave),10.2.33.153(slave)
二、安装操作
1、软件安装
拷贝以上文件到Linux的“/opt/”目录下。
安装JDK,此步省略……。
解压hdaoop:tar -zxvf hadoop-0.20.2.tar.gz
配置151机器可以通过SSH直接访问152和153。
2、系统SSH配置
在151、152、153三台机器上分别执行以下操作:
ssh-keygen -t dsa
直接回车,完成后会在~/.ssh/生成两个文件:id_dsa 和id_dsa.pub。这两个是成对出现,类似钥匙和锁。再把id_dsa.pub 追加到授权key 里面(当前并没有authorized_keys文件):
$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys。
注:若想多台机器登陆一台机器,则将3台机器的id_dsa.pub合并为1个authorized_keys,换行分割即可。
完成后可以实现无密码登录:
$ ssh root@IP
3、系统环境变量配置
JAVA_HOME=/usr/java/jdk1.6.0_26
CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar:$CLASSPATH
HADOOP_HOME=/opt/hadoop-0.20.2
PATH=$JAVA_HOME/bin:$HOME/bin:$HADOOP_HOME/bin:$HIVE_HOME/bin:$PATH
export PATH HADOOP_HOME CLASSPATH JAVA_HOME
最后记得source /etc/profile生效。
4、系统HOSTS配置
修改ect/hosts配置文件,内容如下:
127.0.0.1 localhost
10.2.33.151 test-01
10.2.33.152 test-02
10.2.33.153 test-03
注:以上hosts信息很重要,每台机器都要配置,test-01为服务器名
5、Hadoop配置
修改/opt/hadoop-0.20.2/conf/目录下的master文件,内容如下:
10.2.33.151
修改/opt/hadoop-0.20.2/conf/目录下的slaves文件,内容如下:
10.2.33.152
10.2.33.153
修改/opt/hadoop-0.20.2/conf/hadoop-env.sh文件的环境变量:
# The java implementation to use. Required.
export JAVA_HOME=/usr/java/jdk1.6.0_26
拷贝/opt/hadoop-0.20.2/src/core/core-default.xml到/opt/hadoop-0.20.2/conf/core-site.xml,修改部分内容如下:
<property>
<name>hadoop.tmp.dir</name>
<value>/hadoopdata</value>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://10.2.33.151:9000</value>
</property>
拷贝/opt/hadoop-0.20.2/src/hdfs/hdfs-default.xml到/opt/hadoop-0.20.2/conf/hdfs-site.xml配置文件,内容不变。
拷贝/opt/hadoop-0.20.2/src/mapred/mapred-default.xml到/opt/hadoop-0.20.2/conf/mapred-site.xml配置文件,修改部分内容如下:
<property>
<name>mapred.job.tracker</name>
<value>10.2.33.151:9001</value>
</property>
将/opt/hadoop-0.20.2拷贝到10.2.33.152和10.2.33.153对应的目录下。将/ect/profile和/etc/hosts也拷贝到152和153机器上。注意profile需要做生效操作。建议打包拷贝或者scp拷贝。
四、初始配置
1、格式化HDFS文件系统
进入/opt/hadoop-0.20.2/bin目录。执行:
hadoop namenode –format
2、启动/停止hadoop
启动hadoop。执行:
/opt/hadoop-0.20.2/bin/start-all.sh
停止hadoop。执行:
/opt/hadoop-0.20.2/bin/stop-all.sh
3、查看hadoop信息
在/opt/hadoop-0.20.2/bin目录下,执行:
hadoop fs -ls /
如果控制台返回结果,表示初始化成功。可以向里面录入数据。
通过WEB查看hadoop
查看集群状态:http://10.2.33.151:50070dfshealth.jsp
查看JOB状态:http://10.2.33.151:50030/jobtracker.jsp
五、注意事项
1、hadoop的安装千万计的修改/etc/hosts文件,而且要把所有master和slaves的内容都配置进去,所有机器的host配置,在hadoop方面是一样的。
2、master和slaves这2个配置文件可以不拷贝到152和153机器上,只在master上保存即可,保险起见,还是都拷贝下吧。
3、通过web查看hadoop的时候,如果使用IE一些图形工具显示不出来,建议使用opera或是chrome。