Hadoop完全分布式配置
环境：CentOs5、hadoop0.20.203、jdk1.6.0_29
namenode:centos1(ip:192.168.1.101)
datanode:centos2(ip:192.168.1.103)、centos3(ip:192.168.1.104)
配置步骤：
（1）配置NameNode和DataNode
修改每台机器的/etc/hosts(包括namenode和datanode)
127.0.0.1 localhost.localdomain localhost 192.168.1.101 centos1 192.168.1.103 centos2 192.168.1.104 centos3 ::1 localhost6.localdomain6 localhost6
(2)在所有的机器上建立相同的用户
useradd grid passwd grid
成功建立grid用户后，输入用户密码就是该用户密码
（3）SSH设置
/*
可以直接使用命令
ssh-copy-id user@host
设置免密码登录
*/
使用grid用户登录
在所有机器/home/grid下
mkdir .ssh
在namenode上生成密钥对
$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa $ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
注意点：
不进行以下步骤SSH免密码登录设置会不成功
.ssh目录要设成700 有执行权限
authorized_keys要设成600 否则会出错
还有ssh 登陆要加入用户名的 比如
ssh root@localhost
这时从centos1向其他机器发起SSH连接，只有第一次登录时需要输入密码，以后则不需要
（4）在所有机器上安装JDK
下载jdk-6u29-linux-i586.bin,安装到/usr/java下，cd到usr/java下
chmod u+x jdk-6u29-linux-i586.bin ./jdk-6u29-linux-i586.bin
接下来要设置java的环境变量输入命令：
gedit /etc/profile
在文件的最后添加以下语句：
JAVA_HOME=/usr/java/jdk1.6.0_29 export JRE_HOME=/usr/java/jdk1.6.0_29/jre export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH
保存退出，然后执行source /etc/profile即可。
输入java -version 命令，出现如下信息就表示配置成功
java version "1.6.0_29" Java(TM) SE Runtime Environment (build 1.6.0_29-b11) Java HotSpot(TM) Server VM (build 20.4-b02, mixed mode)
(5)在所有机器上安装配置Hadoop
首先在namenode上配置，配置后在分发到datanode上
在这里，下载hadoop-0.20.203.tar.gz，然后解压到/home/grid/下即可
tar -zxvf hadoop-0.20.203.tar.gz
接下来需要修改hadoop的conf文件夹下的配置信息：
修改hadoop-env.sh，加入如下语句，使得hadoop能够找到java的路径。：
export JAVA_HOME=/usr/java/jdk1.6.0_29
修改core-site.xml，如下：
<configuration> <property> <name>fs.default.name</name> <value>hdfs://centos1:9000</value> </property>
<property> <name>hadoop.tmp.dir</name> <value>/home/grid/tmp</value> </property> </configuration>
注意：hadoop.tmp.dir是hadoop文件系统依赖的基础配置，很多路径都依赖它。它默认的位置是在/tmp/{$user}下面，在local和hdfs都会建有相同的目录，但是在/tmp路径下的存储是不安全的，因为linux一次重启，文件就可能被删除。导致namenode启动不起来。
修改hdfs-site.xml，如下
<configuration> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration>
修改mapred-site.xml，如下：
<configuration> <property> <name>mapred.job.tracker</name> <value>192.168.1.101:9001</value> </property> </configuration>
保险起见这里写centos1对应的IP地址
masters里写入作为namenode节点机器的IP
192.168.1.101
slaves里写入作为datanode节点的机器的IP
192.168.1.103 192.168.1.104
注意点：
修改hadoop-0.20.203.0/bin下的hadoop.
vi hadoop
查找 –jvm . vi 下的命令模式： :/-jvm
将-jvm server改成 –server .
因为JDK1.6已经废除了一个参数-jvm,如果不修改的话，无法启动数据节点。
到此，hadoop的有关配置已经完成，namenode端通过如下命令把配置好的hadoop发送到各个datanode处：
scp -r hadoop-0.20.2 centos2:/home/grid scp -r hadoop-0.20.2 centos3:/home/grid
(6)
注意点：关闭所有机器上的防火墙，不然会导致datanode起不来
/etc/init.d/iptables stop
在namenode端cd到hadoop文件夹下，格式化分布式文件系统：
bin/hadoop namenode -format
下面接着在namenode端启动hadoop进程：
bin/start-all.sh
如果没有其它差错的话，hadoop可以正常启动，并能够看到如下结果：
在namenode端用jps命令查看启动情况，如下：
grid@centos1:~/hadoop-0.20.203$ jps xxxx Jps xxxx Namenode xxxx Secondarynamenode xxxx JobTracker
在datanode端用jps查看启动情况，如下：
grid@centos2:~/hadoop-0.20.203$ jps xxxx Jps xxxx DataNode xxxx TaskTracker
然后可以通过如下地址来查看集群运行状况：
http://centos1:50030 http://centos1:50070 http://centos2:50060
打完收工！！！
---------------------------------------------------------------------------我是分割线---------------------------------------------------------------------------------------------------------------------------------------------
跑hadoop自带的wordcount程序
1、通过hadoop的命令在HDFS上创建/tmp/workcount目录，命令如下：bin/hadoop fs -mkdir /tmp/wordcount
2、通过copyFromLocal命令把本地的word.txt复制到HDFS上，命令如下：bin/hadoop fs -copyFromLocal /home/grid/word.txt /tmp/wordcount/word.txt
3、通过命令运行例子，使用命令如下：bin/hadoop jar hadoop-examples-0.20.203.0.jar wordcount /tmp/wordcount/word.txt /tmp/wordcount/out
4、查看运行结果，使用命令： bin/hadoop fs -ls /tmp/wordcount/out查看例子的输出结果，发现有两个文件夹和一个文件，使用命令查看part-r-00000文件， bin/hadoop fs -cat /tmp/wordcount/out/part-r-00000可以查看运行结果。
注意：如果出现java.net.NoRouteToHostException: No route to host，关闭防火墙
/etc/init.d/iptables stop