hadoop 分布式 集群配置 笔记
使用了两天的时间，终于将这个hadoop的集群配置弄好了。参考了很多的网页，受益非浅。
SSH无密码登陆配置
首先谈一谈ssh的无密码登陆问题。
按照网上的说法，比如说A想无秘密登陆B。
那么在A上使用ssh-keygen命令产生密钥id_rsa，和id_rsa.pub。然后将id_rsa.pub拷贝到B的相应的用户的主目录下面就可以了。
cat 到 authorized_keys中。
但是简单的上面的方法，登陆时B还是会要求输入密码，可以采用chmod 644 authorized_keys 。
之后，又碰见过几次需要输入密码，我的方法是直接重复上面的步骤就可以了。
Java安装
Java的安装，到处下载Jdk，之前下载的后缀为.rpm.bin一直安装不了，最后在官网上面下载了一个后缀为.bin的自解压程序进行安装。
安装之后还需要修改/etc/profile文件。我的java是按爪功能在了/usr/lib/jvm/java-6-sun文件夹下面。
采用了一个master，三个slave。
按照网上的说法，配置hadoop中conf文件夹下来的xml文件。
core-site.xml
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/root/hadoop/tmp</value>
<description>A base for other temporary directories.</description>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://master:9000</value>
<description>
The name of the default file system. A URI whose scheme and authority determine the FileSystem implementation.
</description>
</property>
</configuration>
hadoop-env.sh
export JAVA_HOME=/usr/lib/jvm/java-6-sun
hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
</configuration>
mapred-site.xml
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>master:9001</value>
<description>The host and port that the MapReduce job tracker runsat.</description>
</property>
</configuration>
由于在/etc/hosts中设置的ip映射为：
127.0.0.1 localhost
127.0.1.1 ubuntu.ubuntu-domain ubuntu192.168.0.189 master
192.168.0.104 slave1
192.168.0.135 slave2
192.168.0.149 slave3
（在所有的master和slave中都是这样的一个配置）
所以，在masters文件夹中写入：
master
在slaves文件夹中写入：
slave1slave2
slave3
之后还需要配置/etc/profile文件，在该文件中写入java和hadoop的home位置。
JAVA_HOME=/usr/lib/jvm/java-6-sun
JRE_HOME=/usr/lib/jvm/java-6-sun/jre
CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH
export JAVA_HOME
export JRE_HOME
export CLASSPATH
export PATH
HADOOP_HOME=/root/hadoop（在master和slaves上面，我都是将hadoop安装在了这个文件夹里面）
PATH=$HADOOP_HOME/bin:$PATH
export HADOOP_HOME
export PATH
在后面增加了上面几行。
Hadoop集群的配置
之后将配置好了的hadoop拷贝到masters，slaves机器的/root/hadoop目录下。
本以为这个样子就大功告成了，可惜总是出现datanode连接不上namenode的问题。在datanode也就是slave上面查看datanode的日志时，的错误为：
2011-10-26 17:57:05,231 INFO org.apache.hadoop.ipc.RPC: Server at /192.168.0.189:9000 not available yet, Zzzzz...2011-10-26 17:57:07,235 INFO org.apache.hadoop.ipc.Client: Retrying connect to server: /192.168.0.189:9000. Already tried 0 time(s).
2011-10-26 17:57:08,236 INFO org.apache.hadoop.ipc.Client: Retrying connect to server: /192.168.0.189:9000. Already tried 1 time(s).
2011-10-26 17:57:09,237 INFO org.apache.hadoop.ipc.Client: Retrying connect to server: /192.168.0.189:9000. Already tried 2 time(s).
2011-10-26 17:57:10,239 INFO org.apache.hadoop.ipc.Client: Retrying connect to server: /192.168.0.189:9000. Already tried 3 time(s).
2011-10-26 17:57:11,240 INFO org.apache.hadoop.ipc.Client: Retrying connect to server: /192.168.0.189:9000. Already tried 4 time(s).
2011-10-26 17:57:12,241 INFO org.apache.hadoop.ipc.Client: Retrying connect to server: /192.168.0.189:9000. Already tried 5 time(s).
也就是datanode连接不上namenode。而在namenode上面显示：
2011-10-26 14:18:49,686 INFO org.apache.hadoop.ipc.Server: IPC Server handler 1 on 9000, call addBlock(/root/hadoop/tmp/mapred/system/jobtracker.info, DFSClient_-1928560478, null, null) from 127.0.0.1:32817: error: java.io.IOException: File /root/hadoop/tmp/mapred/system/jobtracker.info could only be replicated to 0 nodes, instead of 1java.io.IOException: File /root/hadoop/tmp/mapred/system/jobtracker.info could only be replicated to 0 nodes, instead of 1
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getAdditionalBlock(FSNamesystem.java:1448)
at org.apache.hadoop.hdfs.server.namenode.NameNode.addBlock(NameNode.java:690)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
at java.lang.reflect.Method.invoke(Method.java:597)
at org.apache.hadoop.ipc.WritableRpcEngine$Server.call(WritableRpcEngine.java:342)
at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1350)
at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1346)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:396)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:742)
at org.apache.hadoop.ipc.Server$Handler.run(Server.java:1344)
也就是说namenode也在试图将jobtracker.info存入hdfs文件系统中，而又存不进去。然后查了一下网上的说法，之后发现原来是/etc/hosts中的ip映射的问题。由于在master中/etc/hosts的配置为：
127.0.0.1 master
192.168.0.189 master
192.168.0.104 slave1
192.168.0.135 slave2
192.168.0.149 slave3
因此可能存在一个优先匹配第一个碰见的问题，之后是将前两行注释掉(后来又将第一行改为了127.0.0.1 localhost)。然后在进行正常的hadoop format和启动，就可以连接上了。
最后可能还有时候出现错误datanode自动关闭的问题。解决这个问题的方法是删除所有masters，slaves中的tmp文件。然后format，重启就可以了。
还有一个步骤是更改了所有机器的hostname，但是不知道是不是必要的，虽然在/etc/hosts中的ip映射中说明了各个名称对应的ip，但是各个机器的hostname仍然是ubuntu。所以使用了命令 hostname临时改变了hostname，分别为对应的master,slave1,..这些名称。