Hadoop集群的配置及常见问题总结
Hadoop集群配置
建立一个三台服务器的hadoop集群，三台服务器ip和对应的主机名分别为：
192.168.0.100：shirleyren100,
192.168.0.101：shirleyren101,
192.168.0.102：shirleyren102，
其中192.168.0.100为namenode，另外两台为datanode。在三台服务器上创建hadoop账号
1，在namenode上创建hadoop账号的无密码公钥方式登录
ssh-keygen \-t dsa \-P '' \-f \~/.ssh/id_dsa将namenode的上生成的id_dsa.pub和id_dsa文件复制到datanode上，并将id_dsa.pub 文件追加到datanode 的authorized_keys 内，以保证各台服务器之间的正常通信
2，在各台服务上安装sun jdk
为防止不必要的错误，请尽量保证各服务器上的JDK版本和安装路径的一致，并将JAVA安装路径放到环境变量中 /etc/profile
export JAVA_HOME=/usr/lib/jvm/java-6-sun-1.6.0.22
export JRE_HOME=/usr/lib/jvm/java-6-sun-1.6.0.22/jre3，安装hadoop
在namenode上安装hadoop， 将下载的压缩包解压到安装目录下即可，附件中是我配置中修改的conf/下的文件
把hadoop 的安装路径添加到环境变量/etc/profile 中
export HADOOP_HOME=/home/hadoop/hadoop/hadoop-0.20.203.0
export HADOOP_CONF_DIR=/home/hadoop/hadoop/hadoop-0.20.203.0/conf4，在conf/hadoop-env.sh中配置JAVA路径
在此文件中要把java的安装路径配置进去，即在该文件中加上以下代码
export JAVA_HOME=/usr/lib/jvm/java-6-sun-1.6.0.225，配置conf/core-site.xml, conf/hdfs-site.xml 及conf/mapred-site.xml三个文件
以下代码为最简单的配置方式，其他的属性可以根据自己的情况自行配置
core-site.xml:
hadoop.tmp.dir
/home/hadoop/hadoop/tmp
A base for other temporary directories.
fs.default.name
hdfs://shirleyren100:9000
hdfs-site.xml
replication 默认为3，建议将replicatio设置为小于或等于datanode的数量
dfs.name.dir
/home/hadoop/hadoop/name
dfs.data.dir
/home/hadoop/hadoop/data
dfs.replication
2
mapred-site.xml:
mapred.job.tracker
shirleyren100:9001
5，配置datanode
将以上配置好的hadoop包直接复制到datanode上即可
6，配置namenode的conf/masters 和conf/slaves 文件
masters:
shirleyren100
slaves:
shirleyren101
shirleyren102
此时所有的配置就完成了，下面启动以下试试看
首次启动的时候需要首先格式化文件系统，进入到/home/hadoop/hadoop/hadoop-0.20.203.0路径下执行以下命令
bin/hadoop namenode -format
之后在namenode上执行
bin/start-all.sh
此时可以使用jps命令在namenode和datanode上查看已启动的进程，
在namenode上看到的是
23550 JobTracker
16368 Jps
23215 NameNode
23462 SecondaryNameNode
在datanode上看到的是
3972 DataNode
21990 Jps
4063 TaskTracker
同样可以在web下查看，在浏览器输入以下地址http://192.168.0.100:50070/
也可以执行几个hadoop的命令，验证hadoop是否正确启动
1，bin/hadoop dfs -mkdir input /*创建名为input的目录*/
2，bin/hadoop dfs -put test.txt input/ /*将文件test.txt上传到input目录下*/
3，bin/hadoop dfs -ls input/ /*查看input目录下的文件*/
需要注意的几点
1，在第4步的配置文件中，一定使用主机域名而不是ip地址；
2，建议各台服务器的JDK和Hadoop的安装路径一直，这样就可以避免由于路径的问题，在不同服务器上频繁修改配置文件；
3，replication的值建议修改为小于或等于datanode数量；
4，建议hadoop.tmp.dir的路径不要设置在/tmp下，这是因为linux系统重启后会将tmp目录删除，此时运行hadoop会报 java.io.IOException: File jobtracker.info could only be replicated to 0 nodes, instead of 1的异常，需要重新format；
5，每次重新格式化后一定要删除hadoop tmp目录下的所有文件；
常见问题总结
1，启动时报错 java.net.UnknownHostException
结果：不能正常启动
原因：通过localhost.localdomain根本无法映射到一个IP地址
解决办法：查看/etc/hosts，将主机名添加到hosts文件
2，启动时报错 java.io.IOException: File jobtracker.info could only be replicated to 0 nodes, instead of 1
此时，首先检查防火墙是否关闭，是否对各节点的通信产生了影响，
第二，可以检查namenode和datanode中namespaceID的值是否相同，在不同的情况下会造成该问题，修改为相同的值后，重启该节点；
第三，将SAFEMODE设置为OFF状态；
hadoop dfsadmin -safemode leave此外，还需检查/etc/hosts文件中主机名的映射是否正确，不要使用127.0.1.1或localhost。
将SAFEMODE设置为OFF状态可以有两种方法
执行上面的语句可以将safemode强制置为off状态，或者在hdfs_site.xml配置文件中增加下面代码，将safemode的设为较小的值，此种方法避免了在执行hadoop过程中经常性遇到错误Name node is in safe mode而导致的需强制将safemode置为off。
dfs.safemode.threshold.pct
0.95f
3，ip和域名解析的问题
也会造成File jobtracker.info could only be replicated to 0 nodes, instead of 1的问题
此时要检查/etc/hosts文件中主机名的映射是否正确，不要使用127.0.1.1或localhost。
4，报错：Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out.
执行任务时，任务卡死在reduce上，不执行
原因：任务最后会在最后将所有的reduce task复制到一台机器上，做最后总的reduce，此时需要ip和主机域名的配置正确
解决方法：将各节点的ip和主机域名配置正确，不能使用127.0.1.1或localhost，使用内网ip可加快处理速度
5，Hive执行时报错 java.lang.OutOfMemoryError: GC overhead limit exceeded
原因：这个是JDK6新添的错误类型。是发生在GC占用大量时间为释放很小空间的时候发生的，是一种保护机制。
解决办法：，关闭该功能，可以添加JVM的启动参数来限制使用内存：在mapred-site.xml 里新增项：mapred.child.java.opts 内容：-XX:-UseGCOverheadLimit
如何杀掉当前正在执行的hadoop任务
1，使用hadoop帐号登录namenode
2，cd hadoop/hadoop-0.20.203.0
3，执行下面命令
bin/hadoop job -list
JobId State StartTime UserName Priority SchedulingInfo
job_201112201934_0512 1 1325729383495 hadoop NORMAL NA4，找到需要被删除的任务id，执行下面命令
bin/hadoop job -kill job_201112201934_0512