转帖 hadoop问题

http://blog.chinaunix.net/uid-26118446-id-3164038.html

 

centos 6.2 下部署 hadoop <四> 之问题荟萃 (2012-04-06 22:47)

标签 :  四   ERROR   分类： hadoop

问题 1

ERROR org.apache.hadoop.hdfs.server.namenode.FSNamesystem: FSNamesystem initialization failed. 

1.       删除 /tmp 下 hadoop 有关系的东西目录及文件（如果 /tmp 下没有重要东西，可以 rm –fr /tmp/* ）

2.       $ /home/hadoop/hadoop/bin/hadoop namenode –format

问题 2

1.       请检查 namenode & datanode 的配置文件 conf/mapred-site.xml conf/core-site.xml 里是否出现 localhost , 这样会存在解析不到地址，需要改成主机名，我这里将 localhost 修改 master ，重启服务，出现下图为正常

 

问题 3 ：

无法打开 http://10.1.1.4:50070 页面上的 Browse the filesystem ，其他的正常

这是因为访问时候会跳转到 node1 & node2 （使用域名而不是 ip 访问）机器上，需要关闭node1& node2  iptables 后并在本地添加 hosts 记录(即：要用那台机子访问就在那台机子添加)

10.1.1.3         master

10.1.1.4        node1

10.1.1.10        node2

问题 4

INFO org.apache.h adoop.ipc.RPC: Server at localhost/127.0.0.1:9000 not available yet, Zzzzz...

1. 先清空 tmp 目录下的所有文件。因为每次 namenode format 会重新创建一个 namenodeId, 而 tmp/dfs/data 下包含了上次 format 下的 id,namenode format 清空了 namenode 下的数据 , 但是没有清空 datanode 下的数据 , 导致启动时 namespaceIDs 不一致

2. 执行 bin/hadoop namenode -format
3. 执行 bin/start-all.sh

 问题5

hbase 的管理页面http://10.1.1.3:60010打不开

看日志提示应该是hadoop的安全模式问题

执行/home/hadoop/hadoop/bin/hadoop  dfsadmin -safemode leave 退出安全模式，然后重启hbase即可

问题6

 ERROR org.apache.hadoop.hbase.master.HMasterCommandLine: Failed to start master

java.lang.RuntimeException: HMaster Aborted

查看datanode的时间是否和namenode一样！