初学hadoop——安装启动及遇到的问题

环境：centos6.3，jdk1.6，hadoop1.0.4，两台虚拟机

1，首先装好第三方软件，sun的jdk，还有ssh服务

2，ssh无密码登录，这块说一点吧，关于如何生成密钥那些文章有的是，就不提了，设置无密码登录的用户不能是root，root是无法无密码登录的（具体原因不清楚），所以要另外添加一个用于部署hadoop的用户，每台机器上用于部署hadoop要一致的。

参考：http://www.cnblogs.com/jdksummer/articles/2521550.html

3，有了上述基础就开始hadoop的安装了，具体步骤也不重复了，网上一堆。

参考：

（1）http://blog.linezing.com/2011/05/hadoop%E8%B6%85%E7%BA%A7%E5%AE%89%E8%A3%85%E6%89%8B%E5%86%8C#more-592

（2）http://hadoop.apache.org/docs/r1.0.4/single_node_setup.html

（3）http://hadoop.apache.org/docs/r1.0.4/cluster_setup.html

4，问题（主要想记录这些）

stop时显示 no namenode to stop,

查看日志显示：

2013-04-26 21:54:19,333 ERROR org.apache.hadoop.hdfs.server.namenode.FSNamesystem: FSNamesystem initialization failed.

java.io.IOException: NameNode is not formatted.

        at org.apache.hadoop.hdfs.server.namenode.FSImage.recoverTransitionRead(FSImage.java:330)

        at org.apache.hadoop.hdfs.server.namenode.FSDirectory.loadFSImage(FSDirectory.java:100)

        at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.initialize(FSNamesystem.java:388)

        at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.<init>(FSNamesystem.java:362)

        at org.apache.hadoop.hdfs.server.namenode.NameNode.initialize(NameNode.java:276)

        at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:496)

        at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1279)

        at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1288)

2013-04-26 21:54:19,334 ERROR org.apache.hadoop.hdfs.server.namenode.NameNode: java.io.IOException: NameNode is not formatted.

        at org.apache.hadoop.hdfs.server.namenode.FSImage.recoverTransitionRead(FSImage.java:330)

        at org.apache.hadoop.hdfs.server.namenode.FSDirectory.loadFSImage(FSDirectory.java:100)

        at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.initialize(FSNamesystem.java:388)

        at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.<init>(FSNamesystem.java:362)

        at org.apache.hadoop.hdfs.server.namenode.NameNode.initialize(NameNode.java:276)

        at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:496)

        at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1279)

        at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1288)



2013-04-26 21:54:19,336 INFO org.apache.hadoop.hdfs.server.namenode.NameNode: SHUTDOWN_MSG:

/************************************************************

SHUTDOWN_MSG: Shutting down NameNode at centosHdA/192.168.1.104

************************************************************/

　　一番查询，发现是我在hdfs-site.xml里设置了dfs.data.dir与dfs.name.dir，删掉后使用默认一切正常（当然可能这里设这路径也有说法，以后再学习）。

还有，设置dfs.replication（副本数）不能离谱，一般1就ok了，离谱了也肯定各种错，尤其这个副本数应该跟集群的机器数是有一定关系的。机器少肯定不能搞的太高了。