我的hadoop安装经历

自己对分布式系统比较感兴趣，因此这短时间一直在学习有关分布式系统方面的信息。简单讲讲我安装hadoop的经历吧。

软硬件环境：win server2003 ，hadoop1.0.1，cygwin，java1.6.

1.首先是安装java并配置环境变量。这部分不说了，path，classpath，java_home.

2.安装cygwin，因为方便我以后学习linux，我的cygwin是完全安装的。用的时间比较长，安装完大约6G的样子。

3.映射java的环境变量，ln -s "C:\Java1.6\jdk1.6.0_20" /usr/local/jdk1.6.0_20

4.配置ssh，执行ssh-host-config，除了privilege separation should be used 为no之外，其他的全部为yes。 cygwin这项的时候输入ntsec

5.启动sshd服务。

6.将ssh配置为不需要登录验证。执行

$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

7.配置hadoop，下载hapdoop1.0.1 ，运用tar方式解压缩，到administrator文件夹底下。

8.编辑文件/usr/local/hadoop-1.0.1/conf/hadoop-env.sh增加 
export JAVA_HOME=/usr/local/jdk1.6.0_20 

9.配置core-site.xml、hdfs-site.xml、mapred-site.xml文件

core-site.xml 

<configuration>
    <property>
        <name>fs.default.name</name>
        <value>hdfs://localhost/</value>
    </property>
</configuration>

 

hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

mapred-site.xml

<configuration>
    <property>
        <name>mapred.job.tracker</name>
        <value>localhost:8021</value>
    </property>
</configuration>

上面由于我是用ｗｉｎｄｏｗｓ编辑的，因此需要转换一下，运行dos2unix file　将换行符换掉。

１０.建立日志目录，并格式化namenode。执行

　　mkdir logs
      bin/hadoop namenode -format

11.开启hadoop

　　./start-all.sh

12.查询相关状态

13.下载eclipse的hadoop1.0.1的插件。这里仍然有问题，我们需要对rawLocalFileSystem这个java类进行重新编译，这里具体的修改方法是根据http://cjnetwork.iteye.com/blog/1477615这篇博客学习的。

14.最后是在eclipse中的相关配置，暂时对自己的学习情况进行一些记录，也方便自己进行下一次的配置。