Hadoop学习（一） MAC OS下安装Hadoop开发环境

在MAC OS下安装和配置Hadoop开发环境相当简单。

先去下载最新稳定版本的Hadoop的文件包，下载地址为：
http://mirror.bjtu.edu.cn/apache/hadoop/common/hadoop-1.0.3/hadoop-1.0.3-bin.tar.gz

下载后解压复制到/Users 路径下。

在/Users/hadoop-1.0.3/conf 路径下修改以下四个文件：

core-site.xml 在段中增加

  
    fs.default.name  
    localhost:9000  

hdfs-site.xml 在段中增加

  
    dfs.replication  
    1  

表示使用hdfs分布是文件系统，复制份数为1，在单机上运行。

mapred-site.xml 在段中增加

 
    mapred.job.tracker  
    localhost:9001  

表示在本机执行jobtracker进程。

hadoop-env.sh 增加以下环境变量

export JAVA_HOME=/System/Library/Frameworks/JavaVM.framework/Versions/1.6.0/Home 

export HADOOP_INSTALL=/Users/hadoop-1.0.3 

export PATH=$PATH:$HADOOP_INSTALL/bin 

在MAC OS的系统偏好设置-共享中，允许远程登陆，打开ssh访问。

打开终端，进入/Users/hadoop-1.0.3 路径，执行：

bin/hadoop namenode -format

初始化hdfs文件系统。

最后启动Hadoop。

bin/start-all.sh 

执行jps命令可以查看运行中的Hadoop进程。

通过页面http://localhost:50070 可以查看Hadoop运行状态。