hadoop(1.2) 伪分布式部署

1. 部署环境

系统:  CentOS 6.3

JDK和hadoop的下载直接参考分布式安装...

 

2. 伪分布式环境

不需要配置/etc/hosts

本机也需要免密码ssh登录     

ssh localhost

 

3. 配置修改

    1. conf/core-site.xml

<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>

 

    2.  conf/hdfs-site.xml

<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>

 

    3.  conf/mapred-site.xml

<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
</configuration>

     4.  conf/hadoop-env.sh

export JAVA_HOME=/usr/java/jdk1.7.0_67

 

    5. 不需要修改masters和slave文件

 

    6. 格式化名称节点

cd hadoop-1.2.1
./bin/hadoop namenode -format

如果最后面的信息有下面这样的表示成功...
14/08/30 11:37:05 INFO common.Storage: Storage directory /home/hadoop/hadoop-1.2.1/tmp/dfs/name has been successfully formatted.

 

4.  启动hadoop

./bin/start-all.sh

 

5.  启动后的检查

通过jps命令查看,    java的进程统计列表

/usr/java/jdk1.7.0_67/bin/jps