hadoop单机模式和伪分布式模式安装过程

login as root

 

#cd ~
#wget http://apache.freelamp.com/hadoop/core/stable/hadoop-0.20.2.tar.gz
#mkdir /opt/hadoop
#cd /opt/hadoop
#mv /root/hadoop-0.20.2.tar.gz .
#tar xzvf hadoop-0.20.2.tar.gz
#cd hadoop-0.20.2

 

#vi conf/hadoop-env.sh
加入 export JAVA_HOME=/usr/java/jdk1.6.0_14

1、单机模式的操作方法

# mkdir input
# cp conf/*.xml input
# bin/hadoop jar hadoop-*-examples.jar grep input output 'dfs[a-z.]+'
# cat output/*

2、伪分布式模式的操作方法

1）conf/Core-site.xml代码

<configuration> 
   <property>  
        <name>fs.default.name</name>  
        <value>hdfs://localhost:9000</value>  
  </property>  
</configuration> 

2）conf/hdfs-site.xml代码

<configuration>
     <property>
            <name>dfs.replication</name>
        <value>1</value>
     </property>
</configuration>

3）conf/mapred-site.xml代码

<configuration>
      <property>
           <name>mapred.job.tracker</name>
       <value>localhost:9001</value>
      </property>
</configuration>

4）确认能否不输入口令就用ssh登录localhost:
#ssh localhost

如果不输入口令就无法用ssh登陆localhost，执行下面的命令：
#ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
#cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

5）格式化一个新的分布式文件系统：
#bin/hadoop namenode -format

6）启动Hadoop守护进程：
#bin/start-all.sh

7）将输入文件拷贝到分布式文件系统：
#bin/hadoop fs -put conf input

8）运行发行版提供的示例程序：
#bin/hadoop jar hadoop-*-examples.jar grep input output 'dfs[a-z.]+'

9）查看输出文件：

将输出文件从分布式文件系统拷贝到本地文件系统查看：
#bin/hadoop fs -get output output
#cat output/*

或者

在分布式文件系统上查看输出文件：
#bin/hadoop fs -cat output/*

10）完成全部操作后，停止守护进程：
#bin/stop-all.sh

参考文档 > http://hadoop.apache.org/common/docs/r0.18.2/cn/quickstart.html#Local