Hadoop单机伪分布式模式


本机运行环境系统:Ubuntu12.04.4

已经安装了jdk并且配置了JAVA_HOME

已经安装了SSH

1.配置SSH(前提是已经安装了SSH)

       $ssh-keygen -t rsa                 (密码为空,路径默认)

       $cp .ssh/id_rsa.pub .ssh/authorized_keys

Hadoop单机伪分布式模式_第1张图片


2.准备Hadoop运行环境(本机配置的是hadoop-1.2.0)  

        1)下载hadoop1.2.0版本        

$wget https://archive.apache.org/dist/hadoop/core/hadoop-1.2.0/hadoop-1.2.0.tar.gz

        2)解压缩hadoop-1.2.0.tar.gz

                $tar -xzvf hadoop-1.2.0.tar.gz

        3)在所在的用户主目录的.bashrc中追加,本机的hadoop-1.2.0在主目录的Downloads下:

                export  PATH=/home/angel/Downloads/hadoop-1.2.0/bin:$PATH


Hadoop单机伪分布式模式_第2张图片

Hadoop单机伪分布式模式_第3张图片

          4)注销用户,重新登录,便可生效,使用下列命令来查看
                 $which hadoop



3. 配置Hadoop运行环境
        1)hadoop-1.2.0/conf/core-site.xml中添加下列内容(请注意目录)

	fs.default.name
	hdfs://localhost:9000


	hadoop.tmp.dir
	/home/angel/tmp  
           2)hadoop-1.2.0/conf/hdfs-site.xml中添加下列内容

 	dfs.name.dir
 	/home/angel/dfs/filesystem/name  


 	dfs.data.dir
 	/home/angel/dfs/filesystem/data   


  	dfs.replication
 	1

3)hadoop-1.2.0/conf/mapred-site.xml

 	mapred.job.tracker
 	localhost:9001


 	mapred.tasktracker.map.tasks.maximum
 	4


 	mapred.tasktracker.reduce.tasks.maximum
 	4


 	mapred.system.dir
 	/home/angel/mapreduce/system  


 	mapred.local.dir
 	/home/angel/mapreduce/local   


4. 格式化名称节点并启动集群,运行下列命令
           $hadoop namenode -format

5.启动集群并查看Web管理界面
           $start-all.sh       (如果报localhost:Error:JAVA_HOME is not set错误,请查看:http://blog.csdn.net/angle7777/article/details/24635407)
Hadoop单机伪分布式模式_第4张图片
               
                    $jps           (查看启动的进程)
Hadoop单机伪分布式模式_第5张图片


          1)访问http://localhost:50030可以查看 JobTracker 的运行状态
       2)访问http://localhost:50060可以查看 TaskTracker 的运行状态
       3)访问http://localhost:50070可以查看 NameNode 以及整个分布式文件系统的状态,浏览分布式文件系统中的文件以及 log等

Hadoop单机伪分布式模式_第6张图片


Hadoop单机伪分布式模式_第7张图片


Hadoop单机伪分布式模式_第8张图片

6.关闭集群
      $stop-all.sh


















你可能感兴趣的:(Hadoop,Hadoop)