CentOS上hadoop伪分布式配置

安装linux

详细步骤参考文章：http://hermosa-young.iteye.com/admin/blogs/1776184

 

安装java

详细步骤参考文章：http://hermosa-young.iteye.com/admin/blogs/1798026

 

在官网上下载Hadoop

地址：http://labs.mop.com/apache-mirror/hadoop/common/hadoop-1.1.1/

 

将下载好的安装文件，拷贝到共享文件夹：E：\share1下，如下图所示。

在CentOS系统中，查看该安装文件，如下图所示。

 
在该文件拷贝到/usr下，并查看该文件，如下图所示。

 
解压到/usr目录下，如下图所示。

 

会在usr下生成hadoop-1.1.1目录，将目录名称改为hadoop，如下图所示。

 
修改配置文件，如下图所示。

将下图中标注行开头的“#”去掉，并修改路径信息，保存退出。

  

Hadoop配置 

 

修改三个配置文件分别是core-site.xml，hdfs-site.xml和mapred-site.xml。

 

修改core-site.xml，如下图所示。

 
修改hdfs-site.xml，如下图所示。


 

修改mapred-site.xml，如下图所示。

 
此时执行ssh localhost，会看到需要输入密码，如下图所示。

 

现在进行免密码SSH配置，输入如下命令，之后一直按键，就会按照默认的选项将生成的密钥对保存在.ssh/id_rsa文件中，如下图所示。 

 
再进入到.ssh目录，执行如下命令，之后再执行ssh localhost命令，就可以实现用SSH连接并且不需要输入密码，如下图所示。

 
现在要运行Hadoop

 

首先格式化分布式文件系统，如下图所示。

 
启动Hadoop守护进程。输入命令，如下图所示。

 
成功执行后，将在本机上启动NameNode，DataNode，JobTracker，TaskTracker和Secondary NameNode

 

通过http://localhost:50070查看NameNode运行情况，如下图所示。

 
通过http://localhost:50030查看Jobtracker运行情况，如下图所示。

 

关闭系统，如下图所示。