hadoop2.6.0版本搭建伪分布式环境

阅读更多

由于个人需要在自己的笔记本上搭建hadoop伪分布环境,为了方便自己使用,如想看机器也看之前的一篇博客:hadoop2.6.0版本集群环境搭建

一台虚拟机,配置信息如下:

hadoop2.6.0版本搭建伪分布式环境_第1张图片

内存:1G,cpu:一个core,硬盘:15G

1、修改下主机名为master

sudo vi /etc/sysconfig/network


修改结果后:


重启电脑后再查看结果:


修改主机名成功

2、修改hosts中的主机名:


hadoop2.6.0版本搭建伪分布式环境_第2张图片

修改后:

hadoop2.6.0版本搭建伪分布式环境_第3张图片

hadoop2.6.0版本搭建伪分布式环境_第4张图片

 

3、配置SSH

hadoop2.6.0版本搭建伪分布式环境_第5张图片

进入.ssh目录并生成authorized_keys文件:

hadoop2.6.0版本搭建伪分布式环境_第6张图片

授权.ssh/文件夹权限为700,authorized_keys文件权限为600(or 644):

hadoop2.6.0版本搭建伪分布式环境_第7张图片

ssh验证:

hadoop2.6.0版本搭建伪分布式环境_第8张图片

 

4、hadoop安装:

去官网下载hadoop最新安装包:http://apache.fayea.com/hadoop/common/hadoop-2.6.0/

下载并解压后:


 

修改系统配置文件,修改~/.bash_profile文件,增加HADOPP_HOME的bin文件夹到PATH中,修改后使用source命令使配置文件生效:

hadoop2.6.0版本搭建伪分布式环境_第9张图片

 

在hadoop目录下创建文件夹:

hadoop2.6.0版本搭建伪分布式环境_第10张图片

 

接下来开始修改hadoop的配置文件,首先进入hadoop2.6配置文件夹:

hadoop2.6.0版本搭建伪分布式环境_第11张图片

第一步修改配置文件hadoop-env.sh,加入"JAVA-HOME",如下所示:

hadoop2.6.0版本搭建伪分布式环境_第12张图片

指定我们安装的“JAVA_HOME”:

hadoop2.6.0版本搭建伪分布式环境_第13张图片

 

第二步修改配置文件"yarn-env.sh",加入"JAVA_HOME",如下所示:

hadoop2.6.0版本搭建伪分布式环境_第14张图片

指定我们安装的“JAVA_HOME”:
hadoop2.6.0版本搭建伪分布式环境_第15张图片

 

第三步 修改配置文件“mapred-env.sh”,加入“JAVA_HOME”,如下所示:

hadoop2.6.0版本搭建伪分布式环境_第16张图片

指定我们安装的“JAVA_HOME”:

hadoop2.6.0版本搭建伪分布式环境_第17张图片

 

第四步 修改配置文件slaves,如下所示:

hadoop2.6.0版本搭建伪分布式环境_第18张图片

设置从节点为master,因为我们是伪分布式,如下所示:

hadoop2.6.0版本搭建伪分布式环境_第19张图片

第五步 修改配置文件core-site.xml,如下所示:

hadoop2.6.0版本搭建伪分布式环境_第20张图片

修改core-site.xml文件后:

hadoop2.6.0版本搭建伪分布式环境_第21张图片

目前来说,core-site.xml文件的最小化配置,core-site.xml各项配置可参考:http://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/hadoop-common/core-default.xml

第六步 修改配置文件 hdfs-site.xml,如下所示:

hadoop2.6.0版本搭建伪分布式环境_第22张图片

hdfs-site.xml文件修改后:

hadoop2.6.0版本搭建伪分布式环境_第23张图片

上述是hdfs-site.xml文件的最小化配置,hdfs-site.xml各项配置可参考:http://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml

 

第七步 修改配置文件 mapred-site.xml,如下所示:

copy mapred-site.xml.template命名为mapred-site.xml,打开mapred-site.xml,如下所示:

hadoop2.6.0版本搭建伪分布式环境_第24张图片

mapred-site.xml 修改后:

hadoop2.6.0版本搭建伪分布式环境_第25张图片

上述是mapred-site.xml最小化配置,mapred-site.xml各项配置可参考:http://hadoop.apache.org/docs/r2.6.0/hadoop-mapreduce-client/hadoop-mapreduce-client-core/mapred-default.xml

 

第八步 配置文件yarn-site.xml,如下所示:

hadoop2.6.0版本搭建伪分布式环境_第26张图片

yarn-site.xml修改后:

hadoop2.6.0版本搭建伪分布式环境_第27张图片

上述内容是yarn-site.xml的最小化配置,yarn-site文件配置的各项内容可参考:http://hadoop.apache.org/docs/r2.6.0/hadoop-yarn/hadoop-yarn-common/yarn-default.xml

 

5、启动并验证hadoop伪分布式

第一步:格式化hdfs文件系统:

hadoop2.6.0版本搭建伪分布式环境_第28张图片

hadoop2.6.0版本搭建伪分布式环境_第29张图片

 

第二步:进入sbin中启动hdfs,执行如下命令:

hadoop2.6.0版本搭建伪分布式环境_第30张图片

此刻我们发现在master上启动了NameNode、DataNode、SecondaryNameNode

此刻通过web控制台查看hdfs,http://master:50070/ 

hadoop2.6.0版本搭建伪分布式环境_第31张图片

 

hadoop2.6.0版本搭建伪分布式环境_第32张图片

 

点击“Live Nodes”,查看一下其信息:

hadoop2.6.0版本搭建伪分布式环境_第33张图片

第三步:启动yarn

hadoop2.6.0版本搭建伪分布式环境_第34张图片

使用jps命令可以发现master机器启动了ResourceManager进程

 

PS:我们上传一个文件到hdfs吧:

hadoop2.6.0版本搭建伪分布式环境_第35张图片

 

hadoop web控制台页面的端口整理:

50070:hdfs文件管理

8088:ResourceManager

8042:NodeManager

19888:JobHistory(使用“mr-jobhistory-daemon.sh”来启动JobHistory Server)

你可能感兴趣的:(hadoop,mapreduce,namenode,hdfs,yarn)