Hadoop I 搭建Linux下Hadoop2.6.0伪分布式环境

相关环境:

虚拟机:VMWare(64位)

Linux版本:centOS6.5 64位

Windows版本:win10 64位

Hadoop版本:2.6.0

Linux中JDK版本:1.7.0_71(64位)


参考网页:

搭建伪分布式环境的网页

本文是集成上述网页的主要步骤,然后在配置文件的时候略作修改,是为了配合之后在Windows中安装hadoop2.6.0-eclipse-plugin插件时用的。同时也其中穿插了一些自己搭建环境时遇到的问题。

在Windows中安装hadoop2.6.0-eclipse-plugin插件的步骤,见我的下一篇文章——Hadoop II Windows下安装hadoop2.6.0-eclipse-plugin插件


安装虚拟机

安装虚拟机及在虚拟机中安装Linux的步骤在这里不详述,网上对这方面的介绍比较多且没有太大难度。


安装配置Linux中的一些环境

1)安装Linux中的JDK

在Linux中安装JDK,在这里也不详述。


2)修改主机名

通过sudo vi /etc/sysconfig/network将主机名修改为master。如下图所示:



重启Linux后查看结果:



3)修改hosts中的主机名

通过sudo vi /etc/hosts修改hosts文件,其中192.168.253.130是我Linux的ip地址。如下图所示:



4)配置SSH

Hadoop I 搭建Linux下Hadoop2.6.0伪分布式环境_第1张图片

进入.ssh目录并生成authorized_keys文件:

Hadoop I 搭建Linux下Hadoop2.6.0伪分布式环境_第2张图片

授权.ssh/文件夹权限为700,authorized_keys文件权限为600(or 644)

Hadoop I 搭建Linux下Hadoop2.6.0伪分布式环境_第3张图片

ssh验证

Hadoop I 搭建Linux下Hadoop2.6.0伪分布式环境_第4张图片


5)安装hadoop

去官网下载hadoop安装包,这里的版本是2.6.0。http://apache.fayea.com/hadoop/common/hadoop-2.6.0/

下载成功后,解压在合适的目录中。


通过sudo vi ~/.bash_profile配置环境变量,分别配置HADOOP_HOME和PATH:

Hadoop I 搭建Linux下Hadoop2.6.0伪分布式环境_第5张图片


修改后,使用source ~/.bash_profile是修改后的环境变量生效。


在hadoop目录下创建文件夹:

Hadoop I 搭建Linux下Hadoop2.6.0伪分布式环境_第6张图片


接下来开始配置hadoop的各种文件,首先进入hadoop的配置文件夹:

Hadoop I 搭建Linux下Hadoop2.6.0伪分布式环境_第7张图片


修改配置文件hadoop-env.sh,加入"JAVA_HOME",如下所示:

Hadoop I 搭建Linux下Hadoop2.6.0伪分布式环境_第8张图片

指定我们自己的"JAVA_HOME":

Hadoop I 搭建Linux下Hadoop2.6.0伪分布式环境_第9张图片


修改yarn-env.sh,加入JAVA_HOME:

Hadoop I 搭建Linux下Hadoop2.6.0伪分布式环境_第10张图片

指定我们自己的JAVA_HOME:

Hadoop I 搭建Linux下Hadoop2.6.0伪分布式环境_第11张图片


修改配置文件 mapred-env.sh,加入JAVA_HOME:

Hadoop I 搭建Linux下Hadoop2.6.0伪分布式环境_第12张图片

加入我们自己的JAVA_HOME

Hadoop I 搭建Linux下Hadoop2.6.0伪分布式环境_第13张图片


修改slaves文件:

Hadoop I 搭建Linux下Hadoop2.6.0伪分布式环境_第14张图片

设置从节点为master,因为我们是伪分布式:

Hadoop I 搭建Linux下Hadoop2.6.0伪分布式环境_第15张图片


修改配置文件core-site.xml:

Hadoop I 搭建Linux下Hadoop2.6.0伪分布式环境_第16张图片

修改core-site.xml后:

Hadoop I 搭建Linux下Hadoop2.6.0伪分布式环境_第17张图片


修改hdfs-site.xml,修改前:

Hadoop I 搭建Linux下Hadoop2.6.0伪分布式环境_第18张图片

修改后:

Hadoop I 搭建Linux下Hadoop2.6.0伪分布式环境_第19张图片


修改yarn-site.xml,修改前:

Hadoop I 搭建Linux下Hadoop2.6.0伪分布式环境_第20张图片

修改后:

Hadoop I 搭建Linux下Hadoop2.6.0伪分布式环境_第21张图片


启动并验证hdfs文件系统是否配置成功:

首先,格式化hdfs文件系统:

Hadoop I 搭建Linux下Hadoop2.6.0伪分布式环境_第22张图片

Hadoop I 搭建Linux下Hadoop2.6.0伪分布式环境_第23张图片

然后cd到sbin目录中,分别启动dfs和yarn:

Hadoop I 搭建Linux下Hadoop2.6.0伪分布式环境_第24张图片


然后就可以通过web控制台查看hdfs了,地址:http://linux的ip:50070/。如果不是用当前Linux访问,而是别的电脑,访问的该地址的时候可能访问不到,此时需要考虑是否是Linux防火墙的问题。

Hadoop I 搭建Linux下Hadoop2.6.0伪分布式环境_第25张图片


Hadoop I 搭建Linux下Hadoop2.6.0伪分布式环境_第26张图片


点击"Live Nodes",查看一下其他信息:

Hadoop I 搭建Linux下Hadoop2.6.0伪分布式环境_第27张图片


现在试着向hdfs中上传一个文件:

Hadoop I 搭建Linux下Hadoop2.6.0伪分布式环境_第28张图片


hadoop web控制台页面的端口整理:

50070:hdfs文件管理

8088:ResourceManager

8042:NodeManager

19888:JobHistory(使用“mr-jobhistory-daemon.sh”来启动JobHistory Server)







你可能感兴趣的:(java,hadoop,linux)