相关环境:
虚拟机:VMWare(64位)
Linux版本:centOS6.5 64位
Windows版本:win10 64位
Hadoop版本:2.6.0
Linux中JDK版本:1.7.0_71(64位)
参考网页:
搭建伪分布式环境的网页
本文是集成上述网页的主要步骤,然后在配置文件的时候略作修改,是为了配合之后在Windows中安装hadoop2.6.0-eclipse-plugin插件时用的。同时也其中穿插了一些自己搭建环境时遇到的问题。
在Windows中安装hadoop2.6.0-eclipse-plugin插件的步骤,见我的下一篇文章——Hadoop II Windows下安装hadoop2.6.0-eclipse-plugin插件
安装虚拟机
安装虚拟机及在虚拟机中安装Linux的步骤在这里不详述,网上对这方面的介绍比较多且没有太大难度。
安装配置Linux中的一些环境
1)安装Linux中的JDK
在Linux中安装JDK,在这里也不详述。
2)修改主机名
通过sudo vi /etc/sysconfig/network将主机名修改为master。如下图所示:
重启Linux后查看结果:
3)修改hosts中的主机名
通过sudo vi /etc/hosts修改hosts文件,其中192.168.253.130是我Linux的ip地址。如下图所示:
4)配置SSH
进入.ssh目录并生成authorized_keys文件:
授权.ssh/文件夹权限为700,authorized_keys文件权限为600(or 644)
ssh验证
5)安装hadoop
去官网下载hadoop安装包,这里的版本是2.6.0。http://apache.fayea.com/hadoop/common/hadoop-2.6.0/
下载成功后,解压在合适的目录中。
通过sudo vi ~/.bash_profile配置环境变量,分别配置HADOOP_HOME和PATH:
修改后,使用source ~/.bash_profile是修改后的环境变量生效。
在hadoop目录下创建文件夹:
接下来开始配置hadoop的各种文件,首先进入hadoop的配置文件夹:
修改配置文件hadoop-env.sh,加入"JAVA_HOME",如下所示:
指定我们自己的"JAVA_HOME":
修改yarn-env.sh,加入JAVA_HOME:
指定我们自己的JAVA_HOME:
修改配置文件 mapred-env.sh,加入JAVA_HOME:
加入我们自己的JAVA_HOME
修改slaves文件:
设置从节点为master,因为我们是伪分布式:
修改配置文件core-site.xml:
修改core-site.xml后:
修改hdfs-site.xml,修改前:
修改后:
修改yarn-site.xml,修改前:
修改后:
启动并验证hdfs文件系统是否配置成功:
首先,格式化hdfs文件系统:
然后cd到sbin目录中,分别启动dfs和yarn:
然后就可以通过web控制台查看hdfs了,地址:http://linux的ip:50070/。如果不是用当前Linux访问,而是别的电脑,访问的该地址的时候可能访问不到,此时需要考虑是否是Linux防火墙的问题。
点击"Live Nodes",查看一下其他信息:
现在试着向hdfs中上传一个文件:
hadoop web控制台页面的端口整理:
50070:hdfs文件管理
8088:ResourceManager
8042:NodeManager
19888:JobHistory(使用“mr-jobhistory-daemon.sh”来启动JobHistory Server)