Hadoop2.4.1伪分布式搭建

一、准备Linux环境

我这边是用腾讯云服务器，进行远程登录，也可以用VMware  Workstation Pro虚拟机，安装Linux系统进行操作！

二、安装JDK，设置环境变量

 2.1 下载linux-JDK,传到Linux系统中，我存在/home/ubuntu路径下

2.2 进行解压操作，我是放在app文件里，方便管理

tar  -zxvf  jdk-8u511-linux-x64.tar.gz  -C app/

2.3 设置环境变量

vi /etc/profile

2.4 使变量即可生效

source /etc/profile

2.5 验证

当然安装还有很多种，这只是其中一种...便于参考

三、安装HADOOP,设置环境变量,修改配置文件

3.1 跟JDK类似,下载hadoop-2.4.1.tar.gz,传到Linux系统中，我存在/home/ubuntu路径,解压到app

tar  -zxvf  hadoop-2.4.1.tar.gz  -C app/

3.2 设置环境变量

3.3 使变量即可生效

source /etc/profile

3.4 修改配置文件

进入 下面路径去修改，文件配置

很多配置文件都是需要自己改，目前学习hadoop阶段,只需要改几个便可

 3.4.1 hadoop-env.sh

修改JAVA_HOME 改成JDK文件包位置

 3.4.2 core-site.xml

 3.4.3 hdfs-site.xml

目前我们只是在一台机器上搭建，所以副本只要设置1个便可

3.4.4 mapred-site.xml

修改配置文件后缀.xml 文件是mapred-site.xml.template，所以要修改后缀

mv mapred-site.xml.template mapred-site.xml

3.4.5 yarn-site.xml

配置完成后，要进行格式，配置不对，格式化会报错。

hadoop namenode -format

四、启动并验证

到sbin目录下，先启动HDFS

start-dfs.sh

再启动YARN

start-yarn.sh

最后输入jps验证是否成功

这说明已经成功了