史上超详细基于Ubuntu搭建分布式Hadoop教程

在进行此教程之前，请确保伪分布式Hadoop已搭建完成。若没有搭建完成，请浏览上一篇博文

1、环境说明

Ubuntu14.0.4

Hadoop2.6.4

java-7-openjdk-amd64

VirtualBox

四个节点:master node1 node2 node3 内存分别为4GB 2GB 2GB 2GB

伪分布Hadoop主机，用于复制

2、设置node1主机

在原主机上单击右键复制如下图所示:

注意MAC地址的选择，一定要选择重新生成所以MAC地址

设置网卡,网卡1不用设置，网卡2设置为host-only如下图示:

启动node1,编辑网络配置文件.

sudo gedit /etc/network/interfaces

这里可以算是一个坑点吧.这条命令在Ubuntu18/16 无效，切记我踩过的坑啊，希望你们不要踩!!!

编辑主机名

sudo gedit /etc/hostname

配置各节点的主机名与IP地址,如下图所示:

sudo gedit /etc/hosts

配置core-site.xml，将之前的localhost改为master

配置yarn-site.xml

编辑mapred-site.xml

编辑hdfs-site.xml

重启虚拟机，然后ifconfig查看IP是否与hosts里面配置的一样(inet地址)

3、配置node2、node3主机

复制node1为node2，MAC地址生成与网卡配置同上面一样

修改IP，与上面配置的对应就可以了

修改主机名字，与上面配置的对应即可

重启查看IP

node3主机的配置与上面操作类似，不做累述

4、配置master主机

复制过程，网卡配置，IP配置，主机名称修改，查看IP不做累述

编辑hdfs-site.xml，一定要注意目录名称，之前的是datanode目录，现在是namenode

编辑masters文件

配置slaves文件

5、细节处理

启动四台虚拟机，slaves主机可以不用输入密码进入系统，只需master主机输入密码进入系统

远程连接node1，创建hdfs、datanode目录，并修改权限. node2、node3操作类似

在master主机上创建hdfs、namenode目录，并修改权限

格式化namenode

启动Hadoop

在master上查看进程

在node1上查看进程

在node2上查看进程

在node3上查看进程

访问localhost:8088查看节点情况

至此完全分布式Hadoop已经搭建完成，在这里做个小小的总结:从伪分布到完全分布式，中间我重装了无数次，但是最终还是搭建完成了。其实整个过程不难，难的是你愿不愿意不断尝试。在搭建完全分布式的时候，一定要理解namenode和datanode之间的关系，不要像我之前那样闹个乌龙:我以为我master的datanode没有了，然后去网上一搜"datanode没有了怎么办"，恰好这个问题可以搜出答案,然后我尝试了那个方法但没有效果，我就重装了。但是，只要你想明白了Hadoop namenode和datanode的关系之后，你就会发现这是正常现象。所以，当我们遇到问题的时候，不仅要不断尝试，而且最重要的是先对问题进行分析再对症下药。