史上超详细基于Ubuntu搭建分布式Hadoop教程

在进行此教程之前,请确保伪分布式Hadoop已搭建完成。若没有搭建完成,请浏览上一篇博文

1、环境说明

  • Ubuntu14.0.4
  • Hadoop2.6.4
  • java-7-openjdk-amd64
  • VirtualBox
  • 四个节点:master node1 node2 node3 内存分别为4GB 2GB 2GB 2GB
  • 伪分布Hadoop主机,用于复制
  • 2、设置node1主机

  • 在原主机上单击右键复制如下图所示:
  • 史上超详细基于Ubuntu搭建分布式Hadoop教程_第1张图片
    注意MAC地址的选择,一定要选择重新生成所以MAC地址

  • 设置网卡,网卡1不用设置,网卡2设置为host-only如下图示:
  • 史上超详细基于Ubuntu搭建分布式Hadoop教程_第2张图片

  • 启动node1,编辑网络配置文件.
  • sudo gedit /etc/network/interfaces
    

    史上超详细基于Ubuntu搭建分布式Hadoop教程_第3张图片
    这里可以算是一个坑点吧.这条命令在Ubuntu18/16 无效,切记我踩过的坑啊,希望你们不要踩!!!

  • 编辑主机名
  • sudo gedit /etc/hostname
    

    史上超详细基于Ubuntu搭建分布式Hadoop教程_第4张图片

  • 配置各节点的主机名与IP地址,如下图所示:
  • sudo gedit /etc/hosts
    

    史上超详细基于Ubuntu搭建分布式Hadoop教程_第5张图片

  • 配置core-site.xml,将之前的localhost改为master
  • 史上超详细基于Ubuntu搭建分布式Hadoop教程_第6张图片

    配置yarn-site.xml

    史上超详细基于Ubuntu搭建分布式Hadoop教程_第7张图片

  • 编辑mapred-site.xml
  • 史上超详细基于Ubuntu搭建分布式Hadoop教程_第8张图片

  • 编辑hdfs-site.xml
  • 史上超详细基于Ubuntu搭建分布式Hadoop教程_第9张图片

  • 重启虚拟机,然后ifconfig查看IP是否与hosts里面配置的一样(inet地址)
  • 史上超详细基于Ubuntu搭建分布式Hadoop教程_第10张图片

    3、配置node2、node3主机

  • 复制node1为node2,MAC地址生成与网卡配置同上面一样
  • 修改IP,与上面配置的对应就可以了
  • 史上超详细基于Ubuntu搭建分布式Hadoop教程_第11张图片

  • 修改主机名字,与上面配置的对应即可
  • 史上超详细基于Ubuntu搭建分布式Hadoop教程_第12张图片

  • 重启查看IP
  • 史上超详细基于Ubuntu搭建分布式Hadoop教程_第13张图片

  • node3主机的配置与上面操作类似,不做累述
  • 4、配置master主机

  • 复制过程,网卡配置,IP配置,主机名称修改,查看IP不做累述
  • 编辑hdfs-site.xml,一定要注意目录名称,之前的是datanode目录,现在是namenode
  • 史上超详细基于Ubuntu搭建分布式Hadoop教程_第14张图片

  • 编辑masters文件
  • 史上超详细基于Ubuntu搭建分布式Hadoop教程_第15张图片

  • 配置slaves文件
  • 史上超详细基于Ubuntu搭建分布式Hadoop教程_第16张图片

    5、细节处理

  • 启动四台虚拟机,slaves主机可以不用输入密码进入系统,只需master主机输入密码进入系统
  • 史上超详细基于Ubuntu搭建分布式Hadoop教程_第17张图片

  • 远程连接node1,创建hdfs、datanode目录,并修改权限. node2、node3操作类似
  • 史上超详细基于Ubuntu搭建分布式Hadoop教程_第18张图片
    在这里插入图片描述
    在这里插入图片描述

  • 在master主机上创建hdfs、namenode目录,并修改权限
  • 史上超详细基于Ubuntu搭建分布式Hadoop教程_第19张图片

  • 格式化namenode
  • 史上超详细基于Ubuntu搭建分布式Hadoop教程_第20张图片

  • 启动Hadoop
  • 史上超详细基于Ubuntu搭建分布式Hadoop教程_第21张图片

  • 在master上查看进程
  • 史上超详细基于Ubuntu搭建分布式Hadoop教程_第22张图片

  • 在node1上查看进程
  • 史上超详细基于Ubuntu搭建分布式Hadoop教程_第23张图片

  • 在node2上查看进程
  • 史上超详细基于Ubuntu搭建分布式Hadoop教程_第24张图片

  • 在node3上查看进程
  • 史上超详细基于Ubuntu搭建分布式Hadoop教程_第25张图片

  • 访问localhost:8088查看节点情况
  • 史上超详细基于Ubuntu搭建分布式Hadoop教程_第26张图片

    至此完全分布式Hadoop已经搭建完成,在这里做个小小的总结:从伪分布到完全分布式,中间我重装了无数次,但是最终还是搭建完成了。其实整个过程不难,难的是你愿不愿意不断尝试。在搭建完全分布式的时候,一定要理解namenode和datanode之间的关系,不要像我之前那样闹个乌龙:我以为我master的datanode没有了,然后去网上一搜"datanode没有了怎么办",恰好这个问题可以搜出答案,然后我尝试了那个方法但没有效果,我就重装了。但是,只要你想明白了Hadoop namenode和datanode的关系之后,你就会发现这是正常现象。所以,当我们遇到问题的时候,不仅要不断尝试,而且最重要的是先对问题进行分析再对症下药。

    你可能感兴趣的:(Hadoop,Linux,原创)