Hadoop伪分布式环境搭建

一、准备实验的环境：

    1、安装Linux

    2、配置主机名、免密码登录

    3、自定义一个安装目录:  /root/training

二、安装

    1、解压jdk到/root/training目录下：tar -zxvf jdk-8u40-linux-x64.tar.gz -C /root/training/ 

    2、解压hadoop到/root/training目录下：tar -zxvf hadoop-2.7.3.tar.gz -C /root/training/ 

    3、设置环境变量：vi ~/.bash_profile

生效环境变量：source ~/.bash_profile  然后敲start 按Tab键出现下面有关start的所有命令

第一点：Hadoop的目录结构

第二点：Hadoop的本地模式

    1、特点：不具备HDFS，只能测试MapReduce程序

    2、进入 cd etc/hadoop/  修改hadoop-env.sh

第三点：Hadoop的伪分布模式

    1、特点：具备Hadoop的所有功能，在单机上模拟一个分布式的环境    

        （1）HDFS：主：NameNode，数据节点：DataNode

        （2）Yarn：容器，运行MapReduce程序

                            主节点：ResourceManager

                            从节点：NodeManager

    2、步骤：

        （1）hdfs-site.xml   修改

         （2）core-site.xml   修改

保存数据的位置需要手动创建如下

         （3）mapred-site.xml   修改  因为没有这个文件所以先复制一份

        （4）yarn-site.xml   修改

        （5）格式化NameNode

                hdfs namenode -format   出来以下日志:             表示成功

        （6）启动：start-all.sh        会启动两部分 HDFS：存储数据   Yarn：执行计算

        （7）访问：环境搭建成功之后测试是否成功 

                    HDFS：http://192.168.23.129:50070 

                    Yarn：http://192.168.23.129:8088

如果打不开网页可以检查下防火墙是否关闭了，新创建的虚拟机默认开启防火墙哦!

centOS7关闭防火墙：   systemctl stop firewalld.service

              开启防火墙：   systemctl start firewalld.service

              关闭开机启动：systemctl disable firewalld.service

              开启开机启动：systemctl enable firewalld.service

版权声明：本文为博主原创文章，未经博主允许不得转载，尊重他人劳动成果哦。 https://www.jianshu.com/p/2db2e0a36557