1.3.2伪分布式搭建

总目录:https://www.jianshu.com/p/e406a9bc93a9

Hadoop - 子目录：https://www.jianshu.com/p/9428e443b7fd

前言

搭建前的准备：https://www.jianshu.com/p/1458acc07552

关于hadoop的搭建，我们先熟悉一些常用配置文件

四大核心文件

core-site.xml：集群全局参数

hdfs-site.xml：HDFS参数

mapred-site.xml：MapReduce参数

yarn-site.xml：集群资源管理系统参数 （2.X以上特有）

其他配置文件

hadoop-env.sh：hadoop运行环境

slaves：slave节点列表

伪分布式搭建

下载hadoop源码后，使用xftp传输到master内。

源码链接博文：https://www.jianshu.com/p/ef765c933808

解压

tar -zxvf hadoop-2.7.5.tar.gz

重命名

mv hadoop-2.7.5 hadoop-wfb

伪分布的配置只在master上。

配置环境变量

vi ~/.base_profile

刷新环境变量

source ~/.base_profile

验证是否配置好

hadoop

配置环境变量

配置成功时的输出

第一个文件：hadoop-env..sh

首先打开该文件

将jdk环境变量修改为绝对路径 l

第二个文件：core-site,xm

打开文件

常用配置

 

     

        hadoop.tmp.dir 

        /usr/hdk/hadoopdata/tmp

        临时数据存放文件夹

     

      

        fs.default.name 

        hdfs://192.168.110.220:9000 

        NN的ip和端口号     

      

       

第三个文件：hdfs-site.xml

打开文件

常用配置

 

   

        dfs.name.dir

        /usr/hdk/hadoopdata/dfs/name

        定义HDFS的名称节点在本地文件系统的位置

   

   

        dfs.data.dir

        /usr/hdk/hadoopdata/dfs/data

        定义HDFS数据节点存储数据块时存储在本地文件系统的位置

   

   

        dfs.replication

        1

        Block块副本最大数量

   

第四个文件mapred-site.xml

拷贝文件重命名

打开文件

常用配置

   

        mapreduce.framework.name

        yarn

        指定MapReduce运行在yarn上

   

伪分布模式可以不配置yarn-site.xml。

管理集群

首先格式化hdfs

hadoop namenode -format

启动集群

cd sbin

start-dfs.sh

查看正在运行的java进程

jps

关闭集群

stop-dfs.sh

格式化NameNode

ps：这条命令在集群搭建成功后执行一次即可，效力等同于 rm -rf /*  会清空hdfs上所有文件。

启动集群

查看jps进程

我们可以看到，这里有三个进程，分别对应hdfs三角色。

关闭集群