Linux(Centos7)下配置Hadoop的环境以及启动其HDFS的详细教程

上一篇博客地址：https://blog.csdn.net/qq_32575047/article/details/102505038

由于篇幅过长，就将安装和配置Hadoop的教程分开来讲，避免博友们的视觉疲劳，上一篇博文我们说到了如何下载Hadoop并解压到Linux的自定义目录中，接下来让我们进入配置环境以及启动Hadoop的正题上吧：

在这里首先我建议大家在配置环境之前，将Hadoop配置到环境变量中，操作如下：

使用命令：

vim .bash_profile 

 打开图片添加下图所示的代码：

这里的HADOOP_HOME即是你安装Hadoop的路径 ，配置完保存之后，记得输入以下的命令进行激活：

souce .bash_profile

同理你需要配置JDK的环境变量，因为Hadoop的运行是建立在JDK环境之上的（如果不知道怎么配置JDK环境，建议在网上搜索Centos使用yum安装jdk并配置环境变量）

接下来 我们进行重点部分，修改hadoop的相关配置文件

第一步: 进入到hadoop中的/etc/hadoop的文件下面，如下图(图只截了一部分)：

我们使用如下命令进入到这个脚本文件

vim hadoop-env.sh

 修改这里的JAVA_HOME,也就是你JDK的安装路径，保存退出即可，如下图：

第二步：进入到core-site.xml中添加如下代码，然后保存退出即可(这里配置的是HDFS的访问路径)

        fs.defaultFS
        hdfs://localhost:8020
    

第三步：进入到hdfs-site.xml中，添加如下代码，然后保存退出即可

        dfs.replication
        1
    

        hadoop.tmp.dir
        /home/app/tmp
    

这里需要解释两点：

dfs.application是副本的系数，因为我们安装的是单节点的Hadoop，所以需要显示的指定副本的系数，假如我们不指定的话，默认副本系数为3，这个可能会出问题

hadoop.tmp.dir这个对应的value路径：hdfs的数据块都是存储在这里面的，如果不显示的配置，Hadoop只会产生临时的目录，待服务器重启之后，这个文件就会丢失。

然后到了重要的一步：HDFS的格式化

我们进入到hadoop的bin目录下执行如下命令：

./hdfs namenod -format

即可完成HDFS格式的初始化问题，我们在初次安装Hadoop，必须执行HDFS格式化，有且只能执行一次。

 

好的，文件的配置已经结束了，现在让我们启动Hadoop中的HDFS吧

从hadoop的根目录，然后进入到sbin的目录下：如下图所示：

输入命令即可启动Hadoop中的HDFS部分

./start-dfs.sh

 我们使用jps命令查看进程，发现了如下图的三个进程，即证明HDFS已经启动成功

 我们可以打开HDFS的WEB  UI的端口，默认的端口号码为50070,在这里博主给大家提醒两点：

1.小伙伴们，可能使用的是本地的Centos，那么需要关闭防火墙，或者开启50070端口

2.有的小伙伴使用的是阿里云或者腾讯云等产品，我们需要关闭防火墙，并且开启安全组

（安全组的开启如果不会，建议大家百度搜索：阿里云或者腾讯云开启安全组）具体的云产品根据个人所用来定。

访问WEB UI成功的界面如下所示：