Windows下Hadoop配置和namenode搭建

1.压缩包下载

这里我是从Apache官网下载的 hadoop 压缩包：hadoop2.7.5 （下载地址：https://hadoop.apache.org/releases.html）

直接下载压缩包解压放到你的硬盘中即可（注意：不要放到有空格和中文的目录下）

 参考上图即可。

2.配置Hadoop

（1）在我的电脑中配置 Hadoop 的环境变量：

　　在系统变量中配置 HADOOP_HOME

　　在 Path 中配置下 bin 的位置，在末尾新建一行，加上下面这行：

%HADOOP_HOME%\bin

（2）在 hadoop 的 hadoop-env.cmd 文件中配置下本地 JDK 位置（参照下面即可）

　　

（3）检查下 Hadoop 是否成功配置好，在 Dos 窗口下 输入 hadoop version 检测即可

 

3.Hadoop 集群配置

（1）修改 core-site.xml 文件

           
        fs.defaultFS       
        hdfs://localhost:9000   
    

（2）修改  mapred.site.xml 文件（默认是 mapred.site.xml.template，直接改为 mapred.site.xml 即可）

           
        mapreduce.framework.name       
        yarn   
    

（3）修改 hdfs-site.xml 文件（对于需要的目录需要自己提前创建好）

    
    
        dfs.replication
        1
    
         
    
        dfs.namenode.name.dir
        file:///..../hadoop2.7.5/data/dfs/nn/name
    
　　    
　　
        dfs.datanode.data.dir
        file:///.../hadoop2.7.5/data/dfs/dn/data
    
    

（4）配置 yarn-site.xml 文件

　　
    
        yarn.nodemanager.aux-services
        mapreduce_shuffle
    
    
        yarn.nodemanager.aux-services.mapreduce.shuffle.class
        org.apache.hadoop.mapred.ShuffleHandler
    

 

4.开始运行 Hadoop

（1）格式化下 NameNode

hadoop namenode -format

没有报错说明成功运行

（2）启动集群服务

start-all.cmd

结果会自动弹出四个窗口：hadoop namenode、hadoop datanode、yarn nodemanager、yarn resourcemanager。

我们也可以使用 jps 来查看下（显示出来的说明已经启动成功）：

16640 Launcher
9072 NameNode
15412 RemoteMavenServer
20196 DataNode
17432 NodeManager
5384 ResourceManager
20572 Jps

 （3）停止服务可以使用

stop-all.cmd