在windows上安装配置伪分布式HADOOP3.0

在windows 64位上安装hadoop3.0.2

1.下载JDK，并设置JAVA_HOME。(使用不带空格的路径，比如Program Files，将在后面的配置中报错！若实在是有空格也是有解决办法，步骤7中会提到)
假设JAVA_HOME路径为C:\Java\jdk1.8.0_131
然后在Path中添加路径：
%JAVA_HOME%;%JAVA_HOME%\bin

2.下载hadoop
官网下载地址：http://hadoop.apache.org/releases.html
这里下载使用的是3.0.2的二进制版本文件（binary)，解压到E:/hadoop-3.0.2
镜像地址：http://mirror.bit.edu.cn/apache/hadoop/common/
3.下载winutils
这个是别人编译好的hadoop的windows版本二进制文件，不需要我们自己进行编译。下载找到hadoop-3.0.0/bin，然后覆盖E:/hadoop-3.0.2/bin
下载地址：https://github.com/steveloughran/winutils

4：添加环境变量 HADOOP_HOME：
E:\hadoop- 3.0.2，并添加到Path路径：%HADOOP_HOME%\bin
5：创建data目录及两个子文件夹namenode及datanode
用来保存数据，例如E:\hadoop- 3.0.2\data\namenode, E:\hadoop- 3.0.2\data\datanode
6.在路径E:\hadoop-3.0.2\etc\hadoop下修改文件
①core-site.xml（配置默认hdfs的访问端口

    
        fs.defaultFS
        hdfs://localhost:9000
        

②hdfs-site.xml（设置复制数为1，即不进行复制。namenode文件路径以及datanode数据路径。）

    
        dfs.replication
        1
    
        
        dfs.namenode.name.dir    
        file:/hadoop/data/dfs/namenode    
        
        
        dfs.datanode.data.dir    
        file:/hadoop/data/dfs/datanode  
    

③将mapred-site.xml.template 名称修改为 mapred-site.xml 后再修改内容（设置mr使用的框架，这里使用yarn）

    
        mapreduce.framework.name
        yarn
    

④yarn-site.xml（这里yarn设置使用了mr混洗）

    
        yarn.nodemanager.aux-services
        mapreduce_shuffle
    
    
        yarn.nodemanager.aux-services.mapreduce.shuffle.class
        org.apache.hadoop.mapred.ShuffleHandler
    

7、上述步骤配置好后就可以试着运行hadoop了
E:\hadoop-2.8.3\bin目录，格式化hdfs
在cmd中运行命令 hdfs namenode -format

若系统报错：

系统找不到指定的路径。 Error: JAVA_HOME is incorrectly set. 
 Please update E:\hadoop-3.0.2\hadoop-3.0.2\etc\hadoop-env.cmd’-Xmx512m’ 
 不是内部或外部命令，也不是可运行的程序或批处理文件。

这就是说明java_home没有配置正确，此时需要配置
E:\hadoop-3.0.2\etc\hadoop\hadoop-env.cmd，用编辑器打开文件
我的jdk路径是：C:\Program Files\Java\jdk1.8.0_131，Program Files是包含空格的
只需要把Program Files改为PROGRA~1 保存即可，如下图所示

8.启动hadoop3
进入E:\hadoop-3.0.2\sbin目录
在cmd中运行命令start-all.cmd
查看集群状态。http://localhost:8088
查看hdfs 文件系统：http://localhost:9870
9.关闭hadoop3
进入E:\hadoop-3.0.2\sbin目录
在cmd中运行命令stop-all.cmd

至此配置完成，当当当当，撒花花（✿✿ヽ(°▽°)ノ✿）