windows下hadoop-2.9.1的伪分布式安装

1.安装jdk
jdk1.8_172下载路径
http://download.oracle.com/otn-pub/java/jdk/8u172-b11/a58eab1ec242421181065cdc37240b08/jdk-8u172-windows-x64.exe?AuthParam=1527264447_181ad34de9a74051ef8591a3fdf7ba40
双击运行安装

点击更改，将安装路径修改为C:/software/jdk1.8
配置JAVA_HOME=C:/software/jdk1.8
将 %JAVA_HOME%\bin; 添加到PATH中
2.安装hadoop
hadoop下载路径
https://archive.apache.org/dist/hadoop/common/
选择hadoop-2.9.1目录中的hadoop-2.9.1.tar.gz
解压缩，会得到hadoop-2.9.1
将解压后的文件移动到安装目录C:/software/下，安装目录可以任意指定
配置HADOOP_HOME=C:/software/hadoop-2.9.1
将 %HADOOP_HOME%\bin; %HADOOP_HOME%\sbin; 添加到PATH中
打开cmd，输入hadoop version， 如果出现下图内容，说明配置成功

3.配置hadoop的伪分布式的文件
方件位于%HADOOP_HOME%\etc\hadoop目录中
3.1 hadoop-env.cmd
将文件中的 set JAVA_HOME=%JAVA_HOME% 替换成 set JAVA_HOME=C:\software\jdk1.8
3.2 core-site.xml
将文件中内容全部删除，增以下内容

    
            fs.defaultFS  
            hdfs://127.0.0.1:9000  
    
    
            hadoop.tmp.dir  
            /C:/software/hadoop-2.9.1/tmp  
    
    
            dfs.namenode.name.dir
            /C:/software/hadoop-2.9.1/name
     

在C:/software/hadoop-2.9.1中创建tmp文件夹和name文件夹
3.3 hdfs-site.xml
将文件中内容全部删除，增以下内容

     
        dfs.replication    
        1    
                    

3.4 复制mapred-site.xml.template，并将复制出的文件命名为mapred-site.xml
将文件中内容全部删除，增以下内容

    
            mapreduce.framework.name
            yarn
    

3.5 yarn-site.xml
将文件中内容全部删除，增以下内容

        
        yarn.nodemanager.aux-services    
        mapreduce_shuffle    
      
    
        yarn.resourcemanager.hostname
        127.0.0.1
     

4.在windows下启动需要依赖winutils.exe和一些.dll文件，可从下面的链接获取
https://download.csdn.net/download/a781136776/10438710
将压缩文件bin目录下的所有文件复制到%HADOOP_HOME%\bin目录，不要覆盖%HADOOP_HOME%\bin原有文件
5.启动hadoop
5.1 打开cmd
5.2 输入 hdfs namenode -format 并执行
5.3 输入 start-all.cmd 并执行
只在第一次启动前执行hdfs namenode -format命令
6.停止hadoop
6.1 打开cmd
6.2 输入 stop-all.cmd 并执行

转自https://blog.csdn.net/a781136776/article/details/80458513