windows10 搭建hadoop环境，并且使用hadoop命令

hadoop 环境创建

1. 八、window搭建spark + IDEA开发环境

按照步骤安装完

2. windows下安装和配置hadoop

配置环境变量，注意JAVA_HOME路径，修改后，重启电脑，不重启容易报错！！！

​

新建data文件夹

core-site.xml

<configuration>
    <property>
      <name>hadoop.tmp.dirname>
      <value>/D:/development/hadoop-3.1.1/datavalue>
    property>
    <property>
      <name>fs.defaultFSname>
      <value>hdfs://localhost:9000value>
    property>
configuration>

hdfs-site.xml

<configuration>
	<property> 
		 <name>dfs.replicationname> 
		 <value>1value> 
	property> 

	<property> 
		 <name>dfs.namenode.name.dirname> 
		 <value>/D:/development/hadoop-3.1.1/data/namenodevalue> 
	property> 

	<property> 
		 <name>dfs.datanode.data.dirname> 
		 <value>/D:/development/hadoop-3.1.1/data/datanodevalue> 
	property> 

configuration>

mapred-site.xml

<configuration>
     <property>
            <name>mapreduce.framework.namename>
             <value>yarnvalue>
    property>
configuration>

yarn-site.xml

<configuration>


     <property>
        <name>yarn.nodemanager.aux-servicesname>
        <value>mapreduce_shufflevalue>
    property>
    <property>
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.classname>
        <value>org.apache.hahoop.mapred.ShuffleHandlervalue>
    property>
configuration>

3**.节点格式化**

正常情况下，格式话结束会显示’namenode has been successfully formated’，如果格式话失败，原因可能是环境变量配置问题、hadoop版本和winutils版本不一致、etc中配置错误；

hdfs namenode -format

4. 启动hadoop

以管理员身份打开cmd，使用win+r快捷键打开运行，输入cmd，然后ctrl+shift+enter，选择‘是’，打开cmd；

执行start-all.cmd，会新打开4个cmd，分别是namenode、resourcemanager、nodemanager、datanode的4个进程，如果这4个cmd启动没有报错，则启动成功；

出现四个窗口成功

5. 使用hadoop

参考：

八、window搭建spark + IDEA开发环境

windows下安装和配置hadoop

Windows下配置Hadoop环境（全过程）

hadoop启动报错JAVA_HOME is incorrectly set

‍