Windows 10下部署Hadoop,就是这么简单！！

第一步：环境准备
1.JDK安装 1.8
2.Hadoop安装包
3.hadooponwindows-master（可使配置更简洁）
链接地址：https://pan.baidu.com/s/1igJJ7hv7CHF7b24RbwNxlQ 密码：kgn4
第二步： 安装配置
1.解压 Hadoop 安装包 （解压到英文目录，没有空格的目录）
2.配置Hadoop环境变量：我的电脑 --> 属性 --> 高级系统设置 --> 高级 --> 环境变量，新建HADOOP_HOME，然后将%HADOOP_HOME%\bin添加到Path中。

3.新建data文件（里面新建namenode datanode文件夹）和tmp文件夹
4.修改启动类 hadoop-env.cmd，
主要是设置JAVA_HOME的路径，我的文件目录在 E:\Dev2\hadoop\hadoop-2.6.0\etc\hadoop，（这里注意一下：如果jdk路径中有“Program Files”，则将Program Files改为 PROGRA~1，否则会报错）5、修改配置文件（core-site.xml，hdfs-site.xml，mapred-site.xml，yarn-site.xml）

核心操作就在这四个配置文件上面了，（如果下载了hadooponwindows-master，解压后可以直接覆盖bin和etc目录，然后只修改这四个文件夹中的路径信息就可以了
（1）core-site.xml

<configuration>
   <property>
         <name>fs.defaultFS</name>
         <value>hdfs://localhost:9000</value>
   </property>
</configuration>

（2）hdfs-site.xml

<configuration>
  <property>
	   <name>dfs.replication</name>
	   <value>1</value>
  </property>
  <property>
       <name>dfs.namenode.name.dir</name>
       <value>/D:/hadoop/hadoop-2.7.7/data/namenode</value>
  </property>
  <property>
       <name>dfs.datanode.data.dir</name>
       <value>/D:/hadoop/hadoop-2.7.7/data/datanode</value>
  </property>
</configuration>

（3）mapred-site.xml

<configuration>
    <property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
    </property>
</configuration>

（4）yarn-site.xml

<configuration>

<!-- Site specific YARN configuration properties -->
  <property>
        <name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
  </property>
   <property>
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
		<value>org.apache.hadoop.mapred.ShuffleHandler</value>
  </property>
</configuration>

6、启动格式化HDFS

首先，hadoop version，查看是否能正常运行

然后，执行 hdfs namenode -format
格式化之后，namenode文件里会生成一个current文件，则格式化成功。

三、Hadoop启动

在cmd中执行 start-all.cmd 命令，启动Hadoop，路径：E:\Dev2\hadoop\hadoop-2.6.0\sbin。
运行成功后，会出现四个窗口，分别是：yarn-resourcemanager、yarn-nodemanager、hadoop-namenode、hadoop-datanode。
如上，则恭喜，启动成功。

四、HDFS操作测试

安装好了Hadoop环境，接下来我们就敲下hadoop命令，上传几个文件操作实战一下。

1、创建目录

hadoop fs -mkdir hdfs://localhost:9000/my/

hadoop fs -mkdir hdfs://localhost:9000/my/testinput

2、上传文件

hadoop fs -put E:\test01.txt hdfs://localhost:9000/my/testinput

hadoop fs -put E:\test02.txt hdfs://localhost:9000/my/testinput

3、查询文件

hadoop fs -ls hdfs://localhost:9000/my/testinput

查询到我们刚刚上传的文件啦，恭喜，测试成功。

五、管理页面

Hadoop自带了web UI管理页面，

1、资源管理（localhost:8088）

2、节点管理（localhost:50070）