windows下配置hadoop环境

下载 hadoop

hadoop-2.2.0版本下载地址：https://archive.apache.org/dist/hadoop/common/hadoop-2.2.0/hadoop-2.2.0.tar.gz
备注：高版本的hadoop在windows下，因为没有同步的hadoop-common-bin-master版本，所以部署伪分布式有点问题。这里能够下到 hadoop-common-2.2.0-bin-master ，为了保持版本同步，windows下采用 hadoop-2.2.0 版本

安装 hadoop

解压hadoop安装包到指定目录，我的安装目录是 C:\myprogram\hadoop-2.2.0，安装其实就是解压出来

配置环境变量

1. 新建系统变量
   变量名：HADOOP_INSTALL
   变量值：C:\myprogram\hadoop-2.2.0
2. 在编辑系统变量 Path
   在变量值前面追加（windows下以英文分号隔开）：
   %HADOOP_INSTALL%\bin;%HADOOP_INSTALL%\sbin;

查看 hadoop 版本

Microsoft Windows [版本 10.0.15063]
(c) 2017 Microsoft Corporation。保留所有权利。

C:\Users\Administrator>hadoop version
Hadoop 2.2.0
Subversion https://svn.apache.org/repos/asf/hadoop/common -r 1529768
Compiled by hortonmu on 2013-10-07T06:28Z
Compiled with protoc 2.5.0
From source with checksum 79e53ce7994d1628b240f09af91e1af4
This command was run using /C:/myprogram/hadoop-2.2.0/share/hadoop/common/hadoop-common-2.2.0.jar

配置伪分布模式

参照我之前写的文章 在Ubuntu下配置伪分布模式
将C:\myprogram\hadoop-2.2.0\etc\hadoop目录下的*-site.xml修改

1. core-site.xml
2. hdfs-site.xml
3. yarn-site.xml
4. mapred-site.xml

格式化名称节点

/* 运行cmd */
hadoop namenode -format
/*这时发现C:\tmp下多了hadoop-Administrator目录*/

启动

start-all.cmd

启动时如果发现有错误，这里windows比较诡异，
需要把 %HADOOP_INSTALL%\bin\*.cmd 
所在目录中所有的cmd文件中的 call 前面的空格删掉

修改后重复上述格式化步骤再启动
可以先删除 C:\tmp\hadoop-Administrator 再格式化

启动成功后会弹出四个命令行窗口
如果觉得很乱不方便可以拖到其他桌面

我是 win10 的系统
1. win + tab 新建一个桌面
2. 将暂时不用访问的命令行窗口可以拖到桌面2中
这也 win10 一个比较贴心的小功能吧

关闭

stop-all.cmd