hadoop2.0以后不需要借助cywin运行在Windows上

Hadoop 2.0及以后的版本可以直接在windows上跑, 不用cygwin了, 凡是讲cygwin的攻略都可以忽略.

 

去官网下载hadoop，其实都是tar.gz linux版本，所以我们单独下载window需要一些文件。

关于环境变量: 我实验下来要加的唯一一个环境变量是系统变量里的Path, 往里加上Hadoop的bin目录的路径.

关于winutils: 除了Hadoop安装包和JDK外,还要下载的一个第三方工具是名为winutils的一套类库, 下载地址:

https://github.com/steveloughran/winutils

注意比如你hadoop下载的是3.1版本, 那么这个类库你也要用3.1的. 下载完了把里面所有的dll等文件都覆盖到hadoop目录的bin子目录下去.

关于hadoop的配置: 在hadoop目录下的etc/hadoop下找到大量配置文件, 文件后缀名为sh的是linux环境用的, cmd的就是windows的脚本,先要配置hadcoop-env.cmd: 这个文件唯一要配置的地方是:

 set JAVA_HOME=C:\Java\jdk1.8.0_121

尤其要注意的一点是如果你的Java装在Program Files这样带空格的文件夹下的话, 一定要把这个文件夹命名为不带空格的名字, 或者用 "C:\PROGRA~1" 来表示 "C:\Program Files", 否则会报错, 这是一个坑.！！！