windows下搭建hadoop-2.6.0本地idea开发环境

概述

本文记录windows下hadoop本地开发环境的搭建：

OS：windows
hadoop运行模式：独立模式

安装包结构：

Hadoop-2.6.0-Windows.zip
    - cygwinInstall // cygwin离线安装包
    - hadoop-2.6.0-windows.tar.gz // hadoop-2.6.0 windows安装包

PS:

hadoop-2.6.0-windows.tar.gz是基于官方发行包hadoop-2.6.0.tar.gz，并为windows单机测试而自定义的包，改动如下：
1. 在bin目录下，添加了hadoop.dll和winutils.exe
2. 修改了org\apache\hadoop\io\nativeio\NativeIO.java源码第558行

*由于源码有改动，此包不能用于生产环境，只限于windows环境下的开发测试

1. 安装cygwin

1. 双击cygwinInstall下的setup-x86_64.exe

2. 选择从本地安装

3. 选择安装位置

4. 选择本地安装文件位置

5. 点击All旁边的default，使其变为Install，再点击下一步即可开始安装

2. 安装hadoop

1. 在cygwin的根目录下，建立opt目录，并把安装包拷贝到opt目录下

   cd /; mkdir opt

2. 解压

   cd /opt; tar xzf hadoop-2.6.0-windows.tar.gz

3. 设置环境变量

   设置windows环境变量HADOOP_PREFIX指向hadoop安装目录

   设置windows环境变量HADOOP_HOME指向hadoop安装目录

   设置windows环境变量JAVA_HOME指向java安装目录

   Path环境变量后追加：;%HADOOP_HOME%\bin

4. ~/.bashrc中设置以下环境变量：

   export HADOOP_CLASSPATH=$(cygpath -pw $(hadoop classpath)):$HADOOP_CLASSPATH

5. 使~/.bashrc生效，并验证hadoop是否工作

   source ~/.bashrc

   验证hadoop：

   hadoop version

   若正常显示版本信息则安装成功
   

6. 运行示例代码，验证hadoop是否能够运行mapreduce

   cd /opt/hadoop-2.6.0; mkdir input; cd input; echo "Hello World" > test

   hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar wordcount input output

   若正常执行则显示：
   

   在/opt/hadoop-2.6.0/output下会生成part-r-00000文件，包含以下内容：

   Hello   1
   world   1
   

3. idea开发环境配置

1. 创建一个mapreduce项目

2. 选择项目，按下F12，添加外部依赖

3. 添加HADOOP_HOME下必要的jar包

4. 进入运行配置

5. 配置运行参数

   Working directory设置为hadoop安装目录

   并设置输入参数

6. 调试

   和普通java程序一样打断点进行调试