hadoop开发环境搭建

hadoop开发环境搭建：

hadoop网站：

http://hadoop.apache.org/

http://wiki.apache.org/hadoop/

参考这篇文章编译：http://wiki.apache.org/hadoop/HowToContribute

开发环境：ubuntu

需要安装:maven，ant，subversion和jdk。

maven需要3.0以上版本，网站上http://maven.apache.org/现在是3.0.3，下载压缩包解压缩，设置到PATH路径中。

ant安装：sudo apt-get install ant

subversion: sudo apt-get install subversion

源代码获取：

svn checkout http://svn.apache.org/repos/asf/hadoop/common/trunk/ hadoop-trunk

ProtocolBuffers安装：

由于Hadoop 0.23+以上的版本需要ProtocolBuffers，需要从源码安装：http://code.google.com/p/protobuf/

安装完成后运行

$ protoc

Missing input file.

说明成功。

环境变量设置：

$ vim .bashrc

问进末尾添加：

export JAVA_HOME=/home/root/devel/jdk1.6.0_24

export M2_HOME=/home/root/devel/maven/apache-maven-3.0.3

export PATH=/home/root/devel/maven/apache-maven-3.0.3/bin:$JAVA_HOME/bin:$PATH

保存完成后，在命令行输入

$ source .bashrc

使修改生效。

测试mvn --version, java -version命令查看环境变量是否成功。

编译，测试源代码：

经过上面的步骤，命令行的环境就准备好了。

在hadoop源码根目录中执行：mvn compile就可以开始编译源码，如果编译成功就可以使用eclipse等

IDE进行代码修改，开发了。

eclipse的安装：

下载3.6版本，3.7也可以。

http://www.eclipse.org/downloads/packages/eclipse-ide-java-ee-developers/heliossr2

安装http://subclipse.tigris.org/update_1.6.x插件和

http://download.eclipse.org/technology/m2e/releases/1.0插件

两个插件都装好后就可以用maven工程导入hadoop源代码了。

打包命令：mvn install -Pdist -Dtar -DskipTests=true

生成：hadoop-dist/target/hadoop-0.24.0-SNAPSHOT.tar.gz