ubuntu下安装配置hadoop2.9

1、确保系统中安装配置好jdk，配置了JAVA_HOME

2、去镜像网站下载hadoop稳定版

http://mirror.bit.edu.cn/apache/hadoop/common/

或https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common

下载名称为hadoop-2.9.0-src.tar.gz和hadoop-2.9.0.tar.gz两个文件，前面一个是源码文件，后面是安装包

3、解压到/opt/hadoop目录下

tar -zxvf hadoop-2.9.0.tar.gz

去/opt/hadoop/hadoop-2.9.0/etc/hadoop目录下修改hadoop-env.sh文件

在export JAVA_HOME=${JAVA_HOME}下面添加

export PATH=$PATH:/opt/hadoop/hadoop-2.9.0/bin

保存之后在命令行中使用source ./hadoop-env.sh

4、运行hadoop自带的wordcount例子

在hadoop-2.9.0目录下新建文件夹input，在input下新建text.txt文件，里面随意写入一些单词，空格间隔。

在hadoop-2.9.0目录下执行如下命令：

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.9.0.jar wordcount input output

最后可以在output文件夹中看到统计单词个数的结果

5、自己运行打包wordcount代码

在/opt/hadoop/hadoop-2.9.0/etc/hadoop/hadoop-env.sh中添加如下配置：

export CLASSPATH="/opt/hadoop/hadoop-2.9.0/share/hadoop/common/hadoop-common-2.9.0.jar:/opt/hadoop/hadoop-2.9.0/share/hadoop/mapreduce/hadoop-mapreduce-client-core-2.9.0.jar:/opt/hadoop/hadoop-2.9.0/share/hadoop/common/lib/commons-cli-1.2.jar:$CLASSPATH"

新建文件夹playground，在playground目录下新建文件夹src和class

解压src源码，WordCount.java在目录/opt/hadoop/src/hadoop-src-2.9.0/hadoop-mapreduce-project/hadoop-mapreduce-examples/src/main/java/org/apache/hadoop/examples目录下，将WordCount.java拷贝到playground的src目录下。

在playground目录下执行下面命令：

javac -d class/ src/WordCount.java

生成class文件

6、将生成的class文件打包成jar包

jar -cvf WordCount.jar ./WordCount*.class

7、运行生成的jar包

hadoop jar WordCount.jar org.apache.hadoop.examples.WordCount /opt/hadoop/hadoop-2.9.0/input /opt/hadoop/hadoop-2.9.0/output

运行上述命令即可运行wordcount程序，以后我们就可以修改wordcount.java的代码，然后运行测试了。