hadoop安装和编译

1.hadoop安装

参考了https://www.jianshu.com/p/9c8a0f7b98cf

2.hadoop编译

1.预先下载libtool,autoconf,protobuf(v2.5.0),hadoop源码(可以从官网上下载，GitHub 一直失败，我这里下载的是3.1.2版本).

2.在maven配置文件中增加国内的源仓库,否则会出现部分插件无法下载，我这里是阿里云的。

    alimaven
    central
    aliyun maven
    http://maven.aliyun.com/nexus/content/repositories/central/

3.执行package -Pdist,native -DskipTests -Dtar

报错:

${env.JAVA_HOME}/bin/javah: bad substitution 

将 ${env.JAVA_HOME}直接换成具体路径，或者将JAVA_HOME写出到.bash_profile并导出

• yarn的项目也报了一个错，摸索了一下，解决不了。不解决，退而求其次，不编译native了。直接 package -DskipTests -Dtar

• 找一个项目debug，我这里用的是hdfs

• 一堆测试代码的报错，粗暴解决，直接删掉测试代码

• 报找不到主类，原因是依赖的文件问题，修改pom.xml，将hadoop的基础依赖都加上version。

可以运行example来查看效果

hadoop jar ../3.1.1/libexec/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.1.jar wordcount hdfs://localhost:9000/words hdfs://localhost:9000/out13

结果在8088端口集群管理页面可以看到。