HiBench 7.1的编译文末有源码以及编译后的jar

1、编译环境

hadoop 2.7.3

hive 3.1.0

kafka 2.0.0

spark:2.3.2

2、源码获取地址:

https://github.com/Intel-bigdata/HiBench

3、配置maven

maven的conf下settings.xml,镜像地址配置阿里云

4、下载源码包,可以直接下载源码包,然后解压

5、编译全量(也可以分开编译)

cd HiBench-master

mvn clean package

6、编译完成

7、期间遇到的问题

解决办法:修改pom.xml中的对应的下载地址

a、网上给出的解决办法是:将pom.xml的地址修改为https,但是这边因为网络的问题,一直没下载成功

vim hadoopbench/sql/pom.xml 修改该文件中,将http改为https即可

     

https://archive.apache.org 

dist/hive/hive-0.14.0/apache-hive-0.14.0-bin.tar.gz 

   

b、修改pom.xml的地址为本地的地址,然后通过浏览器下载下来,上传到指定的目录(在hadoop的源目录下新建一个目录,用来存放下载好的包,将pom中的地址修改为对应的源的地址)

对于下载不下来的包都可以使用本地源的方式,很快编译成功

本地源的搭建可参考如下链接,主要是本地yum仓库使用:

https://blog.csdn.net/lidachao01/article/details/53469272?locationNum=8&fps=1

8、HiBench 7.1编译好的包获取

链接:https://pan.baidu.com/s/1whw4GvEfNbtsYVnhkG49Ew

提取码:d55o

你可能感兴趣的:(HiBench 7.1的编译文末有源码以及编译后的jar)