解决 Unable to load native-hadoop library for your platform

安装hadoop启动之后或者在启动spark-shell的时候总有警告:

Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

遇到这种情况,原因一般是

Apache提供的hadoop本地库是32位的,而在64位的服务器上就会有问题,因此需要自己编译64位的版本。

1、首先找到对应自己hadoop版本的64位的lib包,可以自己手动去编译,但比较麻烦,也可以去网上找,好多都有已经编译好了的。

2、可以去网站:http://dl.bintray.com/sequenceiq/sequenceiq-bin/  下载对应的编译版本

3、将准备好的64位的lib包解压到已经安装好的hadoop安装目录的lib/native 和 lib目录下:

  1. [hadoop@hadoopTest ~]$ tar -xvf hadoop-native-64-2.7.0.tar -C hadoop-2.7

你可能感兴趣的:(spark,hadoop,Unable,to,load,native-hadoop,l,spark-shell,warning)