spark加载hadoop本地库的时候出现不能加载的情况要怎么解决呢？

hadoop shell运行的时候不会报这个错误，因为我已经重新在64位机上编译了源文件，并把so文件复制到hadoop的native目录下，而且环境变量也设置正确了，所以hadoop本身没有问题。

但在启动spark相关的shell时就会报这个问题。

经过查找，发现知乎上有人问了这个问题，我尝试照回答操作了，问题解决。

主要是jre目录下缺少了libhadoop.so和libsnappy.so两个文件。具体是，spark-shell依赖的是scala，scala 依赖的是JAVA_HOME下的jdk，libhadoop.so和libsnappy.so两个文件应该放到$JAVA_HOME/jre/lib /amd64下面。
这两个so：libhadoop.so和libsnappy.so。前一个so可以在HADOOP_HOME下找到，如 hadoop\lib\native。第二个libsnappy.so需要下载一个snappy-1.1.0.tar.gz，然后./configure，make编译出来，编译成功之后在.libs文件夹下。
当这两个文件准备好后再次启动spark shell不会出现这个问题。

还找到另外一个解决方案是：

ld_library_path spark 设置这个环境变量，应该可以起到同样的效果。我暂时没有尝试。

我暂时只把libhadoop.so复制过去了，没有弄libsnappy.so可能是没有用到的缘故，也没有再报错。

转载于:https://www.cnblogs.com/huaxiaoyao/p/4726062.html