sublime+virtualenv+pyspark执行的时候报Unable to load native-hadoop library for your platform

Unable to load native-hadoop library for your platform这个报错在网上有一大堆解决方案,我们会发现,完全无效。

为什么呢?

因为此时,sublime里面的虚拟环境python2.7使用的是virtualenv的site-packages下面的pyspark,不再是我们下载的那个pyspark源码包了。

所以解决方案只有一个,

/home/appleyuchi/.virtualenvs/python2.7/lib/python2.7/site-packages/pyspark/conf/spark-env.sh

里面加入:

export HADOOP_HOME=/home/appleyuchi/Hadoop_source/hadoop-2.7.3-src

export LD_LIBRARY_PATH=$HADOOP_HOME/lib
export SPARK_LOCAL_IP=127.0.0.1


你可能感兴趣的:(PySpark)