Hadoop,Spark错误:Could not locate executable null\bin\winutils.exe in the Hadoop binaries.

今天我用Spark进行RDD操作,遇到很多坑,都是之前犯过的错误,总是忘记,这里总结下。

错误日志如下:

Hadoop,Spark错误:Could not locate executable null\bin\winutils.exe in the Hadoop binaries._第1张图片 

我在windows中配置了hadoop,然后还需要一些工具hadoop.dll和winutils.exe文件,这里工具可以进行下载,相关的详细说明,我也写在其中。

链接:https://pan.baidu.com/s/1ggCnoOLtLKWZFAcQop10PA 
提取码:udw9 

然后配置一下hadoop/etc/hadoop/hadoop-env.cmd文件,如下图:

Hadoop,Spark错误:Could not locate executable null\bin\winutils.exe in the Hadoop binaries._第2张图片

这里为什么配置可以参考下我之前写过一篇的文章:https://blog.csdn.net/qq_38364053/article/details/86017854。

最后还需要几步可以彻底解决:以做过的wordcount为例子,需要添加一行代码System.setProperty("hadoop.home.dir","你的hadoop根目录")

Hadoop,Spark错误:Could not locate executable null\bin\winutils.exe in the Hadoop binaries._第3张图片

以上配置过后,我能正确运行。记录一次,日后再次遇到方便查阅。以上希望对大家有帮助。 

 

你可能感兴趣的:(Spark)