IDEA开发Spark提示failed to locate the winutils binary in the hadoop binary

今天整理电脑删了一些没用的东西,回过头开发spark的时候发现spark提示错误:

16/09/06 17:20:43 ERROR Shell: Failed to locate the winutils binary in the hadoop binary path
java.io.IOException: Could not locate executable D:\hadoop-2.6.4\bin\winutils.exe in the Hadoop binaries.
    at org.apache.hadoop.util.Shell.getQualifiedBinPath(Shell.java:355)
    at org.apache.hadoop.util.Shell.getWinUtilsPath(Shell.java:370)
    at org.apache.hadoop.util.Shell.(Shell.java:363)
    at org.apache.hadoop.util.StringUtils.(StringUtils.java:79)
    at org.apache.hadoop.security.Groups.parseStaticMapping(Groups.java:104)
    at org.apache.hadoop.security.Groups.(Groups.java:86)
    at org.apache.hadoop.security.Groups.(Groups.java:66)
    at org.apache.hadoop.security.Groups.getUserToGroupsMappingService(Groups.java:280)
    at org.apache.hadoop.security.UserGroupInformation.initialize(UserGroupInformation.java:271)
    at org.apache.hadoop.security.UserGroupInformation.ensureInitialized(UserGroupInformation.java:248)
    at org.apache.hadoop.security.UserGroupInformation.loginUserFromSubject(UserGroupInformation.java:763)
    at org.apache.hadoop.security.UserGroupInformation.getLoginUser(UserGroupInformation.java:748)
    at org.apache.hadoop.security.UserGroupInformation.getCurrentUser(UserGroupInformation.java:621)
    at org.apache.spark.util.Utils$$anonfun$getCurrentUserName$1.apply(Utils.scala:2160)
	at org.apache.spark.util.Utils$$anonfun$getCurrentUserName$1.apply(Utils.scala:2160)
    at scala.Option.getOrElse(Option.scala:120)
    at org.apache.spark.util.Utils$.getCurrentUserName(Utils.scala:2160)
    at org.apache.spark.SparkContext.(SparkContext.scala:322)
    at lalalallaal$.main(lalalallaal.scala:9)
    at lalalallaal.main(lalalallaal.scala)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:497)
    at com.intellij.rt.execution.application.AppMain.main(AppMain.java:147)
16/09/06 17:20:44 INFO SecurityManager: Changing view acls to: Utopia
16/09/06 17:20:44 INFO SecurityManager: Changing modify acls to: Utopia

解决后写一篇经验文章。

首先我们需要明白,hadoop只能运行在linux环境下,如果我们在windows下用idea开发spark的时候底层比方说文件系统这些方面调用hadoop的时候是没法调用的,这也就是为什么会提示这样的错误。
当我们有这样的错误的时候,其实还是可以使用spark计算框架的,不过当我们使用saveAsTextFile的时候会提示错误,这是因为spark使用了hadoop上hdfs那一段的程序,而我们windows环境下没有hadoop,怎么办?

解决方法:
第一步: 官网下载相应版本的hadoop。
第二步:解压到你想要安装的任何路径,解压过程会提示出现错误,不去管他,这是因为linux文件不支持windows。
第三步:设置环境变量,在系统变量中添加HADOOP_HOME,指向你解压的文件路径。然后再path中添加%HADOOP_HOME%bin和%HADOOP_HOME%sbin
第四步:找一找可以使用的重新编译的winutils兼容工具插件包,这个可以在这里下载:
http://download.csdn.net/detail/utopia_1919/9623357
第五步:下载完以后在我们hadoop文件夹中替换下载包中的两个目录。

回到idea会发现bug完美解决。

你可能感兴趣的:(spark)