启动spark-shell遇到的问题

 

系统：Windows10

Spark 2.1.1+Hadoop 2.8.3+Scala 2.11.8+jdk1.8.0_171

最近在学习spark的东西，本来想按照官方文档学的，但是第一个例子就报错。

找了一下是启动spark-shell的时候就报错了已经

报错信息如下：

:14: error: not found: valuespark

      import spark.implicits._

              ^

:14: error: not found: valuespark

      import spark.sql

              ^

以下方法，亲测有效：

详情参照网址：https://stackoverflow.com/questions/44386153/why-does-spark-shell-fail-with-error-not-found-value-spark

首先要确定你的hadoop有winutils.exe这个文件，没有的话CSDN或者GitHub上面应该有的下载，下载好放到%HADOOP_HOME%\bin 文件夹下面

然后创建文件夹 C:\tmp\hive（我的好像一开始就有）

在CMD使用以下命令更改权限：

C:\Users\>winutils.exe chmod -R 777 C:\tmp\hive

再删除C:\Users\\metastore_db 这个文件夹

之后再启动spark-shell就不会报错了。

截图如下：