Spark开发错误锦集（持续更新）

错误一 Failed to locate the winutils binary in the hadoop binary path

1. 下载

hadoop-common-2.7.1-bin
https://download.csdn.net/download/groovier/9591226?utm_medium=distribute.pc_relevant_download.none-task-download-searchfrombaidu-1.nonecase&depth_1-utm_source=distribute.pc_relevant_download.none-task-download-searchfrombaidu-1.nonecase

2. 下载（可选）

http://archive.apache.org/dist/hadoop/core/hadoop-2.7.1/

3. 解压

tar解压报错没关系
我注释了 hadoop-config.cmd（可选）
@rem if not exist %JAVA_HOME%\bin\java.exe (
@rem echo Error: JAVA_HOME is incorrectly set.
@rem echo Please update %HADOOP_HOME%\conf\hadoop-env.cmd
@rem goto :eof
@rem )

hadoop-common-2.7.1-bin更新到bin目录 （外面也放了 一直找不到）

4. 配置环境变量

HADOOP_HOME
PATH

5. cmd 输hadoop成功

6. 重启IDEA再试

7. 不行 重启电脑再试

---

错误二 A master URL must be set in your configuration

方案一

点击edit configuration，在左侧点击该项目。在右侧VM options中输入“-Dspark.master=local”，指示本程序本地单线程运行，再次运行即可。
配置如图：

方案二

在代码中 加入 .master(“local”)

---

错误三 IDEA SCALA插件安装 版本错误

在商店刷半天出不来，直接去网上下，选的高版本，进去后特别容易卡死 各种诡异问题
https://plugins.jetbrains.com/plugin/1347-scala/versions
我的IDEA2020.1 那么版本 一定要选2020.1.x

---

错误四 Unable to find encoder for type stored in a Dataset.

前面加入 import spark.implicits._
val dataSet = spark.read.textFile(filePath).flatMap(x => x.split(" ")).show()

---

错误五 import spark.implicits._ spark红色出不来

需在前面 接收

val spark = SparkSession.builder().master("local").appName("HdfsTest").getOrCreate();

主要 val 不是 var 初学者，为啥var不提示 呜呜呜

---

错误六 Error: Cannot load main class from JAR file:/opt/jars/TestSpark.jar

idea 打jar包没有META-INF 或选择了Java的目录

---

错误七 spark java.net.ConnectException: Connection refused

原来写的 网上查了都写 9000
bigdata-pro03.kfk.com/192.168.0.153 to bigdata-pro02.kfk.com:9000
后面看了下 改集群模式 把端口没了 因此 改不要端口执行

bin/spark-submit --master local[2] /opt/jars/TestSpark.jar hdfs://bigdata-pro02.kfk.com/user/datas/stu.txt

   <!-- <property>
        <name>fs.defaultFS</name>
        <value>hdfs://bigdata-pro01.kfk.com:9000</value>
    </property>-->
	<!--HA -->
	<property>
        <name>fs.defaultFS</name>
        <value>hdfs://ns</value>
    </property>

问题八 杀不掉SparkSubmit

[kfk@bigdata-pro03 spark-2.2.0-bin]$ jps
26016 SparkSubmit
26241 SparkSubmit
24897 JournalNode

换下面这个杀

[kfk@bigdata-pro03 spark-2.2.0-bin]$ ps -ef | grep spark
kfk 26005 23002 0 11:48 pts/3 00:00:00 bash bin/spark-shell
kfk 26230 23002 0 11:50 pts/3 00:00:00 bash bin/spark-shell
kfk 26688 23002 0 12:13 pts/3 00:00:00 grep spark