org.apache.spark.SparkException: A master URL must be set in your configuration

spark maven项目本地测试报错:

org.apache.spark.SparkException: A master URL must be set in your configuration

原因是没有指定master,spark不知道运行在什么上面,可以指定的有:
local 本地单线程
local[K] 本地多线程(指定K个内核)
local[*] 本地多线程(指定所有可用内核)
spark://HOST:PORT 连接到指定的 Spark standalone cluster master,需要指定端口。
mesos://HOST:PORT 连接到指定的 Mesos 集群,需要指定端口。
yarn-client客户端模式 连接到 YARN 集群。需要配置 HADOOP_CONF_DIR。
yarn-cluster集群模式 连接到 YARN 集群。需要配置 HADOOP_CONF_DIR。

解决方式:

在代码中指定,比如:

val spark = SparkSession
  .builder()
  .appName("Spark SQL basic example")
  .config("spark.some.config.option", "some-value")
  .master("local")
  .getOrCreate()

你可能感兴趣的:(Spark,一些错误,spark)