spark学习-SparkSQL--07-SparkContext类和SparkConf类

任何Spark程序都是SparkContext开始的,SparkContext的初始化需要一个SparkConf对象,SparkConf包含了Spark集群配置的各种参数。

初始化后,就可以使用SparkContext对象所包含的各种方法来创建和操作RDD和共享变量。Spark shell会自动初始化一个SparkContext,在编程中的具体实现为:

val conf = new SparkConf().setAppName("AppName").setMaster("local[3] or masterIP:PORT")
val sc = new SparkContext(conf)

SparkContext的简单构造函数为:

val sc = new SparkContext("local[3] or masterIP:PORT","AppName"

你可能感兴趣的:(大数据-spark)