SparkSession使用

介绍：SparkSession 是 Spark SQL 的入口。使用 Dataset 或者 Datafram 编写 Spark SQL 应用的时候，第一个要创建的对象就是 SparkSession。你可以通过 SparkSession.builder 来创建一个 SparkSession 的实例,并通过 stop 函数来停止 SparkSession。
例子：
import org.apache.spark.sql.SparkSession
val spark: SparkSession = SparkSession.builder
.appName(“My Spark Application”) // optional and will be autogenerated if not specified
.master(“local[*]”) // avoid hardcoding the deployment environment
.enableHiveSupport() // self-explanatory, isn’t it?
.config(“spark.sql.warehouse.dir”, “target/spark-warehouse”)
.getOrCreate

对象：： 在 SparkSession 的内部， 包含了SparkContext， SharedState，SessionState 几个对象。下表中介绍了每个对象的大体功能：
方法与类： 这些方法包含了创建 DataSet, DataFrame, Streaming等。

Builder：Builder 是 SparkSession 的构造器。 通过 Builder, 可以添加各种配置。Builder 的方法如下：

例子如下：
import org.apache.spark.sql.SparkSession
val spark: SparkSession = SparkSession.builder
.appName(“My Spark Application”) // optional and will be autogenerated if not specified
.master(“local[*]”) // avoid hardcoding the deployment environment
.enableHiveSupport() // self-explanatory, isn’t it?
.getOrCreate

ShareState:通过设置 log4j.logger.org.apache.spark.sql.internal.SharedState=INFO 可以看到相应的日志。