spark 运行原理

sparkcontext ：一个线程只有一个

spark的job都是jvm的进程
在spark 2.0之前，SparkContext是所有spark任务的入口，无论spark集群有多少个节点做并行处理，每个程序只可以有唯一的sparkContext，它可以被sparkconf对象初始化

spark 2.0之后，spark引入了薪的sparkSession作为所有spark任务的入口，sparkSession不仅有sparkContext的所有功能，还集成了所有spark提供的api，无需为不同功能定义context

spark = SparkSession
       .builder
       .appName(appName)
       .getOrCreate()
text_file = spark.read.text("file://….").rdd.map(lambda r: r[0])

Spark 消息队列机制源码学习
http://blog.csdn.net/sivolin/article/details/47316099

Apache Spark 内存管理详解
https://www.ibm.com/developerworks/cn/analytics/library/ba-cn-apache-spark-memory-management/index.html