pyspark修炼手册（长期帖）
- 2020.03.31
在进行pyspark开发时，需要先安装hadoop、spark的环境，或者只安装spark环境即可。配置集群or单机环境都可以，在配置好环境后，不需要单独启动hadoop/spark，直接运行pyspark程序即可。
一个脚手架
'''
在win环境下，若出现了:
py4j.protocol.Py4JError: org.apache.spark.api.python.PythonUtils.getEncryptionEnabled does not exist in the JVM
则需要用到findspark插件。
'''
import findspark
findspark.init()
from pyspark.sql import SparkSession
# SparkContext是spark功能的入口，SparkContext使用Py4J启动 JVM 并创建 JavaSparkContext
# 当我们运行任何Spark应用程序时，启动一个驱动程序，它具有main函数，并在此处启动SparkContext。然后，驱动程序在工作节点上的执行程序内运行操作。
from pyspark import SparkContext
# 默认情况下，PySpark将SparkContext作为 'sc'提供 ，因此创建新的SparkContext将不起作用
# sc.stop()当在程序中sc被多次创建的时候，程序会报错；可以使用sc.stop()来中断已经创建的sc
sc = SparkContext("xxx","xxx")
spark = SparkSession.builder.master('xxx').appName("xxx").getOrCreate()
class pyspark.SparkContext (
master = None, #它是连接到的集群的URL
appName = None, #您的工作名称
sparkHome = None, #Spark安装目录
pyFiles = None, #要发送到集群并添加到PYTHONPATH的.zip或.py文件
environment = None, #工作节点环境变量
batchSize = 0, #表示为单个Java对象的Python对象的数量。 设置1以禁用批处理，设置0以根据对象大小自动选择批处理大小，或设置为-1以使用无限批处理大小
serializer = PickleSerializer(), #RDD序列化器
conf = None, # L {SparkConf}的一个对象，用于设置所有Spark属性
gateway = None, #使用现有网关和JVM，否则初始化新JVM
jsc = None, #JavaSparkContext实例
# 用于进行性能分析的一类自定义Profiler（默认为pyspark.profiler.BasicProfiler）。在上述参数中，主要使用 master 和 appname
profiler_cls = <class 'pyspark.profiler.BasicProfiler'>
)
参考：
- http://codingdict.com/article/8882
在Spark2之后，DataFrame和DataSet进行了API融合，SparkContext也就融合进SparkSession中。因此在2.0版本之后，SparkSession就成为了Spark程序的主入口。
关于SparkSession的使用可以参考以下博客：
- https://blog.csdn.net/cjhnbls/article/details/79254188
- https://www.cnblogs.com/piperck/p/10446720.html