PySpark 学习笔记一

为了更好地进行大数据分析与处理，最近在学习PySpark，整理了一下笔记 ，加深印象。

1 Resilient Distributed Datasets（RDD）

弹性分布式数据集（RDD）是一个不可变的JVM对象的分布式集合，是Spark的基本抽象。

1.1 创建RDD
准备工作：

>>> import pyspark
>>> from pyspark import SparkContext
>>> from pyspark import SparkConf
>>> conf = SparkConf().setAppName('project1').setMaster('local')
>>> sc = SparkContext.getOrCreate(conf)

在PySpark里有两种方法创建RDD:
一是，.parallelize(…) 个collection集合 ( list or an array of some elements)。

>>> data = sc.parallelize([('amber',22),('alfred',23),('skye',4),('albert',12),('amber',9)])

二是，引用位于本地或HDFS上的某个文件（或多个文件）。

>>> data_from_file = sc.textFile('/home/qml/pyspark-ex/VS14MORT.txt.gz',4)
# sc.textFile（...，n）中的最后一个参数指定数据集被分区的数量，经验是分成两个四分区

Spark 支持多种数据格式：可以使用JDBC驱动程序读取文本，Parquet，JSON，Hive表和来自关系数据库的数据。请注意，Spark可以自动处理压缩的数据集（如Gzip压缩数据集）。
从文件读取的数据表示为MapPartitionsRDD，而不是像当我们.paralellize（…）一个集合的数据一样表示为ParallelCollectionRDD。

1.2 Schema

RDD是无模式的数据结构（不像DataFrames）。因此，在使用RDD时，并行化数据集对于Spark来说是完美的。

>>> data_heterogenous = sc.parallelize([('Ferrari','fast'),{
  'Porsche':100000},['Spain','visited',4504]]).collect()

所以，我们可以混合几乎任何东西：一个元组，一个字典，或一个列表。
一旦你.collect（）数据集（即，运行一个动作将其返回给驱动程序），你可以像在Python中通常那样访问对象中的数据：

>>> data_heterogenous[1]['Porsche']
100000

.collect（）方法将RDD的所有元素返回到驱动程序，并将其作为列表序列化。

1.3 读取文件

从文本文件读取时，文件中的每一行形成RDD的一个元素。 可以创建一个元素列表，每行代表一个值列表。

>>> data_from_file.take(1)

[u'                   1                                          2101  M1087 432311  4M4                2014U7CN                                    I64 238 070   24 0111I64                                                                                                                                                                           01 I64                                                                                                  01  11                                 100 601']

1.4 Lambda表达式
1.4.1 Transformations

• .map(…)

该方法应用于RDD的每个元素。