Spark-DataFrame
Spark早期的API中（即RDD），由于Java JVM和Py4J之间的通信，每当使用RDD执行PySpark程序时，潜在地需要巨大的开销来执行作业。
DataFrame和Catalyst优化器（以及Tungsten项目）的意义是在和非优化的RDD查询比较时增加PySpark查询的性能。
使用DataFrame，过去不仅有明显的Python性能改进，现在还有Python、Scale、SQL和R之间的性能校验。
通过RDD转换创建DataFrame
首先创建我们的jsonRDD:
jsonRDD = sc.textFile(r'C:\Users\Guitar\Desktop\json.txt',2)json.txt文件中我们按行存放了一些格式化的json字符串：
{"title": "第1章 黄山真君和九洲一号群","link": "http://m.baidu.com/tc?appui=alaxs&gid=3965456126&tn=utouch&page=ct&url=http%3A%2F%2Fwww.uukanshu.com%2Fb%2F33933%2F55150.html#2","totalpage": 0,"partsize": 0,"order": 0,"currency": 0,"unreadble": false,"isVip": false}
{"title": "第2章 且待本尊算上一卦","link": "http://m.baidu.com/tc?appui=alaxs&gid=3965456126&tn=utouch&page=ct&url=http%3A%2F%2Fwww.92txt.net%2Fbook%2F25%2F25882%2F10074048.html#2","totalpage": 0,"partsize": 0,"order": 0,"currency": 0,"unreadble": false,"isVip": false}
{"title": "第3章 一张丹方","link": "http://m.baidu.com/tc?appui=alaxs&gid=3965456126&tn=utouch&page=ct&url=http%3A%2F%2Fwww.92txt.net%2Fbook%2F25%2F25882%2F10074053.html#2","totalpage": 0,"partsize": 0,"order": 0,"currency": 0,"unreadble": false,"isVip": false}
...创建 DataFrame
现在，我们已经创建了RDD，利用SparkSession的read.json方法，RDD将会被转换成一个DataFrame，以下是创建DataFrame的代码：
xs_chapter = spark.read.json(jsonRDD)创建一个临时表
利用DataFrame的.createOrReplaceTempView方法创建一个临时视图表:
xs_chapter.createOrReplaceTempView("xs_chapter")- 创建临时表是一次DataFrame转换，我们可以通过临时表用SQL查询DataFrame中的数据。
简单的DataFrame查询
show()
运行.show方法默认显示前10行，当然也可以传入参数n来控制显示的行数。
+--------+-----+--------------------+-----+--------+--------------+---------+---------+
|currency|isVip| link|order|partsize| title|totalpage|unreadble|
+--------+-----+--------------------+-----+--------+--------------+---------+---------+
| 0|false|http://m.baidu.co...| 0| 0|第1章 黄山真君和九洲一号群| 0| false|
| 0|false|http://m.baidu.co...| 0| 0| 第2章 且待本尊算上一卦| 0| false|
| 0|false|http://m.baidu.co...| 0| 0| 第3章 一张丹方| 0| false|
| 0|false|http://m.baidu.co...| 0| 0| 第4章 h市三品后天雷劫| 0| false|
| 0|false|http://m.baidu.co...| 0| 0| 第5章 要相信科学!| 0| false|
| 0|false|http://m.baidu.co...| 0| 0| 第6章 铜卦仙师| 0| false|
| 0|false|http://m.baidu.co...| 0| 0| 第7章 被群灭的不良们| 0| false|
| 0|false|http://m.baidu.co...| 0| 0| 第8章 羽柔子和罗信街区| 0| false|
| 0|false|http://m.baidu.co...| 0| 0| 第9章 另一个罗信街区| 0| false|
+--------+-----+--------------------+-----+--------+--------------+---------+---------+SQL查询
spark.sql("select isVip,partsize,title from xs_chapter").take(3)
# Out:
[Row(isVip=False, partsize=0, title='第1章 黄山真君和九洲一号群'),
Row(isVip=False, partsize=0, title='第2章 且待本尊算上一卦'),
Row(isVip=False, partsize=0, title='第3章 一张丹方')]RDD的交互操作
事实上有两种从RDD变换到DataFrame（或者Dataset[T]）的不同方法：使用反射推断模式或以编程方式指定模式。
- 模式可以理解为DataFrame字段的数据类型
使用反射来推断模式
在建立DataFrame和运行查询的过程中，DataFrame的模式是自动定义的。
最初，行对象通过传递一列键/值对作为行类的**kwargs来构造。然后，SparkSQL将行对象的RDD转变为一个DataFrame，在DataFrame中键就是列，数据类型通过采样数据来推断。
利用DataFrame的printSchema方法查看模式的定义：
xs_chapter.printSchema()
root
|-- currency: long (nullable = true)
|-- isVip: boolean (nullable = true)
|-- link: string (nullable = true)
|-- order: long (nullable = true)
|-- partsize: long (nullable = true)
|-- title: string (nullable = true)
|-- totalpage: long (nullable = true)
|-- unreadble: boolean (nullable = true)假设某个字段的类型不是我们预期的，该如何调整？
编程指定模式
我们通过在SparkSQL中引入数据类型（pyspark.sql.types），以编程方式来指定模式，并生成一些.csv数据，如下例所示:
# 导入数据类型
from pyspark.sql.types import *
# 生成逗号分隔的数据
csvRDD = sc.parallelize([(123,'张三',18,'游泳'),(456,'李四',19,'游泳'),(789,'小王',23,'游泳')])
csvRDD.take(3)
Out[33]: [(123, '张三', 18, '游泳'), (456, '李四', 19, '游泳'), (789, '小王', 23, '游泳')]
# 指定对应字段的模式（数据类型）
schema = StructType([StructField('id',LongType(),True),StructField('name',StringType(),True),StructField('age',LongType(),True),StructField('hobby',StringType(),True)])
# 创建DataFrame
swimmers = spark.createDataFrame(csvRDD,schema)
# 创建临时表
swimmers.createOrReplaceTempView('swimmers')
swimmers.printSchema()
root
|-- id: long (nullable = true)
|-- name: string (nullable = true)
|-- age: long (nullable = true)
|-- hobby: string (nullable = true)
swimmers.show()
+---+----+---+-----+
| id|name|age|hobby|
+---+----+---+-----+
|123| 张三| 18| 游泳|
|456| 李四| 19| 游泳|
|789| 小王| 23| 游泳|
+---+----+---+-----+
使用DataFrame API查询
行数
swimmers.count()
# Out: 3筛选
swimmers.select('id','name','age').filter('age=18').show()
+---+----+---+
| id|name|age|
+---+----+---+
|123| 张三| 18|
+---+----+---+
swimmers.select(swimmers.id,swimmers.name,swimmers.age).filter(swimmers.age==18).show()
+---+----+---+
| id|name|age|
+---+----+---+
|123| 张三| 18|
+---+----+---+
swimmers.select('id','name','age').filter('age like "1%"').show()
+---+----+---+
| id|name|age|
+---+----+---+
|123| 张三| 18|
|456| 李四| 19|
+---+----+---+使用SQL查询
如上文，我们可以使用SparkSession的sql方法查询swimmers，前提是针对swimmers建立了临时视图表
行数
spark.sql('select count(*) from swimmers').show()
+--------+
|count(1)|
+--------+
| 3|
+--------+
筛选
spark.sql('select * from swimmers where age>18').show()
+---+----+---+-----+
| id|name|age|hobby|
+---+----+---+-----+
|456| 李四| 19| 游泳|
|789| 小王| 23| 游泳|
+---+----+---+-----+
spark.sql('select * from swimmers where age like "1%"').show()
+---+----+---+-----+
| id|name|age|hobby|
+---+----+---+-----+
|123| 张三| 18| 游泳|
|456| 李四| 19| 游泳|
+---+----+---+-----+结语
使用Spark DataFrame，Python开发人员可以利用一个简单的并且潜在地加快速度的抽象层。最初Spark中的Python速度较慢的一个主要原因源自于Python子进程和JVM之间的通信层。对于Python DataFrame的用户，我们有一个在Scala DataFrame周围的Python包装器，Scala DataFrame避免了Python子进程/JVM的通信开销。