Spark SQL和DataFrames重要的类有：
- pyspark.sql.SQLContext： DataFrame和SQL方法的主入口
- pyspark.sql.DataFrame： 将分布式数据集分组到指定列名的数据框中
- pyspark.sql.Column ：DataFrame中的列
- pyspark.sql.Row： DataFrame数据的行
- pyspark.sql.HiveContext： 访问Hive数据的主入口
- pyspark.sql.GroupedData： 由DataFrame.groupBy()创建的聚合方法集
- pyspark.sql.DataFrameNaFunctions： 处理丢失数据(空数据)的方法
- pyspark.sql.DataFrameStatFunctions： 统计功能的方法
-pyspark.sql.functions DataFrame：可用的内置函数
- pyspark.sql.types： 可用的数据类型列表
- pyspark.sql.Window： 用于处理窗口函数
6.class pyspark.sql.DataFrameNaFunctions(df):在DataFrame中处理丢失的数据的功能
6.1.drop(how='any',thresh=None,subset=None):返回一个新的DataFrame，省略含有空值的行。DataFrame.dropna()和 DataFrameNaFunctions.drop()是彼此的别名。
1.how:'any'或者'all'.如果为'any', 如果它包含任何空值，则丢掉一行。如果为'all',只有当它的所有值都为空时才丢掉一行。
2.thresh:默认值为None,如果指定为int，删除小于阈值的非空值的行。 这将覆盖how参数。
3.subset:要考虑的列名的可选列表。
>>> l4=[('Alice',10,80),('Bob',5,None),('Tom',None,None),(None,None,None)]
>>> df4 = sqlContext.createDataFrame(l4,['name','age','height'])
>>> df4.na.drop().show()
+-----+---+------+
| name|age|height|
+-----+---+------+
|Alice| 10| 80|
+-----+---+------+
6.2.fill(value,subset=None):DataFrame.fillna()和DataFrameNaFunctions.fill()是彼此的别名。
1.value:整形,长整形,浮点型,字符串,或者字典。用来替换空值的值。如果值是字典,则subset将被忽略，值必须是从列名(字符串)到要替换值的映射。替换值必须是整形,长整形,浮点型或字符串。
2.subset:要替换的列名的可选列表。在subset指定的列，如果不具有匹配的数据类型会被忽略。例如，如果value是一个字符串，并且subset包含一个非字符串列，那么非字符串列将被忽略。
df4.na.fill(50).show()
+-----+---+------+
| name|age|height|
+-----+---+------+
|Alice| 10| 80|
| Bob| 5| 50|
| Tom| 50| 50|
| null| 50| 50|
+-----+---+------+
df4.na.fill({'age': 50, 'name': 'unknown'}).show()
+-------+---+------+
| name|age|height|
+-------+---+------+
| Alice| 10| 80|
| Bob| 5| null|
| Tom| 50| null|
|unknown| 50| null|
+-------+---+------+
6.3.replace(to_replace,value,subset=None):返回用另外一个值替换了一个值的新的DataFrame。DataFrame.replace() 和 DataFrameNaFunctions.replace()是彼此的别名。
1.to_replace:整形,长整形,浮点型,字符串,或者列表。要替换的值。如果值是字典,那么值会被忽略，to_replace必须是一个从列名(字符串)到要替换的值的映射。要替换的值必须是一个整形,长整形,浮点型,或者字符串。
2.value:整形,长整形,浮点型,字符串或者列表。要替换为的值。要替换为的值必须是一个整形,长整形,浮点型,或者字符串。如果值是列表或者元组,值应该和to_replace有相同的长度。
3.subset:要考虑替换的列名的可选列表。在subset指定的列如果没有匹配的数据类型那么将被忽略。例如,如果值是字符串,并且subset参数包含一个非字符串的列,那么非字符串的列被忽略。
>>> l4=[('Alice',10,80),('Bob',5,None),('Tom',None,None),(None,None,None)]
>>> df4 = sqlContext.createDataFrame(l4,['name','age','height'])
>>> df4.na.replace(10, 20).show()
+-----+----+------+
| name| age|height|
+-----+----+------+
|Alice| 20| 80|
| Bob| 5| null|
| Tom|null| null|
| null|null| null|
+-----+----+------+
>>> df4.na.replace(['Alice', 'Bob'], ['A', 'B'], 'name').show()
+----+----+------+
|name| age|height|
+----+----+------+
| A| 10| 80|
| B| 5| null|
| Tom|null| null|
|null|null| null|
+----+----+------+
