Spark SQL和DataFrames重要的类有：
- pyspark.sql.SQLContext： DataFrame和SQL方法的主入口
- pyspark.sql.DataFrame： 将分布式数据集分组到指定列名的数据框中
- pyspark.sql.Column ：DataFrame中的列
- pyspark.sql.Row： DataFrame数据的行
- pyspark.sql.HiveContext： 访问Hive数据的主入口
- pyspark.sql.GroupedData： 由DataFrame.groupBy()创建的聚合方法集
- pyspark.sql.DataFrameNaFunctions： 处理丢失数据(空数据)的方法
- pyspark.sql.DataFrameStatFunctions： 统计功能的方法
-pyspark.sql.functions DataFrame：可用的内置函数 - pyspark.sql.types： 可用的数据类型列表
- pyspark.sql.Window： 用于处理窗口函数
4.pyspark.sql.Column(jc):DataFrame的一列
# 1. Select a column out of a DataFrame
df.colName
df["colName"]
# 2. Create from an expression
df.colName + 1
1 / df.colName
4.1.alias(*alias):使用新名称返回此列的别名
>>> df.select(df.age.alias("age2")).collect()
[Row(age2=2), Row(age2=5)]
4.2.asc():基于给定名称的升序返回一个排序表达式
4.3.astype():将列转换为dataType类型
df.select(df.age.astype('string').alias('age')).collect()
[Row(ages=u'2'), Row(ages=u'5')]
from pyspark.sql.types import StringType
df.select(df.age.astype(StringType()).alias('age').collect()
[Row(ages=u'2'), Row(ages=u'5')]
4.4.between(lowerBound,upperBound):一个布尔表达式，如果此表达式的值位于给定列之间，则该表达式的值为TRUE
df.select(df.name,df.age.between(2,4)).show()
+-----+--------------------------+
| name|((age >= 2) && (age <= 4))|
+-----+--------------------------+
|Alice| true|
| Bob| false|
+-----+--------------------------+
4.5.bitwiseAND(other):二元运算符
4.6.bitwiseOR(other):二元运算符
4.7.bitwiseXOR(other):二元运算符
4.8.cast(dataType):将列表转换为dataType类型
df.select(df.age.cast('string').alias('ages')).collect()
4.9.desc():基于给定列名称的降序返回一个排序表达式
4.10.getField(name):在tructField中通过名称获取字段的表达式
from pyspark.sql import Row
df = sc.parallelize([Row(r=Row(a=1,b='b))]).toDF()
df.select(df.r.getField('b')).show()
+----+
|r[b]|
+----+
| b|
+----+
>>> df.select(df.r.a).show()
+----+
|r[a]|
+----+
| 1|
+----+
4.11.getItem(key):从列表中获取位置序号项，或者通过字段的key获取项的表达式
df = sc.parallelize([([1, 2], {"key": "value"})]).toDF(["l", "d"])
df.show()
+------+--------------+
| l| d|
+------+--------------+
|[1, 2]|[key -> value]|
+------+--------------+
df.select(df.l.getItem(0), df.d.getItem("key")).show()
+----+------+
|l[0]|d[key]|
+----+------+
| 1| value|
+----+------+
df.select(df.l[0], df.d["key"]).show()
+----+------+
|l[0]|d[key]|
+----+------+
| 1| value|
+----+------+
4.12.inSet(*cols):一个布尔表达式，如果此表达式的值由参数的评估值包含，则该值被评估为TRUE.注：在1.5中已过时,用Column.isin()代替。
>>> l=[('Alice',2),('Bob',5)]
>>> df = sqlContext.createDataFrame(l,['name','age'])
>>> df[df.name.inSet("Bob", "Mike")].collect()
[Row(name=u'Bob', age=5)]
>>> df[df.age.inSet([1, 2, 3])].collect()
[Row(name=u'Alice', age=2)]
4.13.isNotNull():如果当前表达式不为null，则为真。
4.14.isNull():如果当前表达式为null，则为真。
4.15.isin(*cols):个布尔表达式，如果此表达式的值由参数的评估值包含，则该值被评估为true。
>>> df[df.name.isin("Bob", "Mike")].collect()
[Row(name=u'Bob', age=5)]
>>> df[df.age.isin([1, 2, 3])].collect()
[Row(name=u'Alice', age=2)]
4.16.like(other):二元运算符
4.17.otherwise(value):评估条件列表并返回多个可能得结果表示之一。如果不调用Column.otherwise(),则不匹配条件返回None。例如，请参阅pyspark.sql.functions.when()
1.value：一个文字值或一个Column表达式
from pyspark.sql import functions as F
df.select(df.name,F.when(df.age>3,1).otherwise(0)).show()
+-----+---------------------------------+
| name|CASE WHEN (age > 3) THEN 1 ELSE 0|
+-----+---------------------------------+
|Alice| 0|
| Bob| 1|
+-----+---------------------------------+
4.18.over(window):定义一个窗口列
1.window：一个windowspec
2.返回：一列
注：Window方法仅再HiveContext1.4支持。
4.19.rlike(other):二元运算符
4.20.startwith(other):二元运算符
4.21.substr(startPos,length):返回一个新列，它是列的一个子字符串
1.startPos:起始位置（int或者Column）
2.length:子串的长度（int或者Column）
>>> l=[('Alice',2),('Bob',5)]
>>> df = sqlContext.createDataFrame(l,['name','age'])
>>> df.select(df.name.substr(1, 3).alias("col")).collect()
[Row(col=u'Ali'), Row(col=u'Bob')]
4.22.when(condition,value):评估条件列表并返回多个可能得结果表达式之一。如果不调用Column.otherwise(),则不匹配条件返回None。例如，请参阅pyspark.sql.functions.when()。
1.condition:一个布尔型表达式
2.value:一个文字值或者一个表达式
>>> from pyspark.sql import functions as F
>>> df.select(df.name, F.when(df.age > 4, 1).when(df.age < 3, -1).otherwise(0)).show()
+-----+--------------------------------------------------------+
| name|CASE WHEN (age > 4) THEN 1 WHEN (age < 3) THEN -1 ELSE 0|
+-----+--------------------------------------------------------+
|Alice| -1|
| Bob| 1|
+-----+--------------------------------------------------------+
[引用原文]（https://www.cnblogs.com/wonglu/p/7941417.html#autoid-0-0-0）