Spark SQL和DataFrames重要的类有：
- pyspark.sql.SQLContext： DataFrame和SQL方法的主入口
- pyspark.sql.DataFrame： 将分布式数据集分组到指定列名的数据框中
- pyspark.sql.Column ：DataFrame中的列
- pyspark.sql.Row： DataFrame数据的行
- pyspark.sql.HiveContext： 访问Hive数据的主入口
- pyspark.sql.GroupedData： 由DataFrame.groupBy()创建的聚合方法集
- pyspark.sql.DataFrameNaFunctions： 处理丢失数据(空数据)的方法
- pyspark.sql.DataFrameStatFunctions： 统计功能的方法
-pyspark.sql.functions DataFrame：可用的内置函数 - pyspark.sql.types： 可用的数据类型列表
- pyspark.sql.Window： 用于处理窗口函数
10.class pyspark.sql.DataFrameReader(sqlContext):用于从外部存储系统（例如文件系统，键值存储等），加载DataFrame的接口。使用SQLContext.read（）来访问这个。
10.1.format(source):指定输入数据源格式。
1.source:string，数据源名称，例如：'json','parquet'
people.json文件内容：
{"name":"Michael"}
{"name":"Andy", "age":30}
{"name":"Justin", "age":19}
>>> df = sqlContext.read.format('json').load('/test/people.json')
>>> df.dtypes
[('age', 'bigint'), ('name', 'string')]
10.2.jdbc(url,table,column=None,lowerBound=None,upperBound=None,numPartitions=None,predicates=None,properties=None):构建一个DataFrame表示通过url命名的table和链接属性链接的数据库表。column参数可用户对标进行区分，然后根据传递给次函数的参数并行检索它。predicates参数给出了一个适合包含在where句子中的列表表达式；每一个都定义了DataFrame的一个分区。
注：不要在大型集群上并行创建踏跺分区，否则spark可能会使外部数据系统崩溃
1. url:一个JDBC URL
2.table:表名称
3.column:用于分区的列
4. lowerBound:分区列的下限
5.upperBound:分区列的上限
6.numPartitions:分区的数量
7.predicates:表达式列表
8.properties:JDBC数据库连接参数,任意字符串的标签/值的列表。通常至少应该包括一个“用户”和“密码”属性。
返回 : 一个DataFrame
10.3.json(path,schma=None):加载一个JSON文件（每行一个对象）或一个存储JSON对象的字符串RDD（每个记录一个对象），并返回结果为：classDataFrame。如果未指定schema参数，则此函数会经过一次输入以确定输入模式。
1. path :字符串表示JSON数据集的路径，或者存储JSON对象的字符串的RDD
2.schema :输入模式的可选StructType。
你可以设置以下特定于JSON的选项来处理非标准的JSON文件：
* primitivesAsString (默认false): 将所有原始值推断为字符串类型
* allowComments (默认false): 忽略JSON记录中的Java / C++样式注释
* allowUnquotedFieldNames (默认false): 允许未加引号的JSON字段名称
* allowSingleQuotes (默认true): 允许除双引号外的单引号
* allowNumericLeadingZeros (默认false): 允许数字中的前导零(例如00012)
>>> df1 = sqlContext.read.json('/test/people.json')
>>> df1.dtypes
[('age', 'bigint'), ('name', 'string')]
>>> rdd = sc.textFile('/test/people.json')
>>> df2 = sqlContext.read.json(rdd)
>>> df2.dtypes
[('age', 'bigint'), ('name', 'string')]
10.4.load(path=None, format=None, schema=None, **options):从数据源加载数据并将其作为：classDataFrame返回。
1. path :可选字符串或文件系统支持的数据源的字符串列表
2. format :数据源格式的可选字符串。 默认为“parquet”
2. schema :输入模式的可选StructType。
2. options : 所有其他字符串选项。
注：parquet_partitioned文件夹路径为：spark-1.6.2-bin-hadoop2.6\python\test_support\sql\parquet_partitioned
people.json和people1.json文件路径为：spark-1.6.2-bin-hadoop2.6\python\test_support\sql
>>> df = sqlContext.read.load('/test/parquet_partitioned', opt1=True,opt2=1, opt3='str')
>>> df.dtypes
[('name', 'string'), ('year', 'int'), ('month', 'int'), ('day', 'int')]
>>> df = sqlContext.read.format('json').load(['/test/people.json','/test/people1.json'])
>>> df.dtypes
[('age', 'bigint'), ('aka', 'string'), ('name', 'string')]
10.5.option(key,value):为基础数据源添加一个输入选项。
10.6.options(**options):为基础数据源添加多个输入选项。
10.7.orc(path):加载ORC文件，将结果作为DataFrame返回。注：目前ORC支持只能与HiveContext一起使用。
10.8.parquet(*paths):加载parquet文件, 将结果作为DataFrame返回。
>>> df = sqlContext.read.parquet('/test/parquet_partitioned')
>>> df.dtypes
[('name', 'string'), ('year', 'int'), ('month', 'int'), ('day', 'int')]
10.9.schema(schema):指定输入的schema.某些数据源（例如JSON）可以从数据自动推断输入模式。通过在这里指定模式，底层数据源可以跳过模式推断步骤，从而加速数据加载。schema – 一个StructType对象
10.10.table(tableName):以DataFrame的形式返回指定的表。tableName – 字符串的表名称
>>> df = sqlContext.read.parquet('/test/parquet_partitioned')
>>> df.registerTempTable('tmpTable')
>>> sqlContext.read.table('tmpTable').dtypes
[('name', 'string'), ('year', 'int'), ('month', 'int'), ('day', 'int')]
10.11.text(paths):加载一个文本文件并返回一个名为"value"的单个字符串列的[[DataFrame]]。文本文件中的每一行都是生成的DataFrame中的新行。参数：● paths – 字符串或字符串列表，用于输入路径。
>>> df = sqlContext.read.text('/test/text-test.txt')
>>> df.collect()
[Row(value=u'hello'), Row(value=u'this')]
引用原文