Spark SQL Dataset API 全集
简介
org.apache.spark.sql.Dataset是Spark SQL中核心的类，定义如下：
class Dataset[T] extends SerializableDataFrame是Dataset[Row]的别名。
本文基于spark2.3.0.
下面是类方法简介。
类方法
Actions
collect(): Array[T]
返回一个数组，包含Dataset所有行的数据。
注意：所有数据会被加载进driver进程的内存。
collectAsList(): List[T]
同上，但是返回Java list。
count(): Long
数据行数
describe(cols: String*): DataFrame
计算指定列的统计指标，包括count, mean, stddev, min, and max.
head(): T
返回第一行
head(n: Int): Array[T]
返回前N行
first(): T
返回第一行，是head()的别名。
foreach(f: (T) ⇒ Unit): Unit
所有元素上应用f函数
foreachPartition(f: (Iterator[T]) ⇒ Unit): Unit
所有元素分区上应用f函数
reduce(func: (T, T) ⇒ T): T
根据映射函数func，对RDD中的元素进行二元计算，返回计算结果。
注意：提供的函数应满足交换律及结合律，否则计算结果将是非确定的。
show(numRows: Int, truncate: Int, vertical: Boolean): Unit
表格形式打印出数据。numRows：显示的行数，truncate：裁剪字符串类型值到指定长度，vertical：垂直打印。
show(numRows: Int, truncate: Int): Unit
show(numRows: Int, truncate: Boolean): Unit
show(truncate: Boolean): Unit
numRows=20 truncate=20
show(numRows: Int): Unit
truncate=20
show(): Unit
numRows=20 truncate=20
summary(statistics: String*): DataFrame
计算数据集statistics指定的指标，可指定 count, mean, stddev, min, approximate quartiles (percentiles at 25%, 50%, and 75%), and max.
如未指定则会计算全部。
take(n: Int): Array[T]
获取前n行
takeAsList(n: Int): List[T]
获取前n行保存为list
toLocalIterator(): Iterator[T]
返回一个所有行的迭代器
The iterator will consume as much memory as the largest partition in this Dataset.
基本函数（Basic Dataset functions)
as[U](implicit arg0: Encoder[U]): Dataset[U]
将数据映射成指定类型U，返回新的Dataset
persist(newLevel: StorageLevel): Dataset.this.type
缓存数据，可设置缓存级别。
persist(): Dataset.this.type
同cache方法
cache(): Dataset.this.type
缓存数据,MEMORY_AND_DISK模式。
注意：RDD的cache函数默认是MEMORY_ONLY。
checkpoint(eager: Boolean): Dataset[T]
返回一个checkpointed的Dataset，Dataset的逻辑执行计划将被截断。
checkpoint(): Dataset[T]
同上，eager=true.
columns: Array[String]
数组形式返回所有列名。
dtypes: Array[(String, String)]
数组形式返回所有列名及类型。
createGlobalTempView(viewName: String): Unit
创建全局临时视图(view)，生命周期与Spark应用一致。
可以跨session访问。e.g. SELECT * FROM global_temp.view1.
createOrReplaceGlobalTempView(viewName: String): Unit
同上，已存在则替换。
createTempView(viewName: String): Unit
创建本地临时视图(view)，仅当前SparkSession可访问。
注意：不跟任何库绑定，不能用db1.view1这样的形式访问。
createOrReplaceTempView(viewName: String): Unit
同上，已存在则替换。
explain(): Unit
打印物理执行计划
另有：queryExecution变量，完整执行计划。
explain(extended: Boolean): Unit
打印物理+逻辑执行计划
hint(name: String, parameters: Any*): Dataset[T]
当前dataset指定hint。//todo
e.g. df1.join(df2.hint("broadcast"))
inputFiles: Array[String]
返回组成Dataset的输入文件（Returns a best-effort snapshot of the files that compose this Dataset）
isLocal: Boolean
collect和take是否可以本地执行，不需要executor.
localCheckpoint(eager: Boolean): Dataset[T]
执行本地Checkpoint，返回新dataset。
localCheckpoint(): Dataset[T]
eager=true
printSchema(): Unit
打印schema结构
rdd: RDD[T]
dataset内部的RDD
schema: StructType
schema
storageLevel: StorageLevel
当前存储等级，没有被persist则是StorageLevel.NONE
toDF(): DataFrame
toDF(colNames: String*): DataFrame
转为DataFrame，也可以将RDD转为DataFrame。
unpersist(): Dataset.this.type
unpersist(blocking: Boolean): Dataset.this.type
删除缓存，blocking表示是否等所有blocks删除后才返回,删除期间阻塞。
write: DataFrameWriter[T]
DataFrameWriter，非流式数据写接口。
writeStream: DataStreamWriter[T]
DataStreamWriter，流式数据写接口。
流式函数（streaming）
isStreaming: Boolean
是否流式数据
withWatermark(eventTime: String, delayThreshold: String): Dataset[T]
Defines an event time watermark for this Dataset.
//TODO
强类型转换（Typed transformations）
alias(alias: Symbol): Dataset[T]
alias(alias: String): Dataset[T]
as(alias: Symbol): Dataset[T]
as(alias: String): Dataset[T]
给Dataset一个别名
coalesce(numPartitions: Int): Dataset[T]
分区合并(只能减少分区)
distinct(): Dataset[T]
dropDuplicates的别名
dropDuplicates(col1: String, cols: String*): Dataset[T]
dropDuplicates(colNames: Array[String]): Dataset[T]
dropDuplicates(colNames: Seq[String]): Dataset[T]
dropDuplicates(): Dataset[T]
根据指定字段，对数据去重。
except(other: Dataset[T]): Dataset[T]
去除other中也有的行。同EXCEPT DISTINCT in SQL。
//TODO
filter(func: (T) ⇒ Boolean): Dataset[T]
filter(conditionExpr: String): Dataset[T]
filter(condition: Column): Dataset[T]
根据条件过滤行
e.g.
peopleDs.filter("age > 15")
peopleDs.filter($"age" > 15)
flatMap[U](func: (T) ⇒ TraversableOnce[U])(implicit arg0: Encoder[U]): Dataset[U]
第一步和map一样，最后将所有的输出合并。
groupByKey[K](func: (T) ⇒ K)(implicit arg0: Encoder[K]): KeyValueGroupedDataset[K, T]
现根据func函数生成key，然后按key分组。
intersect(other: Dataset[T]): Dataset[T]
求两个dataset的交集，等同于INTERSECT in SQL.
joinWith[U](other: Dataset[U], condition: Column): Dataset[(T, U)]
inner equi-join两个dataset
joinWith[U](other: Dataset[U], condition: Column, joinType: String): Dataset[(T, U)]
joinType可选：inner, cross, outer, full, full_outer, left, left_outer, right, right_outer
limit(n: Int): Dataset[T]
返回前n行，与head的区别是，head是一个action，会马上返回结果数组。
map[U](func: (T) ⇒ U)(implicit arg0: Encoder[U]): Dataset[U]
在每一个元素应用func函数，返回包含结果集的dataset。
mapPartitions[U](func: (Iterator[T]) ⇒ Iterator[U])(implicit arg0: Encoder[U]): Dataset[U]
在每一个分区应用func函数，返回包含结果集的dataset。
orderBy(sortExprs: Column*): Dataset[T]
orderBy(sortCol: String, sortCols: String*): Dataset[T]
sort的别名
sort(sortExprs: Column*): Dataset[T]
sort(sortCol: String, sortCols: String*): Dataset[T]
按指定列排序，默认asc。
e.g. ds.sort($"col1", $"col2".desc)
sortWithinPartitions(sortExprs: Column*): Dataset[T]
sortWithinPartitions(sortCol: String, sortCols: String*): Dataset[T]
分区内排序，同"SORT BY" in SQL (Hive QL).
randomSplit(weights: Array[Double]): Array[Dataset[T]]
randomSplit(weights: Array[Double], seed: Long): Array[Dataset[T]]
按权重随机分割数据
repartition(partitionExprs: Column*): Dataset[T]
repartition(numPartitions: Int, partitionExprs: Column*): Dataset[T]
repartition(numPartitions: Int): Dataset[T]
按指定表达式，分区数，重新分区（hash），同"DISTRIBUTE BY" in SQL。
默认分区数为spark.sql.shuffle.partitions
repartitionByRange(partitionExprs: Column*): Dataset[T]
repartitionByRange(numPartitions: Int, partitionExprs: Column*): Dataset[T]
按指定表达式，分区数，重新分区，采用Range partition方式，按键范围分区。
分区默认排序方式为ascending nulls first，分区内数据未排序。
sample(withReplacement: Boolean, fraction: Double): Dataset[T]
sample(withReplacement: Boolean, fraction: Double, seed: Long): Dataset[T]
sample(fraction: Double): Dataset[T]
sample(fraction: Double, seed: Long): Dataset[T]
随机取样本数据
withReplacement：Sample with replacement or not.
fraction：Fraction of rows to generate, range [0.0, 1.0].
seed：Seed for sampling.
select[U1](c1: TypedColumn[T, U1]): Dataset[U1]
根据列/表达式获取列数据
transform[U](t: (Dataset[T]) ⇒ Dataset[U]): Dataset[U]
应用t函数转换Dataset。
union(other: Dataset[T]): Dataset[T]
等于UNION ALL in SQL。
注意是按列位置合并：
val df1 = Seq((1, 2, 3)).toDF("col0", "col1", "col2")
val df2 = Seq((4, 5, 6)).toDF("col1", "col2", "col0")
df1.union(df2).show
// output:
// +----+----+----+
// |col0|col1|col2|
// +----+----+----+
// | 1| 2| 3|
// | 4| 5| 6|
// +----+----+----+
unionByName(other: Dataset[T]): Dataset[T]
同union方法，但是按列名合并：
val df1 = Seq((1, 2, 3)).toDF("col0", "col1", "col2")
val df2 = Seq((4, 5, 6)).toDF("col1", "col2", "col0")
df1.unionByName(df2).show
// output:
// +----+----+----+
// |col0|col1|col2|
// +----+----+----+
// | 1| 2| 3|
// | 6| 4| 5|
// +----+----+----+
where(conditionExpr: String): Dataset[T]
where(condition: Column): Dataset[T]
filter的别名
弱类型转换（Untyped transformations）
返回类型为DataFrame而不是Dataset。
agg(expr: Column, exprs: Column*): DataFrame
agg(exprs: Map[String, String]): DataFrame
agg(aggExpr: (String, String), aggExprs: (String, String)*): DataFrame
在整个dataset进行聚合。
ds.agg(...) 是 ds.groupBy().agg(...) 的简写。
e.g.
ds.agg(max($"age"), avg($"salary"))
ds.agg(Map("age" -> "max", "salary" -> "avg"))
ds.agg("age" -> "max", "salary" -> "avg")
apply(colName: String): Column
col(colName: String): Column
colRegex(colName: String): Column
返回指定列。
crossJoin(right: Dataset[_]): DataFrame
cross join。
cube(col1: String, cols: String*): RelationalGroupedDataset
cube(cols: Column*): RelationalGroupedDataset
使用指定列创建多维cube。
//TODO
drop(col: Column): DataFrame
drop(colNames: String*): DataFrame
drop(colName: String): DataFrame
剪掉指定字段。
groupBy(col1: String, cols: String*): RelationalGroupedDataset
groupBy(cols: Column*): RelationalGroupedDataset
按指定列分组
join(right: Dataset[_], joinExprs: Column, joinType: String): DataFrame
join(right: Dataset[_], joinExprs: Column): DataFrame
join(right: Dataset[_], usingColumns: Seq[String], joinType: String): DataFrame
join(right: Dataset[_], usingColumns: Seq[String]): DataFrame
join(right: Dataset[_], usingColumn: String): DataFrame
join(right: Dataset[_]): DataFrame
与另一个DataFrame join。
joinExprs：$"df1Key" === $"df2Key"
usingColumn：Seq("user_id", "user_name")
joinType：Default inner. Must be one of: inner, cross, outer, full, full_outer, left, left_outer, right, right_outer, left_semi, left_anti.
na: DataFrameNaFunctions
见DataFrameNaFunctions
stat: DataFrameStatFunctions
见DataFrameStatFunctions
rollup(col1: String, cols: String*): RelationalGroupedDataset
rollup(cols: Column*): RelationalGroupedDataset
使用指定列进行rollup聚合。//TODO
select(col: String, cols: String*): DataFrame
select(cols: Column*): DataFrame
selectExpr(exprs: String*): DataFrame
选取指定列、SQL表达式。
withColumn(colName: String, col: Column): DataFrame
新增或替换一列。
withColumnRenamed(existingName: String, newName: String): DataFrame
将指定列更名。
未分组（Ungrouped）
queryExecution: QueryExecution
执行计划
sparkSession: SparkSession
创建该dataset的SparkSession
sqlContext: SQLContext
dataset的SQLContext
toJSON: Dataset[String]
每行数据转成JSON字符串。
toString(): String
Any的toString