【Spark】Spark SQL总结
一、SparkSQL介绍
Hive是Shark的前身，Shark是SparkSQL的前身,SparkSQL产生的根本原因是其完全脱离了Hive的限制。
1.spark sql的特点
1）引入了新的RDD类型SchemaRDD，可以像传统数据库定义表一样来定义SchemaRDD。
2）在应用程序中可以混合使用不同来源的数据，如可以将来自HiveQL的数据和来自SQL的数据进行Join操作。
3）内嵌了查询优化框架，在把SQL解析成逻辑执行计划之后，最后变成RDD的计算。
2.spark sql的种类
Spark on Hive： Hive只作为储存角色，Spark负责sql解析优化，执行。
Hive on Spark：Hive即作为存储又负责sql的解析优化，Spark负责执行。
3. Dataset与DataFrame
1）Dataset是一个分布式数据容器，与RDD类似。除了数据以外，还掌握数据的结构信息即schema，Dataset的底层封装的是RDD。
通过org.apache.spark.sql.SparkSession来创建Spark上下文
SparkSession中有很多封装好的方法可以来读取文件、创建DataSet，甚至是直接用来写sql语句
Dataset.registerTempTable("表名")可以将DataSet转化成一张临时表，便于sql语句查询2）Dataset
4.SparkSQL的底层架构
提交sql——>解析一批未被解决的逻辑计划——>分析后的逻辑计划——>优化规则（谓词下推）转化最佳优化的逻辑计划——>SparkPlanner转化为物理计划——>Spark任务执行
二、创建dataset的方式
1.读取json格式的文件创建Dataset
Dataset ds = sparkSession.read().format("json").load("data/json");
或者
Dataset ds = sparkSession.read().json("data/json");
2.通过json格式的RDD创建Dataset
直接创建json格式的RDD，然后可以将它直接转化DataSet
3.通过反射的方式将RDD转换成Dataset
Dataset dataFrame = sparkSession.createDataFrame(personRDD, Person.class);
上例中：
1）person类要可序列化、访问级别是public
2）RDD转成Dataset后会根据映射将字段按Assci码排序
3）将Dataset转换成RDD时获取字段两种方式,一种是ds.getInt(0)下标获取（不推荐使用），另一种是ds.getAs(“列名”)获取（推荐使用）
4.动态创建Schema转换成Dataset
可以动态的对字段修改
List asList = Arrays.asList(
DataTypes.createStructField("id", DataTypes.StringType, true),
DataTypes.createStructField("name", DataTypes.StringType, true),
DataTypes.createStructField("age", DataTypes.IntegerType, true)
);
StructType schema = DataTypes.createStructType(asList);
Dataset df = sparkSession.createDataFrame(rowRDD, schema);
5.读取parquet文件创建Dataset
可以将Dataset存储成parquet文件，然后在转化成DataSet
df.write().mode(SaveMode.Overwrite)format("parquet").save("./sparksql/parquet");
df.write().mode(SaveMode.Overwrite).parquet("./sparksql/parquet");
SaveMode指定文件保存时的模式:
Overwrite：覆盖
Append：追加
ErrorIfExists：如果存在就报错
Ignore：如果存在就忽略
5.读取JDBC中的数据创建Dataset
第一种：
Map options = new HashMap();
options.put("url", "jdbc:mysql://127.0.0.1:3306/spark");
options.put("driver", "com.mysql.jdbc.Driver");
options.put("user", "root");
options.put("password", "root");
options.put("dbtable", "person");
Dataset person = sparkSession.read().format("jdbc").options(options).load();
第二种：
DataFrameReader reader = sparkSession.read().format("jdbc");
reader.option("url", "jdbc:mysql://127.0.0.1:3306/spark");
reader.option("driver", "com.mysql.jdbc.Driver");
reader.option("user", "root");
reader.option("password", "root");
reader.option("dbtable", "score");
Dataset score = reader.load();
6. 读取Hive中的数据加载成Dataset
SparkSession sparkSession = SparkSession
.builder()
.master("local")
.appName("hvie")
//开启hive的支持，接下来就可以操作hive表了
// 前提需要是需要开启hive metastore 服务
.enableHiveSupport()
.getOrCreate();
创建SparkSession时需要指定支持hive，然后调用sql方法就可以直接对Hive写操作语句
三、存储DataSet
1. 将DataSet存储为parquet文件。
2. 将DataSet存储到JDBC数据库。
3. 将DataSet存储到Hive表。
四、自定义函数UDF和UDAF
UDF一进一出
/**
* 根据UDF函数参数的个数来决定是实现哪一个UDF UDF1，UDF2。。。。UDF1xxx
*/
sparkSession.udf().register("StrLen",new UDF2() {
private static final long serialVersionUID = 1L;
@Override
public Integer call(String t1, Integer t2) throws Exception {
return t1.length() + t2;
}
} ,DataTypes.IntegerType ); UDAF一进多出（聚合函数）
sparkSession.udf().register("StringCount", new UserDefinedAggregateFunction() {
。。。这里面有很多方法，需要根据业务逻辑自定义
}五、开窗函数
row_number() 开窗函数是按照某个字段分组，然后取另一字段的前几个的值，相当于分组取topN
开窗函数格式：
row_number() over (partitin by XXX order by XXX)
("select riqi,leibie,jine,rank from (select riqi,leibie,jine,row_number() over"
+"(partition by leibie order by jine desc) rank "
+ "from sales) t where t.rank<=3")