Spark SQL | DataFrame的各种玩法
啦~ 开始跟着梁云大佬打卡 Spark SQL。
文章目录
- 1、RDD和DataFrame的对比 + Spark SQL
- 2、创建DataFrame
-
- 2.1、pandas的df转spark的df
- 2.2、rdd转df
- 2.3、指定schema动态创建DataFrame
- 2.4、通过读取文件创建
-
- 2.4.1、json -> df
- 2.4.2、csv -> df
- 2.4.3、scala编写的csv -> df
- 2.4.4、parquet文件 -> df
- 2.4.5、hive表 -> df
- 2.4.6、mysql表 -> df
- 3、DataFrame保存成文件
-