Spark SQL | DataFrame的各种玩法

啦~ 开始跟着梁云大佬打卡 Spark SQL。

文章目录

  • 1、RDD和DataFrame的对比 + Spark SQL
  • 2、创建DataFrame
    • 2.1、pandas的df转spark的df
    • 2.2、rdd转df
    • 2.3、指定schema动态创建DataFrame
    • 2.4、通过读取文件创建
      • 2.4.1、json -> df
      • 2.4.2、csv -> df
      • 2.4.3、scala编写的csv -> df
      • 2.4.4、parquet文件 -> df
      • 2.4.5、hive表 -> df
      • 2.4.6、mysql表 -> df
  • 3、DataFrame保存成文件
    • 3.1、df -> csv<

你可能感兴趣的:(#,Spark,spark,大数据,dataframe,sql,python)