plsql大字段保存类型_Spark——DataFrame 读写和保存数据

本文主要从以下几个方面介绍Spark中的DataFrame读写和保存

第一，DataFrame的介绍

第二，Spark所支持的读写文件格式及示例

第一，DataFrame的介绍

DataFrame的前身是SchemaRDD，从Spark 1.3.0开始SchemaRDD更名为DataFrame。与SchemaRDD的主要区别是：DataFrame不再直接继承自RDD，而是自己实现了RDD的绝大多数功能。你仍旧可以在DataFrame上调用rdd方法将其转换为一个RDD。DataFrame是一种以RDD为基础的分布式数据集，类似于传统数据库的二维表格，DataFrame带有Schema元信息，即DataFrame所表示的二维表数据集的每一列都带有名称和类型。

具体的介绍可以参考SparkSQL——DataFrame的创建与使用

第二，Spark所支持的读写文件格式及示例

常见的读取、存取数据来源为：text、cvs、jdbc数据库、parquet等。

1、其中，text文件的读取、存储较为常见，它可以是本机文件路径，但是如果多个机器上同时运行Executor要保证这几个机器的相同路径上都有该文件。所以，一般是读取HDFS文件系统中的文件。

主要通过sparkcontex的textFile方法读取文件，RDD上的saveAsTextFile方法存储文件。

val lines: RDD[String] = session.sparkContext.textFile("hdfs://master:9000/test/sparkSQL/person.txt")

rowRDD.saveAsTextFile("./out")

注意：DataSrt[Row]格式的数据无法写入到text文件中，因为text文件不含表头信息，它只能保存一列的数据，多列的数据保存时会报错。

2、csv文件

逗号分隔值(Comma-Separated Values，CSV，有时也称为字符分隔值，因为分隔字符也可以不是逗号)，其文件以纯文本形式存储表格数据(数字和文本)。它具有以下特点：

纯文本，使用某个字符集，比如ASCII、Unicode、EBCDIC或GB2312；由记录组成(典型的是每行一条记录)；每条记录被分隔符分隔为字段(典型分隔符有逗号、分号或制表符；有时分隔符可以包括可选的空格)；每条记录都有同样的字段序列。

CSV的文件是不带表头信息的，即不存每一列的属性名，类型。在读取CSV文件的时候，系统会默认的将每一行作为一条记录，每个字段的类型都是String类型，需要将字段转化为想要的类型。

csv文件：

package xxximport org.apache.spark.sql.types.{DoubleType, IntegerType, StringType, StructField, StructType}import org.apache.spark.sql.{DataFrame, Dataset, Row, SparkSession}/** * csv格式的数据中，只存有字段的值，并没有字段的属性(名称、类型)等信息，需要指定 */object readDataFromCSV {  def main(args: Array[String]): Unit = {    val session: SparkSession = SparkSession.builder().appName("ReadDataFromCSV").master("local[*]").getOrCreate()    // 读取csv文件    val frame: DataFrame = session.read.csv("./out.csv1")    // 指明列名，列的属性默认全部是String类型的    val frame1: DataFrame = frame.toDF("province", "num")    // 将num列的属性类型改为Int    frame1("num").cast(IntegerType)    import session.implicits._    val value: Dataset[Row] = frame1.where($"num" > 500)    // 存为csv文件    value.write.csv("./outcsv")    value.show()    session.stop()  }}

3、通过JDBC读取mysql数据库中的数据。

通过SparkSession的.read.format("jdbc").options设置各个参数读取数据，通过Dataset[Row]的write.mode方法来写入数据库。

package xxximport java.util.Propertiesimport org.apache.spark.sql.{DataFrame, Dataset, Row, SparkSession}object readDataFromJDBC {  def main(args: Array[String]): Unit = {    val session: SparkSession = SparkSession.builder().appName("ReadDataFromJDBC").master("local[*]").getOrCreate()    //从数据库中加载数据    val logs: DataFrame = session.read.format("jdbc").options(      Map("url" -> "jdbc:mysql://slave3:3306/bigdata",        "driver" -> "com.mysql.jdbc.Driver",        "dbtable" -> "province",        "user" -> "root",        "password" -> "root"      )).load()    // 过滤方法1， RDD方法//    val filtered: Dataset[Row] = logs.filter(row => {//      row.getAs[Int](1) <= 1000//    })    // 过滤方法2， lambda表达    import session.implicits._    val filtered: Dataset[Row] = logs.filter($"num" <= 1000)    // 将过滤后的数据写入新的表,新表可以不存在    val properties = new Properties()    properties.put("user", "root")    properties.put("password", "root")    // mode 参数： ignore 若表存在，不作任何处理； overwrite 表示覆盖  append 表示追加    filtered.write.mode("ignore").jdbc("jdbc:mysql://slave3:3306/bigdata", "filter_province", properties)    filtered.show()    session.stop()  }}

4、Parquet文件

parquent是一种流行的列式存储格式，可以高效地存储具有嵌套字段的记录。Parquet是语言无关的，而且不与任何一种数据处理框架绑定在一起，适配多种语言和组件，能够与Parquet配合的组件有：
　　　　* 查询引擎: Hive, Impala, Pig, Presto, Drill, Tajo, HAWQ, IBM Big SQL
　　　　* 计算框架: MapReduce, Spark, Cascading, Crunch, Scalding, Kite
　　　　* 数据模型: Avro, Thrift, Protocol Buffers, POJOs
　　Spark已经为我们提供了parquet样例数据，就保存在“/usr/local/spark/examples/src/main/resources/”这个目录下，有个users.parquet文件，这个文件格式比较特殊，如果你用vim编辑器打开，或者用cat命令查看文件内容，肉眼是一堆乱七八糟的东西，是无法理解的。只有被加载到程序中以后，Spark会对这种格式进行解析，然后我们才能理解其中的数据。

parquet既保存数据又保存schema信息(列的名称、类型、列的偏移量(它的文件中没有换行，相同列的数据存在一起，而不是一个记录的数据存在一起))

package xxximport org.apache.spark.sql.{DataFrame, Dataset, Row, SparkSession}/** * parquet既保存数据又保存schema信息(列的名称、类型、列的偏移量( * 它的文件中没有换行，相同列的数据存在一起，而不是一个记录的数据存在一起)) */object readDataFromPart {  def main(args: Array[String]): Unit = {    val session: SparkSession = SparkSession.builder().appName("ReadDataFromCSV").master("local[*]").getOrCreate()  // 读数据    val frame: DataFrame = session.read.parquet("./out.par")    import session.implicits._    val value: Dataset[Row] = frame.where($"num" > 500)  // 写数据    value.write.parquet("./outppar")        value.show()      session.stop()  }}

5、 Json 文件

　　如果 JSON 文件中每一行就是一个 JSON 记录，那么可以通过将 JSON 文件当做文本

文件来读取，然后利用相关的 JSON 库对每一条数据进行 JSON 解析

package xxximport org.apache.spark.rdd.RDDimport org.apache.spark.sql.{DataFrame, Dataset, Row, SparkSession}object readDataFromJSON {  def main(args: Array[String]): Unit = {    val session: SparkSession = SparkSession.builder().appName("ReadDataFromJSON").master("local[*]").getOrCreate()  // 读数据    val frame: DataFrame = session.read.json("./out.json")    import session.implicits._    val value: Dataset[Row] = frame.where($"num" < 500)  // 写数据    value.write.json("./outjson")        value.show()    session.stop()  }}