spark2.0系列《一》—— RDD VS. DataFrame VS. DataSet

　　虽说，spark我也不陌生，之前一直用python跑的spark，基本的core和SQL操作用的也是比较熟练。但是这一切的基础都是在RDD上进行操作，即使是进行SQL操作也是将利用SpaekContext类中的textFile方法读取txt文件返回RDD对象，然后使用SQLContext实例化载利用函数createDataFrame将格式化后的数据转化为dataFrame或者利用createDataset将数据转换为dataset。真不是一般的麻烦。。。话不多说，比如以下python代码示例：

 1 # -*-coding:utf-8-*-
 2 # Created by wuying on 2017/3/28
 3 
 4 from pyspark.sql import Row
 5 from pyspark import SparkContext
 6 from pyspark.sql import SQLContext
 7 from pyspark.sql.functions import *
 8 
 9 
10 def create_df(sqlContext, raw_data):
11     """
12     :param row_data: original data
13     :return: data frame
14     """
15     lineLists = raw_data.map(lambda x: x.split(','))
16 　　 //筛选部分有用的数据字段作为表头
17     row_data = lineLists.map(lambda x: Row(
18     recordCode = x[0],
19     logicCode  = x[1],
20     deviceCode = x[2],
21     compId     = x[2][:3],
22     siteId     = x[2][:6],
23     transType  = x[4],
24     cardTime   = x[8],
25     compName   = x[12],
26     siteName   = x[13],
27     carCode    = x[14]
28     )
29     )
30     SZT_df = sqlContext.createDataFrame(row_data)
31     SZT_df.registerTempTable("SZT_df")
32 
33     return SZT_df
34 
35 
36 if __name__ == '__main__':
37     # Create DataFrame
38     # Load data from hdfs
39     inputFile = "P_GJGD_SZT_20170101"  //数据来源于地铁打卡
40     sc = SparkContext(master="local[*]", appName="AppTest", pyFiles=["prepared.py"])
41     raw_data = sc.textFile(inputFile)
42     sqlContext = SQLContext(sc)
43     SZT_df = create_df(sqlContext, raw_data)
44     print SZT_df.dtypes

　　1、RDD，英文全称是“Resilient Distributed Dataset”，即弹性分布式数据集，听起来高大上的名字，简而言之就是大数据案例下的一种数据对象，RDD这个API在spark1.0中就已经存在，因此比较老的版本的tutorial中用的都是RDD作为原始数据处理对象，而在spark-shell中已经实例化好的sc对象一般通过加载数据产生的RDD这个对象的基础上进行数据分析。当然，打草稿情况（未接触企业级系统）下RDD API还是足够我们对一般的数据进行转换，清洗以及计数，里面有较为丰富的函数可以调用，比如常用的map, filter, groupBy等等，具体实现见pyspark。所以，这个RDD的简单安全且易于理解使得很多人都是用RDD打开spark这个高大上之神器的大门（包括我～～）。

　　首先，它不好操作，以我目前的知识水平而言，我宁愿选dataFrame。因为dataFrame方便且高速，比如SQL语句，自从用了SQL，再也不想一步步map，一步步filter了。其次，据说，RDD无论是在集群上执行任务还是存储到硬盘上。它都会默认使用java对象序列化（提高数据操作的性能），而序列化单个java和scala对象的开销过大，并且需要将数据及其结构在各节点之间传输，而生成和销毁个别对象需要进行垃圾收集这期间的开销也非常大。

　　2、DataFrame。说到dataFrame，我就想到R和pandas(python)中常用的数据框架就是dataFrame，估计后来spark的设计者从R和pandas这个两个数据科学语言中的数据dataFrame中吸取灵感，不同的是dataFrame是从底层出发为大数据应用设计出的RDD的拓展，因此它具有RDD所不具有的几个特性（Spark 1.3以后）：

• 处理数据能力从千字节到PB量级不等
• 支持各种数据格式和存储系统
• 通过SPARK SQL Catalyst优化器进行高效率优化和代码生成
• 通过SPARK对所有大数据工具基础架构进行无缝集成
• 提供Python，Scala，Java 和R的api

　　简而言之，我们可以将dataFrame当作是关系数据库中表或者是R或者Python中的dataFrame数据结构。实际上，有了dataFrame我们相当于spark可以管理数据视图，以后传输数据只要在各个节点穿数据数据而不需要传数据结构，这种方式比java序列化有效的多。

　　直接上个scala代码瞅瞅：

 1 package cn.sibat.metro
 2 import org.apache.spark.sql.SparkSession
 3 
 4 /**
 5   * Created by wing1995 on 2017/4/20
 6   */
 7 
 8 object Test {
 9   def main(args: Array[String]) = {
10     val spark = SparkSession
11         .builder()
12         .config("spark.sql.warehouse.dir", "file:/file:E:/bus")
13         .appName("Spark SQL Test")
14         .master("local[*]")
15         .getOrCreate()
16 
17     import spark.implicits._
18 
19     val df = spark.sparkContext
20       .textFile("E:\\trafficDataAnalysis\\SZTDataCheck\\testData.txt")
21       .map(_.split(","))
22       .map(line => SZT(line(0), line(1), line(2), line(2).substring(0, 3), line(2).substring(0, 6), line(4), line(8), line(12), line(13), line(14)))
23       .toDF()
24     df.show()
25     df.printSchema()
26   }
27 }
28 
29 case class SZT(recordCode: String, logicCode: String, terminalCode: String, compId: String, siteId: String,
30                transType: String, cardTime: String, compName: String, siteName: String, vehicleCode: String
31               )

　　代码真是清新可人啊，直接SparkSession实例化然后再怎么转其他格式，怎么读其他数据都可以。。。

　　3、Dataset（Spark 1.6）

　　跟DataFrame很像，不是很熟悉，貌似是为了兼容SCALA中的RDD和JAVA的面向对象而设计，事实证明Scala在Spark中的优势是java取代不了的，即使java8已经做出不少改进。然而，Scala作为原生态语言，仍然是Spark使用者的主流。所以，接下来的博客陆续以Scala为主。

　　个人是比较喜欢简洁而有趣的Scala，为数据科学而设计！