Spark编程

Spark shell

• Spark Shell 提供了简单的方式来学习Spark API
• Spark Shell可以以实时、交互的方式来分析数据
• Spark Shell支持Scala和Python
• 一个Driver就包括main方法和分布式数据集
• Spark Shell本身就是一个Driver，里面已经包含了main方法

Spark RDD

RDD操作

RDD创建

• 从文件系统中加载数据创建RDD，并指定分区的个数

  • 本地文件系统
  • HDFS
  • 其它

• 通过并行集合（数组）创建RDD

  • 可以将本地的Java对象变为RDD

• 创建RDD时手动指定分区个数

  • 在调用textFile()和parallelize()方法的时候手动指定分区个数即可，语法格式如下：

    sc.textFile(path, partitionNum)

  • 其中，path参数用于指定要加载的文件的地址，partitionNum参数用于指定分区个数。

RDD Transformation

54004037642

RDD Repartition

• 通过转换操作得到新RDD 时，直接调用repartition 方法或自定义分区方法
• 什么使用用到该方法？
  • 当遇到某些操作，如join，则可将宽依赖Partition之后变为窄依赖，便于pipeline执行

RDD Action

• 惰性机制：整个转换过程只是记录了转换的轨迹，并不会发生真正的计算，只有遇到action操作时，才会发生真正的计算，开始从血缘关系源头开始，进行物理的转换操作操

RDD保存

• RDD写入到本地文本文件
• RDD中的数据保存到HDFS文件中

Spark SQL

• Spark SQL增加了DataFrame（即带有Schema信息的RDD），使用户可以在Spark SQL中执行SQL语句，数据既可以来自RDD，也可以是Hive、HDFS、Cassandra等外部数据源，还可以是JSON格式的数据
• Spark SQL目前支持Scala、Java、Python三种语言，支持SQL-92规范

Schema

• RDD的局限性：RDD是分布式Java对象的集合，但是对象内部结构，即数据Schema不可知
• 54004061559

DataFrame

• 无论读取什么数据，都写成DataSet
  • 54004065924

DataSet

• 相比DataFrame，DataSet明确声明类型
  • 54004070261
• 在源码中，可以将DataFrame理解为DataSet的别名
• 若查询语句中有一列不存在，则可以在编译时检查出来

SQL Query

• sql(“”)括号中的SQL语句对于该函数来说仅仅是一条字符串
  • 54004076814
• 编译时不会进行任何语法检查

比较

54004082500