spark基础学习（一）

评审人：宋雪菲，孔庆振

    近些年来，随着互联网技术的高速发展，数据量也在指数级增长，继而产生了大数据。大数据数据规模巨大，数据类型多样，产生和处理速度极快，价值巨大但是密度较低。如何使用这些大数据是近些年研究的重要内容。spark就是处理大数据的一个重要的技术。本系列文章主要由浅入深，从基础到复杂来介绍spark技术的各个方面。

    本文简要介绍spark的基本组件，并从spark对数据的核心抽象——弹性分布式数据集（Resilient Distributed Dataset）简称RDD，来开始spark技术的学习。

一、spark及其组件简介

    spark是一个用来实现快速而通用的集群计算的平台。其扩展了在大数据中广泛使用的MapReduce计算模型，并且高效地支持更多的计算模式（例如：交互式查询和流处理）。适用于各种各样原先需要多种不同的分布式平台的场景，包括批处理、迭代算法、流处理。此外，spark提供了丰富的接口，除了提供基于python、java、Scala和SQL的api以及内建的丰富的程序库以外，还能和其他大数据工具配合使用。

    总的来说，spark是一个大一统的软件栈，包含了多个紧密集成的组件。如图1-1所示。接下里简单介绍部分重要组件的基本功能。

图1-1 spark软件栈

1、Spark Core

    spark core实现了spark的基本功能，包括任务调度、内存管理、错误恢复、与存储系统交互等模块。

2、Spark SQL

    Spark SQL是spark用来操作结构化数据的程序包。通过该组件，我们可以使用SQL或者Apache Hive的SQL方言（HQL）来查询数据。

3、Spark Streaming

    Spark Streaming是用来对实时数据进行流式计算的组件。

4、MLlib

    MLlib是spark为机器学习而生成的一个程序库。提供了多种机器学习的算法，包括分类、回归、聚类，还提供了模型评估、数据导入等额外的支持功能。

5、GraphX

    GraphX是用来处理图数据的程序库。

二、RDD编程

    RDD（弹性分布式数据集）是spark对数据的抽象核心。在spark中，所有对数据的操作都是通过RDD来实现的。包括创建RDD、转换已有RDD和调用RDD操作进行求值。在此过程中，用户不需要考虑数据的集群问题，因为spark会自动地将RDD中的数据分发到集群上，并将操作并行化执行。下面主要以python3的API为例介绍RDD的创建以及基本的操作。

1、RDD创建

    RDD的创建有两种方式：在驱动程序中对一个集合进行并行化；读取外部数据集。

    将一个已有的集合传给SparkContext的parallelize()方法就可以创建一个简单的RDD。由于创建方式比较简单，这种方式在学习spark的时候用的比较多。但是在开发和测试的时候使用的并不是很多。具体创建方式如例2-1所示。

  例2-1  >>>lines=sc.parallelize(["pandas","i like pandas"])

    开发过程中使用比较多的是从外部存储中读取数据来创建RDD。其中读取文本文件的方法是SparkContext的textFile()方法。创建方式如例2-2所示。

    例2-2   >>>liens=sc.textFile("/path/example.txt")

2、RDD操作

    RDD支持两种类型的操作：转化操作和行动操作。其中，转化操作是返回一个新的RDD，而行动操作是向驱动器程序返回结果或把结果写入外部系统的操作，会触发实际的计算。

    转化操作

    转化操作转化出来的RDD都是惰性求值的（惰性求值会在后面详细介绍）。只有在行动操作中的这些转化操作才会被真正执行。注意的是，许多的转化操作都是各个元素的，每次只会操作RDD中的一个元素。当然这得看转化操作的具体实现。比较常见的转化操作有：map()和filter()。下面以filter()为例介绍转化操作。

    filter()是一种筛选操作，可以将RDD中符合条件的元素提取出来生成一个新的RDD。例2-3中errorsRDD中就是从inputRDD中的筛选出有“error”字符串的行从而生成的新的RDD。注意的是，filter()操作不会改变原有的inputRDD内容，只是重新生成了一个RDD。

例2-3

>>>inputRDD=sc.textFile("log.txt")

>>>errorsRDD=inputRDD.filter(lambda x: "error" in x)

    行动操作

    行动操作需要生成实际的输出，它会强制执行那些求值必须用到的RDD的转化操作。其中比较典型的就是count()方法。在例2-4中，errorsRDD为转化操作中生成的RDD，调用count()时会返回该RDD中的元素的个数。此时，例2-3中的filter()才会被真正地执行。这就是我们所说的惰性求值。在该例中还使用了take()方法获取到RDD中的前10个元素，需要注意的是take()返回的结果是一个list。

例2-4

>>>print("errors number is :"+str(errorsRDD.count()))

>>>for line in errorsRDD.take(10):

>>>        print(line)

参考文献

    [1] Holden Karau ,  Andy Konwinski , Patrick Wendell , Matei Zaharia .Spark快速大数据分析[M].北京:人民邮电出版社,2015.9;