《Spark官方文档》Spark操作指南

原文链接   译者：小村长

Spark–Quick Start

本项目是 Apache Spark官方文档的中文翻译版，致力于打造一个全新的大数据处理平台来满足大数据处理和分析的各个使用场景，本次翻译主要针对对Spark感兴趣和致力于从事大数据方法开发的人员提供有价值的中文资料，希望能够对大家的工作和学习有所帮助。

Spark最近几年在国内外都比较火，在淘宝、百度、腾讯、高伟达等一些公司有比较成熟的应用，做大数据方面的开发人员或多或少都与其有接触。Spark的中文资料相对前几年相对较多，但是我认为官方文档才是最好最完美的学习资料，今天让小村长为你揭开Spark的神秘面纱,一同走进Spark的精神世界。

• Spark shell的交互式分析
  • 基础部分
  • RDD的操作
  • 缓存
• 应用开发
• 下一章节

本向导提供了Spark的简单介绍和快速入门，我第一次通过Spark shell来介绍Python 和 Scala API的使用,然后向你们展示怎么通过Java、Python和Scala开发一个Spark应用程序，你可以通过查看开发向导了解更多开发细节。

为了更快地学习这篇使用指南，首先你需要下载一个Spark安装包，由于我们并没有使用HDFS，所以你可以下载任何兼容Hadoop版本的安装包。

Spark Shell的使用

基础部分

Spark’s shell 提供了一种学习API的简单方法, 也是一个强大的数据分析工具.它可以通过Scala(它是一种运行在Java虚拟机上并且能够使用Java库的编程语言 )或者Python来操作. 在Spark 目录下运行以下脚本:
./bin/spark-shell (Scala)
./bin/pyspark (Python)
Spark主要的抽象是一个分布式数据集(RDD). RDDs 能够通过Hadoop的InputFormats (例如HDFS文件)或者通过其他的RDD转换生成.现在让我们用Spark源码目录中README 文件的文本内容生成一个新的RDD:

scala> val textFile = sc.textFile("README.md")
textFile: spark.RDD[String] = spark.MappedRDD@2ee9b6e3

RDDs 有很多actions(我翻译成操作因子), 通过转换操作能生成一个新的RDD，让我们来进行一些actions操作:

scala> textFile.count() // Number of items in this RDD
res0: Long = 126

scala> textFile.first() // First item in this RDD
res1: String = # Apache Spark

现在让我们使用transformation(翻译成转换因子).我们将使用 filter 操作来返回一个新的RDD数据集.

scala> val linesWithSpark = textFile.filter(line => line.contains("Spark"))
linesWithSpark: spark.RDD[String] = spark.FilteredRDD@7dd4af09

我们能够通过链式编程把transformations 操作和 actions操作连接一起:

scala> textFile.filter(line => line.contains("Spark")).count() // How many lines contain "Spark"?
res3: Long = 15

RDD更多操作

RDD的 actions 和transformations 能够使用更多复杂的操作. 我们能够获取更多操作通过下面链接:

• Scala
• Python

scala> textFile.map(line => line.split(" ").size).reduce((a, b) => if (a > b) a else b)
res4: Long = 15

第一个map函数统计一行单词个数，创建一个先的RDD. reduce函数是寻找单词最多的某一行所含单词个数 .map和reduce函数里面的参数称为函数自变量(闭包),它能够使用Scala或者Java的任何特性. 例如,我们很轻松的在任何地方调用和定义函数 . 我们可以使用 Math.max()函数是代码看起来更简洁更加容易理解:

scala> import java.lang.Math
import java.lang.Math

scala> textFile.map(line => line.split(" ").size).reduce((a, b) => Math.max(a, b))
res5: Int = 15

一个普通的数据处理流程是MapReduce,这也是Hadoop中很普通的数据处理方式. Spark 继承MapReduce数据处理流程并是它更加容易:

scala> val wordCounts = textFile.flatMap(line => line.split(" ")).map(word => (word, 1)).reduceByKey((a, b) => a + b)
wordCounts: spark.RDD[(String, Int)] = spark.ShuffledAggregatedRDD@71f027b8

现在,我们通过 flatMap和 map函数来进行合并操作 并且通过reduceByKey 转换函数来统计每个单词的个数并生成一个RDD键值对. 统计单词的数量可以通过 collect 函数来实行:

scala> wordCounts.collect()
res6: Array[(String, Int)] = Array((means,1), (under,2), (this,3), (Because,1), (Python,2), (agree,1), (cluster.,1), ...)

缓存

Spark也支持把一个数据集放到一个集群的缓存里面.当数据多次访问它很有用,例如当你查询一个常用的数据集或者运行一个 PageRank算法的时候. 举一个简单的例子, 让我们把 linesWithSpark 数据集缓存起来:

• Scala
• Python

scala> linesWithSpark.cache()
res7: spark.RDD[String] = spark.FilteredRDD@17e51082

scala> linesWithSpark.count()
res8: Long = 19

scala> linesWithSpark.count()
res9: Long = 19

它可能是不明智的用Spark浏览和缓存一个100行的数据. 这个部分通常运用在大的数据集上, 当集群有十个甚至成千上百个节点的时候. 你也能够通过 bin/spark-shell来连接集群, 更多的描述请看 programming guide.

独立应用开发

假如我希望开发一个独立的应用通过Spark API. 我们可以通过 Scala (with sbt), Java (with Maven), and Python来调用开发Spark API.

• Scala
• Java
• Python

现在我们创建一个简单的Spark应用,实际上, 它的名字是 SimpleApp.scala:

/* SimpleApp.scala */
import org.apache.spark.SparkContext
import org.apache.spark.SparkContext._
import org.apache.spark.SparkConf

object SimpleApp {
  def main(args: Array[String]) {
    val logFile = "YOUR_SPARK_HOME/README.md" // Should be some file on your system
    val conf = new SparkConf().setAppName("Simple Application")
    val sc = new SparkContext(conf)
    val logData = sc.textFile(logFile, 2).cache()
    val numAs = logData.filter(line => line.contains("a")).count()
    val numBs = logData.filter(line => line.contains("b")).count()
    println("Lines with a: %s, Lines with b: %s".format(numAs, numBs))
  }
}

注意一个应用应该定义在一个 main()函数里面或者通过继承scala.App. scala.App的子类可能不能正确的工作.

这个程序仅仅是统计README文件中包含‘a’和‘b’的数量.注意你需要替换你的本地的YOUR_SPARK_HOME 环境变量. 不同于前面的Spark shell例子, 它需要初始化SparkContext, 我们需要初始化 SparkContext作为程序运行的一部分.

我们需要创建一个 SparkConf 对象，它包含了我们应用所包含的信息.

我们的应用依赖Spark API, 所以我们也包含sbt 配置文件, simple.sbt, 它包含了Spark的一些依赖. 这个文件增加一个仓库，而这些仓库是Spark运行不可缺少的一部分:

name := "Simple Project"

version := "1.0"

scalaVersion := "2.10.4"

libraryDependencies += "org.apache.spark" %% "spark-core" % "1.5.2"

为了使 sbt能够正确的工作, 我们需要布局SimpleApp.scala 和simple.sbt按计划执行这种类型结构.一旦配置正确, 我们能够创建一个JAR包包含这个应用的代码， 然后使用 spark-submit 来运行我们的程序.

# Your directory layout should look like this
$ find .
.
./simple.sbt
./src
./src/main
./src/main/scala
./src/main/scala/SimpleApp.scala

# Package a jar containing your application
$ sbt package
...
[info] Packaging {..}/{..}/target/scala-2.10/simple-project_2.10-1.0.jar

# Use spark-submit to run your application
$ YOUR_SPARK_HOME/bin/spark-submit \
  --class "SimpleApp" \
  --master local[4] \
  target/scala-2.10/simple-project_2.10-1.0.jar
...
Lines with a: 46, Lines with b: 23

下一章

配置运行你的第一个Spark程序!

• 想深入的了解SparkAPI, 可以打开 Spark programming guide, 或者看“Programming Guides” 菜单了解其他组件.
• 如果想在集群上面运行引用, 可以点击 deployment overview了解.
• 最后, Spark包含几个简单的实例 (Scala, Java, Python, R). 你可以按照下面的实例运行他们:

# For Scala and Java, use run-example:
./bin/run-example SparkPi

# For Python examples, use spark-submit directly:
./bin/spark-submit examples/src/main/python/pi.py

# For R examples, use spark-submit directly:
./bin/spark-submit examples/src/main/r/dataframe.R