Spark-快速上手

快速上手

Spark 的交互式 shell( 用 Python 或Scala) 介 绍 它的 API 。当演示如何在 Java, Scala 和 Python 写独立的程序 时 ，看 编 程指南里完整的参考。依照 这 个指南，首先从 Spark 网站下 载 一个 Spark 发 行包。因 为 我 们 不会使用 HDFS ，你可以下 载 任何 Hadoop 版本的包。使用 Spark Shell。Spark 的 shell 作 为 一个强大的交互式数据分析工具，提供了一个 简单 的方式来学 习 API 。它可以使用 Scala( 在 Java 虚 拟 机上 运 行 现 有的 Java 库 的一个很好方式 ) 或 Python 。在 Spark目 录 里使用下面的方式开始 运 行：

./bin/spark-shell

Spark 最主要的抽象是叫Resilient Distributed Dataset(RDD) 的 弹 性分布式集合。RDDs 可以使用 Hadoop InputFormats(例如 HDFS 文件) 创 建，也可以从其他的 RDDs 转换 。 让 我 们 在Spark 源代 码 目 录 从 README 文本文件中 创 建一个新的 RDD。

scala> val textFile = sc.textFile("README.md")
textFile: spark.RDD[String] = spark