Spark初体验

Spark是大数据领域一款很流行的云计算系统。之前主要是做Hive，但是Hive相对于Spark来说就显得有点慢了，很多公司都渐渐的在使用Spark来替换Hive进行大数据分析。为了好好的学习一下Spark，准备把学习过程中的要点记录下来，也算是备忘一下。

最开始，可以大概的浏览一下Spark的官网，这对于很多的概念都会有一个很好的认识。Spark包含了几个比较重要的模块：Spark-SQL、Streaming、Mlib、GraphX等。我会从SQL开始，先重点学习这个。

在阅读了官网的相关介绍后（如果感兴趣可以看原版的论文），准备下载Spark的代码，好好研究一下。

git clone https://github.com/apache/spark.git

一般看一个开源项目的代码，最好的入口当属于README.md文件了。

编译Spark

使用如下的命令编译Spark，由于项目比较大，将会是一个比较漫长等待的过程。

build/mvn -DskipTests clean package

启动交互式Shell

编译好以后，使用如下的命令，可以启动一个交互式的Scala Shell。

./bin/spark-shell

Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties
Setting default log level to "WARN".
To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel).
18/12/14 23:35:51 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Spark context Web UI available at http://192.168.199.217:4040
Spark context available as 'sc' (master = local[*], app id = local-1544801753228).
Spark session available as 'spark'.
Welcome to
      ____              __
     / __/__  ___ _____/ /__
    _\ \/ _ \/ _ `/ __/  '_/
   /___/ .__/\_,_/_/ /_/\_\   version 2.2.3-SNAPSHOT
      /_/
         
Using Scala version 2.11.8 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_73)
Type in expressions to have them evaluated.
Type :help for more information.

scala> 

按照文档提示，执行如下的例子检查一下效果：

scala> sc.parallelize(1 to 1000).count()
res0: Long = 1000  

使用Spark-SQL

当尝试登陆Spark-SQL环境的时候，却发现用不了，提示如下的信息：

./bin/spark-sql                                   
java.lang.ClassNotFoundException: org.apache.spark.sql.hive.thriftserver.SparkSQLCLIDriver
        at java.net.URLClassLoader.findClass(URLClassLoader.java:381)
        at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
        at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
        at java.lang.Class.forName0(Native Method)
        at java.lang.Class.forName(Class.java:348)
        at org.apache.spark.util.Utils$.classForName(Utils.scala:233)
        at org.apache.spark.deploy.SparkSubmit$.org$apache$spark$deploy$SparkSubmit$$runMain(SparkSubmit.scala:732)
        at org.apache.spark.deploy.SparkSubmit$.doRunMain$1(SparkSubmit.scala:180)
        at org.apache.spark.deploy.SparkSubmit$.submit(SparkSubmit.scala:205)
        at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:119)
        at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)
Failed to load main class org.apache.spark.sql.hive.thriftserver.SparkSQLCLIDriver.
You need to build Spark with -Phive and -Phive-thriftserver.

需要在编译的时候，把Hive的依赖打上。没办法，按照提示加上-Phive -Phive-thriftserver再次编译一下Spark，又是漫长的等待。

build/mvn -DskipTests clean package -Phive -Phive-thriftserver

编译好后，执行./bin/spark-sql就可以正常的进入spark-sql交互环境了，可以执行show databases;应该可以看到default库。

NOTE

因为此时使用的是本地内嵌的Hive环境，任何操作产生的Hive元数据会在本次会话退出后被清理掉！