2021-12-15 Ubuntu下安装配置 Apache Spark

Apache Spark是一种快速群集计算技术，专为快速计算而设计。它基于HadoopMapReduce，它扩展了MapReduce模型以便将其用于更多类型的计算，其中包括交互式查询和流处理。Spark的主要特点是其内存集群计算，可提高应用程序的处理速度。

Spark旨在涵盖各种工作负载，如批处理应用程序，迭代算法，交互式查询和流式处理。除了在各自的系统中支持所有这些工作负载之外，它还减少了维护单独工具的管理负担。

Spark实际上不依赖于Hadoop，因为它拥有自己的集群管理。Hadoop只是实现Spark的一种方式。Spark以两种方式使用Hadoop，一种是存储，另一种是处理。由于Spark有自己的集群管理计算，因此它仅将Hadoop用于存储目的。

本文把 Hadoop作为存储，如何安装 Hadoop 见https://www.jianshu.com/p/97449d067cd9。

Ubuntu 版本: 18.x ～ 20.x

Spark 版本：3.1.2  （https://spark.apache.org/）

1. 安装 JDK 和设置 JAVA_HOME

略

2. 安装 Spark

    $ wget https://mirrors.tuna.tsinghua.edu.cn/apache/spark/spark-3.1.2/spark-3.1.2-bin-hadoop3.2.tgz
    $ mv ./spark-3.1.2-bin-hadoop3.2.tgz ~/apps/    # 移动到你想要放置的文件夹
    $ tar -zvxf spark-3.1.2-bin-hadoop3.2.tgz        # ~/apps/spark-3.1.2  (rename folder)
    $ mv spark-3.1.2-bin-hadoop3.2 spark-3.1.2

    $ sudo vim /etc/profile

        HADOOP_CONF_DIR=/home/xxx/apps/hadoop-3.2.2/etc/hadoop    # Run pyspark on hadoop yarn
        SPARK_HOME=/home/xxx/apps/spark-3.1.2
        PATH=$PATH:$SPARK_HOME/bin
        export HADOOP_CONF_DIR SPARK_HOME


3. 本地运行 pyspark

    $ pyspark --master local[2]

        >>> sc.master
        'local[2]'
        >>> textFile = sc.textFile("file:/home/xxx/apps/spark-3.1.2/README.md")
        >>> textFile.count()

        >>> textFile2 = sc.textFile("hdfs://hadoop-master-vm:9000/test/data.txt")
        >>> textFile2.count()


4.  Hadoop yarn 方式运行 pyspark

    $  pyspark --master yarn --deploy-mode client 
   
        >>> textFile = sc.textFile("hdfs://hadoop-master-vm:9000/test/data.txt")
        >>> textFile.count()


5. 独立群集方式运行 Spark

    $ cd ~/apps/spark-3.1.2
    $ cp ./conf/spark-env.sh.template ./conf/spark-env.sh
    $ vim ./conf/spark-env.sh
   
        export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
        export SPARK_MASTER_IP=hadoop-master-vm
        export SPARK_MASTER_PORT=7077

    $ cp ./conf/workers.template ./conf/workers
    $ vim ./conf/workers

        #localhost
        hadoop-slave-vm

    $ ./sbin/start-all.sh
    $ ./sbin/stop-all.sh

    $ pyspark --master spark://hadoop-master-vm:7077 --num-executors 1 --total-executor-cores 3 --executor-memory 512m

   
    Spark Web UI:

        http://hadoop-master-vm:8080

6. SparkContext 示例 - Python程序

    创建一个名为 firstapp.py 的Python文件，并在该文件中输入以下代码。

    ----------------------------------------firstapp.py---------------------------------------
    from pyspark import SparkContext
    logFile = "file:///home/hadoop/spark-2.1.0-bin-hadoop2.7/README.md" 
    sc = SparkContext("local", "first app")
    logData = sc.textFile(logFile).cache()
    numAs = logData.filter(lambda s: 'a' in s).count()
    numBs = logData.filter(lambda s: 'b' in s).count()
    print "Lines with a: %i, lines with b: %i" % (numAs, numBs)
    ----------------------------------------firstapp.py---------------------------------------

    然后我们将在终端中执行以下命令来运行此Python文件。我们将得到与上面相同的输出。

    $SPARK_HOME/bin/spark-submit firstapp.py
    Output: Lines with a: 62, lines with b: 30