spark(2) -- spark运行模式及Spark local模式安装与Spark Standalone集群

 Spark 框架编写的应用程序可以运行在本地模式(Local Mode)集群模式(Cluster Mode)云服务(Cloud),方便开发测试和生产部署。
spark(2) -- spark运行模式及Spark local模式安装与Spark Standalone集群_第1张图片

概述

  1. 本地模式:Local Mode
    将Spark 应用程序中任务Task运行在一个本地JVM Process进程中,通常开发测试使用。
    spark(2) -- spark运行模式及Spark local模式安装与Spark Standalone集群_第2张图片
    本地模式LocalMode运行:启动一个JVM进程,里面运行Task任务,Task任务并行运行数目依据分 配CPU Core核数,在Spark应用中,一个Task任务运行,需要1Core CPU。
    1)、方式一:local
    表示分配1Core CPU运行
    2)、方式二:local[K]
    表示分配K Core CPU,同时运行K个Task
    3)、方式三:lo

你可能感兴趣的:(大数据学习,spark)