Spark环境搭建(七)-----------spark的Local和standalone模式启动

spark的启动方式有两种,一种单机模式(Local),另一种是多机器的集群模式(Standalone)

 

Standalone

搭建:

  准备:hadoop001,hadoop002两台安装spark的机器

  1) 在$SPARK_HOME/conf中新建 spark-env.sh,并加入以下内容

  

SPARK_MASTER_HOST=hadoop001    #设置master的host
SPARK_WORKER_CORES=2        #设置core的个数给worker
SPARK_WORKER_MEMORY=2g       #设置worker内存
SPARK_WORKER_INSTANCES=1      #一个worker启动几个实例

   2) 在$SPARK_HOME/conf/slaves中写入(前提是hosts文件中对host有映射)

    hadoop002

  3)sbin/start-all.sh启动所有的节点

  4)查看hadoop001:8080

  Spark环境搭建(七)-----------spark的Local和standalone模式启动_第1张图片

   可以看出有;两个worker,分别在108和109的机器上,4个core(每个worker两个core),worker占用内存共4G。

 使用:

  在bin目录下

  命令: ./spark-shell --master spark://hadoop001:7077

  解释:在主节点master下启动一个shell命令

  在webUI中可以看出,产生一个app,默认将所有的core都使用完毕,而且默认每个core使用1G的内存

  Spark环境搭建(七)-----------spark的Local和standalone模式启动_第2张图片

 

Local

  Local很简单,不需其他配置,在bin目录下 使用命令

    

./spark-shell  --master  local[2]

   在本机启动一个master 通过本地的两个线程启动

转载于:https://www.cnblogs.com/ruoniao/p/7355245.html

你可能感兴趣的:(Spark环境搭建(七)-----------spark的Local和standalone模式启动)