spark集群参数配置理解

一、spark-env.sh

spark集群参数配置理解_第1张图片
图1 我自己的配置文件spark-env.sh

line 7中指定hadoop安装目录的配置路径,如果不配置这一项,就要把${HADOOP_HOME}/etc/hadoop下的所有xml文件拷贝到${SPARK_HOME}/conf下,而且不保证正确,所以最好配置这一项。
line 9中如果不配置,在运行spark-submit的时候需要用--jars参数指定这个依赖的jar文件。
line13每个worker需要的core数
line14是指分配给运行在worker节点上的worker进程的内存大小
line15是指分配给在worker进程中executor的内存大小,系统默认是512M。之前一直迷惑为什么我worker进程配置了1G,但是在web ui上观察到的是1024M/512M used,就是这个原因。
line16是指worker进程的数目,如果你设置为2,那么在每个worker节点启动的进程数就是2。

因此,生成的executoer的总个数为num = worker节点数 X worker_instances数(worker进程数)X executor数(截图中没配置,即SPARK_EXECUTOR_INSTANCES,默认为2)。

上面三行都要根据具体的worker节点的物理硬件的限度来配置,超过这个限度任务就启动不起来。按照我的理解,上述三者的关系可用下图来解释。

spark集群参数配置理解_第2张图片
图2

executor是worker里的线程,被限制用可用的cpu core数来执行。
另外在运行spark-submit或者中另一个叫做spark-defaults.con.template的配置文件中,有一项driver_memory。这个首先就要理解我是用过的spark程序的两大类四小种(实际上肯定不止)运行模式了。
两大类是指spark standalone模式和yarn,其实官网上还有一种叫做mesos的部署模式,模式上跟yarn的应该差不多,但原理没去了解,另外还有部署在amazon ec2上的,这后面两个都没亲手测试过,不谈了。,
四小种是指如下:
在standalone下,可分为1)local模式,用本地的线程代替worker进程。2)spark集群,用--master指定spark集群的master节点(其实上面说的mesos部署模式就是用mesos集群代替spark集群,将mesos集群的master节点指定给--master参数)
在yarn模式下,spark系统会将application丢给yarn集群去处理,因此我们强调一定要在图1中的line7示例的配置hadoop集群的信息。然后yarn模式下又根据driver程序是在本地提交还是提交到远程集群分为3)yarn-clien和4)yarn-cluster。因此,driver_memory参数的配置只针对yarn模式下有效,对standalone无效。更具体的,还有例子,可以看看这篇博文《Spark1.0.0 应用程序部署工具spark-submit》


二、yarn-cluster和yarn-client
按照对官网上两种模式描述的理解,我绘制如下图:
In yarn-cluster mode , the Spark driver runs   inside an application master process   which is managed by YARN on the cluster, and the   client can go away after initiating the application。

spark集群参数配置理解_第3张图片
图3 yarn-cluster模式

In   yarn-client mode , the driver runs   in the client process , and the application master is only used for requesting resources from YARN。

spark集群参数配置理解_第4张图片
图4 yarn-client模式

因此,yarn-cluster更适用于实际应用,而yarn-client更适用于交互式的应用,比如说调试。更具体的在这篇博文中有提到 《Spark:Yarn-cluster和Yarn-client区别与联系》

下面几张截图是分别运行两种模式时候的结果。
Yarn-cluster模式:

spark集群参数配置理解_第5张图片

spark集群参数配置理解_第6张图片

Yarn-client模式:

spark集群参数配置理解_第7张图片

spark集群参数配置理解_第8张图片

你可能感兴趣的:(spark,平台搭建)