Spark相关配置参数

一、任务占用资源计算

executor占用CPU = executor_instances * executor_cores * 10 * 0.8(0.1核)

executor占用内存 = executor_instances * (executor.memory + max(executor.memoryOverhead, OffHeap.size) + executor.pyspark.memory)(GB)

其中,若参数未手动设置,会分配默认值。

也就是说,使用默认参数,每个executor就会分配4g + max(5g, 3.7g) + 6g = 15g的内存,对于一般任务已经足够使用

-- driver
spark.driver.cores 1
spark.driver.memory 4g
-- executor
spark.executor.cores 2
spark.executor.memory 4g
spark.executor.memoryOverhead 5g
spark.executor.pyspark.memory 6g
-- Bytes,约为3.7G
spark.memory.offHeap.size 4000000000 

二、用户需要关注的参数

如上,在使用默认配置时,每个executor就会分配15g内存,已经足够一般任务使用。

所以用户一般只需配置spark.executor.instances,spark.sql.shuffle.partitions,spark.default.parallelism即可。

如果配置后发现还是报OOM错误,可适当提高内存参数,重要参数含义见下方。

推荐配置:

spark.executor.instances 50
spark.sql.shuffle.partitions 300
spark.default.parallelism 300

三、重要参数含义

1、driver相关参数

driver实际申请内存大小计算公式:driver.memory + driver.memoryOverhead

  • spark.driver.memory

    • driver进程(JVM使用)的内存数,一般(memory/cores >= 2g)

    • 通用配置:4g

    • df.collect()会返回所有数据的list,但是这个方法会将所有数据pull到driver,所以在遇到driver爆内存时,可以注意这一点。参数driver.memory调高。

    • 参数调优建议:Driver的内存通常来说不设置,或者设置1G左右应该就够了。

  • spark.driver.cores

    • 默认1,driver程序使用的CPU内核数,若无过多driver单机处理操作,一般不需要配置

    • 通用配置:2

  • spark.driver.memoryOverhead

    • driver JVM堆外内存的大小,默认为max(384, 0.1 * spark.driver.memory)

    • 此配置存在默认单位MB,因此直接配置数字或带具体单位,最少1g

    • 通用配置:1g

2、executor相关参数
  • spark.executor.instances

    • 设置spark作业executor的个数executor.instances * executor.cores为当前application内并行运行task数,需要根据spark.sql.shuffle.partitions判断,一般保证executor.instances * executor.cores <= partitions / 2

    • 通用配置:10

    • 参数调优建议:每个Spark作业的运行一般设置50~100个左右的Executor进程比较合适,设置太少或太多的Executor进程都不好。设置的太少,无法充分利用集群资源;设置的太多的话,大部分队列可能无法给予充分的资源。

  • spark.executor.memory

    • 每个executor进程(JVM使用)的内存大小

    • 默认配置:4g

    • 参数调优建议:每个Executor进程的内存设置4G~8G较为合适。但是这只是一个参考值,具体的设置还是得根据不同部门的资源队列来定。可以看看自己团队的资源队列的最大内存限制是多少,num-executors乘以executor-memory,是不能超过队列的最大内存量的。此外,如果你是跟团队里其他人共享这个资源队列,那么申请的内存量最好不要超过资源队列最大总内存的1/4~1/3,避免你自己的Spark作业占用了队列所有的资源,导致别的同学的作业无法运行

  • spark.executor.cores

    • 每个executor的core数目。每个core同一时间只能执行一个Task线程,cores的数目也就意味着每个executor并行task的数目。

    • 每个task分配的内存大小是executor-memory/executor-cores,可以按照这个分析每个task所占用的内存大小,一般(memory/cores >= 2g)。

    • 每个executor为1个进程,分配一个JVM,考虑到JVM加载task信息的数量,cores个数不要超过5,超出后会容易出现大量加载任务信息导致OOM的情况。

    • 默认配置:2

  • spark.executor.memoryOverhead

    • executor JVM堆外内存大小,一般运行非JVM的逻辑

    • 此部分内存主要用于JVM自身,字符串, NIO Buffer(Driect Buffer)等开销。此部分为用户代码及Spark 不可操作的内存,不足时可通过调整参数解决。

    • 此配置存在默认单位MB,因此直接配置数字或带具体单位,最少1g

    • 默认配置:5g

  • spark.executor.pyspark.memory

    • python的worker内存,仅在使用pyspark时生效

    • 默认配置:6g

  • spark.shuffle.spill.numElementsForceSpillThreshold

    • 默认256000000,即256M。

    • shuffle超过该数据会强行落盘此配置存在单位B,因此直接配置数字即可

    • 通用配置:256000000

  • spark.sql.shuffle.partitions

    • 对Spark SQL专用的设置

    • 默认200,用于设置shuffle时partition的数目,只作用于SQL、DataSet的join/aggregations,无法对纯map操作生效。该参数代表了shuffle read task的并行度。

    • 在用户shuffle OOM时,可考虑增大数目

    • 通用配置:200

  • spark.default.parallelism

    • 在处理RDD时才会起作用,对Spark SQL的无效

    • 默认200,与上面作用相同,只作用于RDD的join/reduceByKey等,无法对纯map操作生效。

    • 通用配置:200

    • 通常来说,Spark默认设置的数量是偏少的(比如就几十个task),如果task数量偏少的话,就会导致你前面设置好的Executor的参数都前功尽弃。试想一下,无论你的Executor进程有多少个,内存和CPU有多大,但是task只有1个或者10个,那么90%的Executor进程可能根本就没有task执行,也就是白白浪费了资源!

    • Spark官网建议的设置原则是,设置该参数为num-executors * executor-cores的2~3倍较为合适,比如Executor的总CPU core数量为300个,那么设置1000个task是可以的,此时可以充分地利用Spark集群的资源。

  • spark.memory.fraction

    • 默认0.75,用于存放缓存数据和运行数据,剩余0.25为User Memory,存放用户定义的数据结构和Spark元数据信息。

    • 在用户persist大量数据或者shuffle聚合数据量比较大时可以考虑增加该值

    • 缓存持久化(persist) + 运行(shuffle+执行编写的代码) = memory.fraction,默认为0.75,persist用memory.storageFraction参数指定,默认0.5

  • spark.memory.storageFraction(spark.memory.useLegacyMode(代表启用spark1.6前的版本)时,spark.storage.memoryFraction)

    • 默认0.5, storage内存大小,用于存储缓存数据,剩余空间用于execute。

    • 在Unified Memory Manage模式下,内存会自动调整,分配storage和execute使用,但是在storage内存不足时,会要回所有分配的内存。

    • 在用户shuffle处理数据比较大时可减小该参数

  • spark.memory.offHeap.size

    • 设置JVM堆外内存大小,可以运行executor JVM相关计算,默认为5000000000,即5G。

    • 一般任务中只有部分shuffle需要大量操作,内存可能OOM时启用,在spark.memory.offHeap.enabled设为true时启用。

    • 此配置存在单位B,因此直接配置数字即可

    • 默认配置:4000000000

你可能感兴趣的:(Spark,spark,大数据)