Run Spark on Yarn (翻译)

原文地址:http://spark.apache.org/docs/latest/running-on-yarn.html
spark在0.6.0及以后的版本支持部署在Yarn模式下Hadoop nextgen

在Yarn模式下部署Spark

首先保证HADOOP_CONF_DIR和YARN_CONF_DIR 指向的文件夹包含hadoop集群的
配置文件。这些配置文件用于写HDFS文件和连接到Yarn资源管理器。在Yarn集群
上都使用和这个文件夹相同的配置文件。如果配置里面包含一些不被Yarn管理的
java系统属性或者环境变量,那么在Spark的应用程序的配置中也应该配置这些
信息(如驱动、执行器以及客户端模式下的AM)

这里有2种模式用来在Yarn模式下执行Spark应用程序。在集群模式下,Spark
驱动器运行在一个Yarn管理的集群的主程序的进程中,客户在应用初始化完成
后立刻启动。在客户端模式,驱动则运行在客户端进程中,主程序进程仅仅用来
向Yarn申请资源。

不同于单机模式和Mesos模式主节点是指定在--master参数中,Yarn模式资源调度的地址
是在hadoop的配置文件中配置的。因此,它要设置--master为yarn。

在集群模式下启动spark应用程序
$ ./bin/spark-submit --class path.to.your.Class --master yarn --deploy-mode cluster [options] [app options]

例如:

$ ./bin/spark-submit --class org.apache.spark.examples.SparkPi \
    --master yarn \
    --deploy-mode cluster \
    --driver-memory 4g \
    --executor-memory 2g \
    --executor-cores 1 \
    --queue thequeue \
    lib/spark-examples*.jar \
    10

如上所示在主程序上启动了一个Yarn客户端程序。SparkPi例子作为主应用的一个
子线程运行。控制台则定时去显示主程序的运行状况信息。直到程序运行完,
客户端才会退出。在调试应用程序一节,我们可以学习怎么看驱动器和执行器
的日志。

在客户端模式下启动应用程序和集群模式下相同,只需要把cluster替换成client
就可以了。如下所示在客户端模式下运行spark-shell:
$ ./bin/spark-shell --master yarn --deploy-mode client

添加其他的jar包

在集群模式下,驱动运行在不同的机器上,因此在客户端上SparkContext.addJar的参数不会
引用到本地文件。为了使SparkContext.addJar在客户端有效,我们要在启动命令
中包含’–jars’参数。
例如:

$ ./bin/spark-submit --class my.main.Class \
    --master yarn \
    --deploy-mode cluster \
    --jars my-other-jar.jar,my-other-other-jar.jar
    my-main-jar.jar
    app_arg1 app_arg2

准备工作

运行Spark在Yarn模式下,需要一个支持Yarn模式二进制安装包。你可以在
下载页面下载。如果你要自己
编译,可以参考Building spark

配置

Yarn模式的大部分的配置与其它模式相同,也有部分特殊的配置。在Spark configuration提供了详细配置的信息供参考。

调试应用

在Yarn模式的属于中,执行器和主节点事运行在容器containers中。当程序执行
完成后,Yarn有2种方式来管理容器的日志。如果设置日志的聚合参数(设置 yarn.log-aggregation-enable参数),容器日志将会拷贝到HDFS文件,并且删除
本地文件。我们可以通过yarn logs来查看集群的日志。
yarn logs -applicationId
这条命令能够打印指定应用的所有日志。你也可以通过HDFS shell 或者HDFS的
API来展示HDFS中的日志。你可以通过(yarn.nodemanager.remote-app-log-dir and yarn.nodemanager.remote-app-log-dir-suffix)等参数来查看日志文件的位置。
这些日志也可以在Spark Web UI中 Executors 页面得到但是你需要同时运行Spark
hisroty server和MapReduce history server并且配置yarn-site.xml中的yarn.log.server.url参数。在Spark history server UI 上的日志文件将会展示MapReduce history server中的所有日志。

当日志的聚合参数没有设定的时候,日志就保存在YARN_APP_LOGS_DIR参数指定的目录中,
一般是tmp/logs or $HADOOP_HOME/logs/userlogs,不过不同版本的hadoop可能不一样。
查看这些日志文件需要到每台主机的相应目录。子文件夹中通过 application
ID 和 container ID来命名组织这些文件。也可以在不运行MapReduce history server
的情况在Spark Web UI中 Executors 页面中查看日志。

再回头来看每个容器的启动环境,当增加yarn.nodemanager.delete.debug-delay-sec
到一个比较大的数值(例如:36000)的时候,我们就可以通过yarn.nodemanager.local-dirs
来进入容器都已经启动的节点上的程序的缓存了。这个文件夹包含启动每个
容器的脚本,jars和环境变量。这个过程有助于调试类路径的问题。(注意:
在集群上这样做需要管理员权限和重启所有节点管理器,因此这不适用于托管的集群)

下面是一些在主节点和执行器上使用log4j的配置项:
* 上传一个通常的log4j.properties文件,使用spark-submit将文件添加在
参数--files的文件中
* 添加-Dlog4j.configuration=
spark.driver.extraJavaOptions(驱动器)或者spark.executor.extraJavaOptions(执行器)。注意如果使用文件,那么file:必须明确的使用,并且文件在
在所有的节点上都存在。
* 更新$SPARK_CONF_DIR/log4j.properties后,它将自动上和其他配置一起上床。
注意其它的2项配置具有比这更高的优先级。
注意第一项,执行器和应用程序程序主节点共享同一个log4j的配置时,如果它们在一个节点
上运行将会导致一些问题。(例如:写同样的日志文件)
如果你想正确的显示和聚合日志文件可以考虑把spark.yarn.app.container
.log.dir参数加入到 log4j.properties文件中。例如:
log4j.appender.file_appender.File=${spark.yarn.app.container.log.dir}/spark.log 对于流程序而言,配置RollingFileAppender和设置 YARN
的日志文件路径可以避免大的日志文件导致的磁盘溢出,当然也可以通过YARN
的日志工具访问。

Spark Properties

属性名称 默认值 含义
spark.yarn.am.memory 512m 在客户端模式下Yarn应用程序使用的总的内存,字符格式和JVM内存格式一样(例如:512m,2g)。在集群模式下,使用sprk.driver.memory代替。使用小写字母如:k, m,g, t, and p, for kibi-, mebi-, gibi-, tebi-, pebibytes,respectively.
spark.driver.cores 1 在集群模式下驱动器使用的内核数。由于驱动器和Yarn应用的主节点运行在同一个JVM上面,因此这个参数也控制Yarn应用的主节点的内核数。在客户端模式下面 spark.yarn.am.cores来控制Yarn应用的主节点的内核数
spark.yarn.am.cores 1 在客户端模式下面 spark.yarn.am.cores来控制Yarn应用的主节点的内核数
spark.yarn.am.waitTime 100s 在集群模式下为Yarn应用的主节点等待SparkContext初始化的时间。在客户端模式,为驱动器连接Yarn应用的主节点的时间
spark.yarn.submit.file.replication 默认的HDFS的副本数(默认值是3) 应用程序上传文件到HDFS的副本的等级。包括这些包括Spark jar、APP jar和任何分布式缓存文件/档案
spark.yarn.preserve.staging.files false 设置为true则是保存过期的Spark jar、APP jar和任何分布式缓存文件/档,而不是删除它们
spark.yarn.scheduler.heartbeat.interval-ms 3000 Spark应用程序主节点连接到Yarn资源管理器的间隔(单位:ms)。它要大于Yarn失效时间间隔的1/2。也就是yarn.am.liveness-monitor.expiry-interval-ms
spark.yarn.scheduler.initial-allocation.interval 200ms 当有容器等待分配需求的时候,Spark应用主节点连接到Yarn的资源管理器的间隔。它不能大于spark.yarn.scheduler.heartbeat.interval-ms。等待的间隔将会一直翻倍当等待的容器存在的时候,直到达到spark.yarn.scheduler.heartbeat.interval-ms。
spark.yarn.max.executor.failures numExecutors * 2最小为3 在应用程序失败前,最大的执行器失败数
spark.yarn.historyServer.address Spark history server的地址。例:host.com:18080。这地址不包括http:的前缀。由于Spark history server是可选服务,默认没有设置这个参数。当Spark application从ResourceManager UI 连接到Spark history server UI这个地址作用于ResourceManager UI。对于这个属性,可以由Spark在运行时使用Yarn参数替换。例如:如果 Spark history s与YARN Resource Manager server运行在同一个节点上,它可以设置${hadoopconf-yarn.resourcemanager.hostname}:18080
spark.yarn.dist.archives 逗号分隔的档案分配到每个执行器的工作文件夹
spark.yarn.dist.files 逗号分隔的文件放到每个执行器的工作文件夹
spark.executor.instances 2 执行器的数据。这个参数与spark.dynamicAllocation.enabled冲突。如果spark.executor.instances和spark.dynamicAllocation.enabled都设置时,spark.executor.instances作用而spark.dynamicAllocation.enabled失效.
spark.yarn.executor.memoryOverhead executorMemory * 0.10最小值 384 分配给每个执行器的off-heap内存(以兆字节为单位)。这是VM overheads, interned strings, other native overheads等的内存的总和。它随着执行器的大小改变(通常是6%~10%)
spark.yarn.driver.memoryOverhead driverMemory * 0.10最小值 384 分配给每个执行器的off-heap内存(以兆字节为单位)。这是VM overheads, interned strings, other native overheads等的内存的总和。它随着驱动器的大小改变(通常是6%~10%)
spark.yarn.am.memoryOverhead AM memory * 0.10最小值 384 与spark.yarn.driver.memoryOverhead含义相同,但是在客户端模式下
spark.yarn.am.port (random) Yarn应用程序主机监听的端口。在Yarn客户单模式下,它用于在网关上的Spark驱动器和Yarn应用程序主机之间交互。在Yarn集群模式下,当它被调度器后台关闭的时候,它作用于执行器的特征。
spark.yarn.queue default Yarn队列的名称,决定哪个应用被提交
spark.yarn.jar 本地的Spark jar的地址,以防需要覆盖默认路径。 默认情况下, Spark on YARN使用本地安装的Spark jar包,但是Spark Jar也缓存在一个全局的HDFS上,这样就不用每次程序执行的时候分发了。指向一个HDFS的jar文件,可以参考hdfs:///some/path
spark.yarn.access.namenodes 一组spark应用程序能够访问的HDFS namenodes,它们彼此间用逗号隔开。例如:spark.yarn.access.namenodes=hdfs://nn1.com:8032,hdfs://nn2.com:8032。Spark程序必须能够访问这些节点并且Kerberos正确的配置了它们(不管是在同一个区域还是同一个受信任的区域)。Spark是可以通过安全口令来访问的这些节点,因此Spark应用程序能够访问远端的HDFS集群。
spark.yarn.appMasterEnv.[EnvironmentVariableName] 增加一个通过EnvironmentVariableName 指定的环境变量在Yarn模式下主进程启动程序的时候。这样用户就可以设置多个环境变量了。在集群模式下它控制驱动器启动的环境变量,在客户端模式下它只能控制执行器的环境变量。
spark.yarn.containerLauncherMaxThreads 25 启动执行容器时Yarn应用程序能用的最大线程数
spark.yarn.am.extraJavaOptions 在客户端模式下,给Yarn应用程序配置的一些额外的JVM选项。集群模式下用spark.driver.extraJavaOptions 代替。
spark.yarn.am.extraLibraryPath 客户端模式下添加一些指定的库文件路径
spark.yarn.maxAppAttempts yarn.resourcemanager.am.max-attempts in YARN 提交程序的最大次数,不能大于Yarn配置里面设置的全局的最大次数
spark.yarn.am.attemptFailuresValidityInterval AM失败跟踪的有效间隔。如果AM超过了这个间隔,AM失败数就会被重置。如果没有配置,这个选项不会作用。而且它只在hadoop2.6以上的版本有用。
spark.yarn.submit.waitAppCompletion true 在Yarn集群模式下,控制客户端是否退出在程序完成前。设置为true的时候,客户端进程将一直存活并且报告程序状态。设置为false的时候,客户端在提交后就退出。
spark.yarn.am.nodeLabelExpression 一个Yarn点标签表达式用来限制AM nodes的调度。2.6 以后的版本才支持这个属性,2.6以前则忽略。
spark.yarn.executor.nodeLabelExpression 一个Yarn点标签表达式用来限制执行器节点的调度。2.6 以后的版本才支持这个属性,2.6以前则忽略。
spark.yarn.tags 逗号分隔的字符串作为YARN application tags 出现在YARN ApplicationReports中,用于过滤查询YARN 应用。
spark.yarn.keytab 完整的keytab文件路径包括principal 制定的主体。keytab将拷贝通过分布式的缓存拷贝到引用程序的主节点,用于更新登陆票和代理口令。
spark.yarn.principal Principal 用在运行在安全的HDFS上登陆KDC
spark.yarn.config.gatewayPath 一个有效路径在网管节点(Spark程序启动的节点),但是在集群中的其它节点上同样的资源在其它路径下。和park.yarn.config.replacementPath一起来支持集群的异构配置,那样Spark就可以正确的启动远端的进程了。这个路径包含一些环境变量。例如:如果网管节点的hadoop安装在/disk1/hadoop,但是通过Yarn导出在HADOOP_HOME的环境变量中。HADOOP_HOME设置成/disk1/hadoop能保证通过本地配置就可以启动远端的进程
spark.yarn.config.replacementPath 见上
spark.yarn.security.tokens.${service}.enabled true 当按安全标志激活的时候,控制是否检索NO-HDFS服务的代理标签。默认情况下,所有代理标签都被服务(已经配置)检索,但是也有可能被停止当它与正在运行的程序冲突的时候。当前支持的服务有:hive,hbase

注意事项

  • 核心请求是否在调度决策中履行,依赖于调度的使用和配置。
  • 在集群模式下,Spark执行器和驱动器使用的本地路径将会配置在Yarn中(Hadoop中配置yarn.nodemanager.local-dirs)。即使用户指定了spark.local.dir也会被忽略。在客户端模式下,Spark执行器使用的是Yarn中配置的本地路径,而Spark驱动器使用的是spark.local.dir配置的路径。这是因为只有Spark执行器才运行集群中,Spark驱动器则没有。
  • –files和–archive参数支持类似于hadoop的#。例如:你指定–files localtest.txt#appSees.txt,就会更新本地文件localtest.txt文件到HDFS中的appSees.txt,你在程序运行在Yarn的时候就使用appSees.txt。
  • 在集群模式下 –jars选项允许SparkContext.addJar 添加本地文件。但是如果你使用HDFS, HTTP, HTTPS, or FTP 就不需要使用了。

你可能感兴趣的:(spark)