Spark 配置

本地模式

本地模式是学习和实验spark的绝佳方式。本地模式还未计划最终部署到多节点Spark群集的分析，报告和应用程序提供了方便的开发环境

要在本地模式下工作，首先需要安装spark版本以便本地使用。可以使用spark_install功能执行此操作

连接示例

conf$`sparklyr.cores.local` <- 4
conf$`sparklyr.shell.driver-memory` <- "16G"
conf$spark.memory.fraction <- 0.9

sc <- spark_connect(master = "local", 
                    version = "2.1.0",
                    config = conf)

要查看请求的配置如何影响Spark连接，请转到http：// localhost：4040 / storage /中提供的Spark Web UI中的Executors页面

自定义链接

可以通过某些属性自定义与spark的连接，在sparklyr中，可以使用 config函数中的参数设置spark属性spark_connect()
默认情况下，spark_connect()会使用 spark_config()的默认配置。但是可以自定义。
spark_config()仅包含基本配置，因此可能需要其他设置才能正确连接到集群。

SPark定义

节点：服务器
工作节点：作为集群一部分服务器，可以运行spark作业
执行程序：节点内的一种虚拟机。一个节点可以有多个执行程序
驱动程序节点：启动spark会话节点
驱动程序（执行程序）

有用的概念

R传递的spark配置属性只是请求：在大多数情况下，集群对分配给Spark会话资源有最终决定权
集群‘默认’覆盖：很多时候，如果请求资源多于允许的数量，或者尝试修改集群修复设置，则不会返回任何错误

YARN

在基于Hadoop的data lake中使用Spark和R成为公司常用的做法。目前，没有很好的方法来集中管理与Spark服务的用户连接。可以应用一些默认设置，，但大多数情况下，R用户需要自定义设置。
Spark官方文档Running on YARN页面是开始配置设置参数的最佳位置。
如果不是很熟悉Spark，那么由Cloudera提供的YARN调整文章在解释Spark / YARN架构如何工作方面做得非常出色。

客户端模式

使用yarn-client作为master参数的值spark_connect()将使运行R的服务器成为Spark的会话驱动程序。这是一个示例连接：

conf <- spark_config()

conf$spark.executor.memory <- "300M"
conf$spark.executor.cores <- 2
conf$spark.executor.instances <- 3
conf$spark.dynamicAllocation.enabled <- "false"

sc <- spark_connect(master = "yarn-client", 
                    spark_home = "/usr/lib/spark/",
                    version = "1.6.0",
                    config = conf)

集群模式

在集群模式下运行意味着YARN将选择Spark会话驱动程序将在何处运行。这可能意味着运行R的服务器可能不一定是该会话的驱动程序。这里有一篇很好的文章，解释如何运行Spark应用程序：在YARN上运行Spark

服务器至少需要两个文件的副本yarn-site.xml和hive-site.xml
据群集的个人设置，可能还需要其他文件。

这是连接到Cloudera集群的示例：

library(sparklyr)

Sys.setenv(JAVA_HOME="/usr/lib/jvm/java-7-oracle-cloudera/")
Sys.setenv(SPARK_HOME = '/opt/cloudera/parcels/CDH/lib/spark')
Sys.setenv(YARN_CONF_DIR = '/opt/cloudera/parcels/CDH/lib/spark/conf/yarn-conf')

conf$spark.executor.memory <- "300M"
conf$spark.executor.cores <- 2
conf$spark.executor.instances <- 3
conf$spark.dynamicAllocation.enabled <- "false"
conf <- spark_config()

sc <- spark_connect(master = "yarn-cluster", 
                    config = conf)

## 独立模式

以下是通过R连接时要设置的建议Spark属性：

独立模式下的默认行为是为每个工作程序创建一个执行程序。因此，在3个工作节点集群中，将设置3个执行程序。可以设置的基本属性是：

spark.executor.memory - 请求的内存不能超过可用的实际RAM。
spark.memory.fraction - 默认设置为每个执行程序所请求内存的60％。有关更多信息，请参阅Spark官方网站上的“ 内存管理概述”页面。
spark.executor.cores - 请求的内核不能高于每个worker中可用的内核。