升级 spark 2.4问题：Spark Streaming日志级别设置，最小堆内存设置
一、内存问题
1、旧集群
spark 1.6.1
jdk 1.7 或 1.8
jvm 堆内存分配，直接分配的为driver申请的内存（最大、最小堆内存相等）
2、新集群
spark 2.4.1
jdk 1.8
jvm 堆内存分配，刚开始分比较小的内存，当内存不够时，增加内存（主要是老年代内存），新生代内存也有增长，但是比较小（280M-556M），
问题分析：
查看spark 源码：org.apache.spark.launcher.Main发现如下问题：
Spark 2.4 分配的jvm 堆的大小时，未分配
Spark 2.3 分配的jvm 堆的大小时，只分配cmd.add("-Xmx" + memory);未分配最小堆内存
Spark 1.6 分配的jvm 堆的大小时，cmd.add("-Xmx" + memory);cmd.add("-Xms" + memory);
问题解决：2.3
1、添加配置：--conf spark.driver.extraJavaOptions="-Xms55G” \
2、修改spark-class的cmd构建出的最小堆内存：CMD=("${CMD[@]}" "-Xms55G"
while IFS= read -d '' -r ARG; do
# echo "*****$ARG*****"
# CMD+=("$ARG")
if [ "$ARG" = "-cp" ]; then
CMD=("${CMD[@]}" "-Xms55G")
echo ${CMD[@]}
fi
CMD+=("$ARG")
done < <(build_command "$@")问题解决：2.4
--conf spark.driver.extraJavaOptions="-Xms32G” \
--conf spark.driver.extraJavaOptions="-Xmx128G” \
二、日志级别设置
1、spark 1.6.1-日志级别设置
Logger.getLogger("org").setLevel(Level.WARN)
2、spark 2.4.1-日志级别设置
a、步骤1的设置，只在driver端生效，executor端无效，默认日志级别为INFO
b、设置executor端日志级别为WARN
1）从 $SPARK_HOME/conf copy log4j.properties.template 到指定目录，并修改名称为 log4j.properties，这里的指定目录为当前应用程序jar包所在目录下的conf文件夹
2）添加如下配置信息
--conf spark.executor.extraJavaOptions="-Dlog4j.configuration=log4j.properties" \
--files conf/metrics.properties,conf/log4j.properties \第二种方式：
1、屏蔽系统日志
/请注意是apache.log4j不是org.slf4j
import org.apache.log4j.{Level, Logger}
// 屏蔽不必要的日志 ,在终端上显示需要的日志
Logger.getLogger("org.apache.spark").setLevel(Level.OFF)
Logger.getLogger("org.eclipse.jetty.server").setLevel(Level.OFF)
Logger.getLogger("org.apache.kafka.clients.consumer").setLevel(Level.OFF)
2、屏蔽 sparkContext 的日志
sparkContext.setLogLevel("WARN")