spark yarn 开启动态资源分配

概念

不需要指定并发，只需要指定内存， 程序在运行后会动态调节并发数量，我们只需要设置一个上线即可

1. 在spark 配置文件设置：
   spark.dynamicAllocation.enabled true
   spark.shuffle.service.enabled true

2. 准备shuffer jar
   将spark安装包中的spark--yarn-shuffle.jar 放在集群中每个节点的classpath中

3. yarn-site.xml 增加

	 <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle,spark_shuffle</value>
     </property>
         <property>
        <name>yarn.nodemanager.aux-services.spark_shuffle.class</name>
        <value>org.apache.spark.network.yarn.YarnShuffleService</value>
     </property>

5. 重启 NodeManager