hive on spark的时候，如何做到hive的spark任务也支持动态分配（已解决）

需求：

比如:  在hive里面写了：select  count(*) from test 这样的一个任务,运行模式是hive on spark ,但是用户就只关心写这个任务就行，至于这个任务需要几个executor，如何实现靠spark的机制动态分配？

开启动态资源分配一定要开启  Spark Shuffle Service

（1）spark-default.conf 添加配置：

        spark.shuffle.service.enabled

        true

 

  参数需要配置到hive-site.xml文件中才生效;

（2）同时hive-site.xml里面配置:

        spark.shuffle.service.enabled

        true







        spark.dynamicAllocation.enabled

        true







        spark.dynamicAllocation.minExecutors

        4







        spark.dynamicAllocation.maxExecutors 

        100