hive on spark小文件问题【hive.merge.sparkfiles参数不生效】

hive on spark小文件问题【hive.merge.sparkfiles参数不生效】

hive on spark小文件问题【hive.merge.sparkfiles参数不生效】_第1张图片
hive on spark小文件问题【hive.merge.sparkfiles参数不生效】_第2张图片
我也是查看了我们目前集群的版本是spark是3.2.3版本
hive是3.1.3版本,都是比较新的版本,正常是支持这个参数的

在测试环境中,如果在sql中不使用group by函数其实可以可以生效的

找原因,找问题

最后定位到生产上缺少这个包 :hive-exec-3.1.3.jar

hadoop fs -put /usr/lib/hive/lib/hive-exec-3.1.3.jar /生产路径/spark-jars/

好了这个问题就算解决了

你可能感兴趣的:(hive,spark,hadoop)