黑猴子的家:Hive 数据倾斜优化之 小文件合并

在map执行前合并小文件,减少map数:CombineHiveInputFormat具有对小文件进行合并的功能(系统默认的格式)。

HiveInputFormat没有对小文件合并功能

hive> set hive.input.format= org.apache.hadoop.hive.ql.io.CombineHiveInputFormat;

你可能感兴趣的:(黑猴子的家:Hive 数据倾斜优化之 小文件合并)