Hive 自动合并小文件的功能详解

小文件的判断

如果一个 job 结束后,生成的文件的平均大小 小于 参数 hive.merge.smallfiles.avgsize 设定的值,则认为是小文件。如以下设置平均小文件的大小为 128M。

set hive.merge.smallfiles.avgsize=128000000;

合并后的目标文件大小

希望的合并后的目标文件大小,如果此值小于 hive.merge.smallfiles.avgsize, 则此值为 hive.merge.smallfiles.avgsize

set hive.merge.size.per.task=128000000;

合并Tez 作业产生的文件

此参数仅仅对 Tez 作业有作用。如果 Tez 作业的最终输出文件的平均大小小于 hive.merge.smallfiles.avgsize,则启用一个新的作业。

set hive.merge.tezfiles=true;

合并 MapOnly 的作业产生的文件

set hive.merge.mapfiles=true;

此参数设置为 true 的时候,仅合并 mapreduce 作业的 map only 作业。如以下 SQL 有 3 个 mapper,没有 reducer。每个 mapper 仅仅输出 十分之一的数据。结果输出了 3 个小文件。如果 hive.merge.mapfiles=true,会再启动一个作业来合并文件。

set hive.execution.engine=mr;
insert overwrite table  t2 select * from t1 where hash(c1) % 10 = 1;

合并 MapReduce 作业产生的文件

set hive.merge.mapredfiles=true;

此参数设置为 true 的时候,仅合并 有 reduce 任务的 mapreduce 作业。如以下 SQL 有 3 个 mapper,有 4 个 reducer。每个 mapper 仅仅输出 十分之一的数据。结果 reduce 任务输出了 4个小文件。如果 hive.merge.mapredfiles=true,会再启动一个作业来合并文件。

set hive.execution.engine=mr;
insert overwrite table  t2 select c1 from t1 where hash(c1) % 10 =1 group by c1 ;

综述

Hive 自动合并小文件可以减轻 NameNode 的压力。数据量大可以有更好的压缩效率。并且后续处理这些数据时,任务的启动速度会加快。
但是配置稍微复杂,没有一个能用所有引擎的参数。

你可能感兴趣的:(hive,hive)