Hive Archive合并文件归档,减少小文件数量(推荐)

我们在使用Hive存储时,有时会遇到Hive表的文件大小不大,但是文件数量众多;这是可能会遇到HDFS的储存空间没到阈值,但文件数量超过阈值。如果小文件太多,容易影响整个集群的性能。

那么对于小文件多的问题,有以下处理方法:

1.输出时减少reduce的数量;但可能会导致job运行变慢

2.使用Spark重新读取小文件,修改分区并写入,这里不建议使用repartition(),推荐使用coalesce()

repartition()会增加文件的大小,因为要历经shuffle阶段,但coalesce()不会经历shuffle阶段,数据大小也不会增加

3.使用Hive Archive合并文件归档,会把分区的数据合并成一个.har的文件,使用方式如下(强烈推荐):

# 设置archive参数
set hive.archive.enabled= true;
set hive.archive.har.parentdir.settable= true;
set har.partfile.size=1099511627776;

# 执行archive
alter table table_name archive PARTITION(dt='${DT}');

你可能感兴趣的:(大数据,hive,archive,减小文件数量)