HDFS小文件治理方案

针对HDFS的小文件的治理方案可具体划分为以下几点:

(对于治理方式的备注:

1、对于拥有客户端权限的用户(后期会一一回收),可通过客户端执行相关命令完成治理工作,治理过程中相关数据的查看也可通过客户端自行完成;

2、对于无客户端权限的用户,可通过小文件合并工具进行文件的合并(目前仅针对hive的文本文件进行合并,其他格式暂不支持);也可通过提交ITSM运维单进行数据的删除操作;

3、通过IDE离线任务进行压缩式合并、删除等相关治理操作。

一、事前/事中治理:

1. HIVE任务小文件个数控制

    设置以下参数:           

    set hive.merge.mapfiles=true;
    set hive.merge.mapredfiles=true;
    set hive.merge.size.per.task=256000000; --合并后平均文件大小
    set hive.merge.smallfiles.avgsize=256000000; --合并前平均文件大小低于此设置,并在小文件开关开启的时候,多跑一个MR合并小文件

2. SPARK任务小文件治理:

   2.1 针对SparkSQL任务

        添加暗示(Hint): /*+ REPARTITION(分区数) */ ,例如:  

              create table tableName as select /*+ REPARTITION(40) */ age,count(*) from person where age between 10 and 20 group by age

              insert into table tableName select /*+ REPARTITION(40) */ age,count(*) from person where age between 10 and 20 group by age

              insert overwrite table tableName select /*+ REPARTITION(40) */ age,count(*) from person where age between 10 and 20 group by age

        分区数:根据任务落地的数据量而定,要求每个落地文件大小在256M左右。 

   2.2 针对Dataset/RDD

        读文件后添加repartition操作。

 针对hive SQL、spark SQL任务,可通过配置相关参数,从小文件生成的源头进行有效治理,但是此种方式会使任务运行时间变长(预计1.5倍,此数据仅供参考,不做任何官方依据),所以在配置参数时请各负责人根据实际需求和场景进行配置;由于直接配置参数会影响任务运行时长,各负责人可通过配置周期性定时任务进行治理操作(例如一周、半月或一月等执行一次),通过这种方式可避免对任务造成的影响。

二、事后治理

压缩式合并策略(适用全部集群,适用客户端和IDE hive任务执行hadoop命令):

     步骤一: 利用hadoop归档命令建小文件归档hadoop archive -archiveName data.har -p srcPath toPath

     步骤二:使用hadoop删除命令删除原始目录下文件hadoop fs -rm  srcPath/*

     步骤三:将归档后的文件移动原始目录hadoop fs -mv toPath/data.har srcPath

事例1:客户端执行

①首先根据命令在客户端中执行归档命令

创建用户存放归档文件的目标目录/user/di/tmp/smallfile_dst;创建原始目录/user/di/tmp/smallfile_src,然后对该目录put数据1.txt文件;最后根据命令执行归档,将归档后的.har文件命名为smallfile_har.har

 

②删除原始目录下文件信息

 

③将归档后的文件移动到原始目录中,mv之后去查询原始目录,发现smallfile_har.har已移动到原始目录/user/di/tmp/smallfile_src下。

HDFS小文件治理方案_第1张图片

 

事例2:IDE hive任务执行(在hive任务中执行是与直接在客户端中执行区别不大,只是在命令前添加!即可,其他步骤一样。)

①在hive任务中执行归档命令如下:

 

②执行rm删除源数据目录文件,然后同样将smallfile_har.har移动到原始目录/user/di/tmp/smallfile_src下,查询成功。

 

事例3:数据查询

①查询存放归档文件的目标目录以及归档信息。

HDFS小文件治理方案_第2张图片

 

②针对hive表文件,如果使用归档操作,则需要重新对表的location进行重新指向,不然无法读取,以下是测试场景。

HDFS小文件治理方案_第3张图片

 

③对于使用归档命令操作之后的目录而言,在读取的时候需要改变path的,比如:

原始目录文件读写时,使用FileSystem的class去访问/user/di/tmp/smallfile_src目录下文件信息;

目前只用归档之后,则需要进行调整,调用HarFileSystem的class去访问/user/di/tmp/smallfile_src/smallfile_har.har目录下文件信息.

HDFS小文件治理方案_第4张图片

 

有兴趣的同时可以研究研究更多的方法类:HarFileSystem (Apache Hadoop Common 2.8.0 API)

你可能感兴趣的:(大数据,hdfs,hive,大数据)