HDFS小文件优化方法

一、 HDFS小文件弊端

• HDFS上每个文件都要在namenode上建立一个索引，这个索引大小约为150byte，这样的话当小文件比较多的时候就会产生很多的索引文件，一方面会大量占用namenode的内存空间，另一方面就是索引文件过大使得索引速度变慢

二、HDFS小文件优化的几种方法

1. Hadoop本身提供了一些文件压缩的方案
2. 从系统层面改变现有HDFS存在的问题，其实主要还是小文件的合并，然后建立比较快速的索引

一、小文件解决方案

1. Hadoop Archive：是一个高效地将小文件放入HDFS块中的文件存档工具，它能将多个小文件打包成一个HAR文件，这样在减少namenode的内存使用
2. Sequence file：sequence file由一系列的二进制key/value组成，如果key为文件名，value为文件内容，则可以将大批小文件合并成一个大文件
3. CombineFileInputFormat：CombineFileInputFormat是一种新的inputformat，用于多个文件合并成一个单独的split，另外，它会考虑数据的存储位置
4. 开启JVM重用：对于大量小文件job，可以开启JVM重用会减少45%运行时间。
   JVM重用：一个map运行一个jvm，重用的话，一个map在jvm上运行完毕后，jvm继续运行其他map
   具体设置： mapreduce.job.jvm.numtasks值在10-20之间。