小文件存档

1、HDFS存储小文件弊端

每个文件均按块存储，每个块的元数据存储在NameNode的内存中，因此HDFS存储小文件会非常低效。因为大量的小文件会耗尽NameNode中的大部分内存。但注意，存储小文件所需要的磁盘容量和数据块的大小无关。例如，一个1MB的文件设置为128MB的块存储，实际使用的是1MB的磁盘空间，而不是128MB。

2、解决存储小文件办法之一

HDFS存档文件或HAR文件，是一个更高效的文件存档工具，它将文件存入HDFS块，在减少NameNode内存使用的同时，允许对文件进行透明的访问。具体说来，HDFS存档文件对内还是一个一个独立文件，对NameNode而言却是一个整体，减少了NameNode的内存。

3．案例实操

（1）需要启动YARN进程

[hadoop@hadoop103 ~]$ cd /opt/module/hadoop-2.7.2/
[hadoop@hadoop103 hadoop-2.7.2]$ sbin/start-yarn.sh 
starting yarn daemons
starting resourcemanager, logging to /opt/module/hadoop-2.7.2/logs/yarn-hadoop-resourcemanager-hadoop103.out
192.168.88.104: starting nodemanager, logging to /opt/module/hadoop-2.7.2/logs/yarn-hadoop-nodemanager-hadoop104.out
192.168.88.102: starting nodemanager, logging to /opt/module/hadoop-2.7.2/logs/yarn-hadoop-nodemanager-hadoop102.out
192.168.88.103: starting nodemanager, logging to /opt/module/hadoop-2.7.2/logs/yarn-hadoop-nodemanager-hadoop103.out

（2）归档文件
把/user/hadoop/input目录里面的所有文件归档成一个叫input.har的归档文件，并把归档后文件存储到/user/hadoop/output路径下。

[hadoop@hadoop102 hadoop-2.7.2]$ hadoop fs -put liubei.txt /user/hadoop/input
[hadoop@hadoop102 hadoop-2.7.2]$ hadoop fs -put xinyue.txt /user/hadoop/input
[hadoop@hadoop102 hadoop-2.7.2]$ hadoop fs -put zaiyiqi.txt /user/hadoop/input
[hadoop@hadoop102 hadoop-2.7.2]$ hadoop archive -archiveName input.har -p /user/hadoop/input /user/hadoop/output

（3）查看归档

[hadoop@hadoop103 hadoop-2.7.2]$ hadoop fs -ls -R /user/hadoop/output/input.har
[hadoop@hadoop103 hadoop-2.7.2]$ hadoop fs -ls -R har:///user/hadoop/output/input.har

 
 
 
几百本常用电子书免费领取：https://github.com/XiangLinPro/IT_book