Hadoop深入研究一

Distcp

• 用于在两个多个集群之间进行数据的迁移,复制文件

hadoop distcp hdfs://namenode:9000/user hdfs://namenode:9000/hadoop

1.看了distcp的执行结果你会发现,他其实是个mapreduce任务,但是只有map没有reduce

• distcp会把文件平均分给map去执行,每个文件一个maop 任务,首先会按照文件大小分配,如果大小小于256m纠纷给一个map任务,但是如果大于256m就会平均分配给不同的map任务,一般情况下每个节点的个数不会超过20map任务
• 你可以通过-m手动设置，如果为了hdfs的均衡，最好是将maps设的多一些，将block分摊开来。
• 如果两个集群间的版本不一致，那么使用hdfs可能就会产生错误，因为rpc系统不兼容
  1.推荐用hftp的替代协议webhdfs，源地址和目标地址都可以使用webhdfs,可以完全兼容

hadoop distcp webhdfs://namenode:50070/user/hadoop/input webhdfs://namenode:50070/user/hadoop/input1

Archive

• hdfs并不擅长存储小文件，因为每个文件最少一个block，每个block的元数据都会在namenode节点占用内存，如果存在这样大量的小文件，它们会吃掉namenode节点的大量内存
• hadoop Archives可以使用archive工具创建，同上讲的distcp一样，archive也是一个mapreduce任务

hadoop archive -archiveName input.har -p /user/hadoop/ input har
archiveName指定archive的文件名，-p代表父目录，可以把多个目录文件放到archive里，我们来看下创建好的har文件,input输入路径,har输出路径
in(/user/hadoop/input/),out(/user/hadoop/har)

• 如果用har uri去访问的话，这些文件就会隐藏起来，只显示原文件

hadoop fs -lsr har:///user/hadoop/har/input.har
这个是他的访问模式

限制

• 创建archive文件要消耗和原文件一样多的硬盘空间
• archive文件不支持压缩，尽管archive文件看起来象已经被压缩过了。
• archive文件一旦创建就无法改变，这就意味这你要改一些东西的话，你需要创新创建archive文件
• 虽然解决了namenode的内存空间问题，但是在执行mapreduce时，会把多个小文件交给同一个mapreduce去split，这样明显是低效的解决namenode内存的问题可以参照之前的文章中的hdfs federation。(当达到一定阀值时才会去split)

压缩

• 文件压缩有两个好处
  1.减少存储文件所暂用的空间
  2.可以提高数据的传输速度
• 压缩算法是"空间"和"时间"的转换
• 压缩格式是否可以被分割,也就是说是否可以支持随机读(不用从头扫描,浪费时间)

压缩格式是否可以被分割是非常关键的(考虑到他的并发性)

例子

举个例子，一个未压缩的文件有1GB大小，hdfs默认的block大小是64MB,那么这个文件就会被分为16个block作为mapreduce的输入，每一个单独使用一个map任务。如果这个文件是已经使用gzip压缩的呢，如果分成16个块，每个块做成一个输入，显然是不合适的，因为gzip压缩流的随即读是不可能的。实际上，当mapreduce处理压缩格式的文件的时候它会认识到这是一个gzip的压缩文件，而gzip又不支持随即读，它就会把16个块分给一个map去处理，这里就会有很多非本地处理的map任务，整个过程耗费的时间就会相当长。

• 支持分割的格式: bzip2,lzo
  1.lzo解压缩的速度值最快的,但是他的压缩率是一般的
  2.gzip压缩率是比较高的,各种都比较适中
  3.bzip2的压缩率是最高的,适用于对压缩速度要求不会是很高
  但是对压缩率要求比较高的时候
  4.gzip适用于日志输入格式