hadoop lzocodec 和lzopcodec 的区别以及索引创建

1:区别

LzoCodec比LzopCodec更快， LzopCodec为了兼容LZOP程序添加了如 bytes signature, header等信息
如果使用 LzoCodec作为Reduce输出，则输出文件扩展名为".lzo_deflate"，它无法被lzop读取；如果使用LzopCodec作为Reduce输出，则扩展名为".lzo"，它可以被lzop读取
生成lzo index job的”DistributedLzoIndexer“无法为 LzoCodec，即 ".lzo_deflate"扩展名的文件创建index
”.lzo_deflate“文件无法作为MapReduce输入，”.LZO"文件则可以。
综上所述得出最佳实践：map输出的中间数据使用 LzoCodec，reduce输出使用 LzopCodec

2：创建索引

lzo文件默认不支持split，创建索引后支持split,这样作为map输入时就可以将文件分割成多个map，否则只能有一个map

只有lzopcodec生成的.LZO文件才能创建索引

（1）单机版本

hadoop   jar   hadoop-lzo-0.4.15.jar  com.hadoop.compression.lzo.LzoIndexer

  /user/recsys/part_test/dt=2019-02-27/xxx_x.lzo

或者

hadoop   jar   hadoop-lzo-0.4.15.jar  com.hadoop.compression.lzo.LzoIndexer    /user/recsys/part_test/dt=2019-02-27

（2）集群版本

 hadoop   jar   hadoop-lzo-0.4.15.jar  com.hadoop.compression.lzo.DistributedLzoIndexer  /user/recsys/part_test/dt=2019-02-27/xxx_x.lzo

或者

 hadoop   jar   hadoop-lzo-0.4.15.jar  com.hadoop.compression.lzo.DistributedLzoIndexer  /user/recsys/part_test/dt=2019-02-27