搞清楚LzoCodec和LzopCodec

使用LZO过程会发现它有两种压缩编码可以使用,即LzoCodec和LzopCodec,下面说说它们区别:

  • LzoCodec比LzopCodec更快, LzopCodec为了兼容LZOP程序添加了如 bytes signature, header等信息
  • 如果使用 LzoCodec作为Reduce输出,则输出文件扩展名为".lzo_deflate",它无法被lzop读取;如果使用LzopCodec作为Reduce输出,则扩展名为".lzo",它可以被lzop读取
  • 生成lzo index job的”DistributedLzoIndexer“无法为 LzoCodec,即 ".lzo_deflate"扩展名的文件创建index”.
  • lzo_deflate“文件无法作为MapReduce输入,”.LZO"文件则可以。
  • 综上所述得出最佳实践:map输出的中间数据使用 LzoCodec,reduce输出使用 LzopCodec

你可能感兴趣的:(搞清楚LzoCodec和LzopCodec)