hadoop上lzop的安装

 lzop是开源的压缩算法框架。具体的介绍这里不再赘述，请去网上搜索。本文书写如何在ubuntu上安装lzop.

 所需软件：gcc、g++，Apache ant,lzop,lzo,hadoop-lzo.gcc和g++ ubuntun上已经集成的有。

 安装lzo:

   hadoop@ubuntu:~$wget http://www.oberhumer.com/opensource/lzo/download/lzo-2.06.tar.gz

   hadoop@ubuntu:~$ tar -zxvf lzo-2.06.tar.gz
   hadoop@ubuntu:~/lzo-2.06$./configure --enable-shared
   hadoop@ubuntu:~/lzo-2.06$ make &&sudo make install

   在32位系统机器内将安装后的库文件复制到/usr/lib目录下

   hadoop@ubuntu:~/lzo-2.06$cp /usr/local/lib/liblzo2* /usr/lib

 安装lzop:

   hadoop@ubuntu:~$sudo apt-get install lzop

 安装配置ant:

   hadoop@ubuntu:~$sudo apt-get install ant

 下载hadoop-lzo:

   下载地址:https://github.com/toddlipcon/hadoop-lzo

    解压压缩包，进入解压文件夹内，运行 ant package 

    如果报找不到hadoop相关类的错误，修改build.xml 中

    <javah classpath="${build.classes}"为<javah classpath="/usr/hadoop-1.1.1/hadoop-core-1.1.1.jar:${build.classes}" 然后再运行。记着你自己安装的hadoop-core jar包的路劲，别粘成我的了啊！

修改hadoop配置：

   把你编译的hadoop-lzo-0.4.15.jar（在build文件夹下)拷贝到 $HADOOP_HOME/lib下，同时把hadoop-lzo-0.4.15/lib/native下的jar包拷贝到 $HADOOP_HOME/lib/native下

  修改core-site.xml

<property>
<name>mapred.compress.map.output</name>
<value>true</value>
</property>
<property>
<name>mapred.map.output.compression.codec</name>
<value>com.hadoop.compression.lzo.LzoCodec</value>
</property>
<property>
<name>io.compression.codecs</name>
<value>org.apache.hadoop.io.compress.GzipCodec,
org.apache.hadoop.io.compress.DefaultCodec,
org.apache.hadoop.io.compress.BZip2Codec,
com.hadoop.compression.lzo.LzoCodec,
com.hadoop.compression.lzo.LzopCodec,
org.apache.hadoop.io.compress.SnappyCodec</value>
</property>
<property>
<name>io.compression.codec.lzo.class</name>
<value>com.hadoop.compression.lzo.LzoCodec</value>
</property>

然后重新运行hadoop,即安装成功。