学习Hadoop第十二课（Hadoop序列化机制、Linux安装Eclipse及创建快捷图标、使用Maven开发）

       上节课我们一起学习了MapReduce的一个简单实例，这节课我们一起来学习Hadoop的序列化机制。

       首先我们来学习一下，什么叫做序列化，序列化是指把结构化对象转换成字节流，这样做的目的当然是便于在网络中传输。那么什么叫做反序列化？相信大家也知道了，反序列化，顾名思义，就是序列化的逆过程，也就是将字节流转回结构化对象的过程。

       我们非常熟悉的序列化莫过于java的java.io.Serializable了，在java程序中我们要序列化某个类，就给该类打个序列化的标记，我们不用自己去序列化，Java虚拟机会帮我们做好序列化的工作。那么既然java的jdk已经有这么一套成熟的序列化机制了，为什么Hadoop没有使用？这里我们举个例子，假如我们定义了一个叫Animal的基类，该类有动物的一些公共属性及方法，比如动物会叫、会跑等，我们再定义一个Monkey类，该类继承了Animal类，很明显，猴子也是动物，只不过猴子除了动物的一些公共特性外，它还有自己特殊的特性，比如猴子会爬树、会吃香蕉等。用我们的java序列化机制序列化Monkey这个类时，还要保存它与父类Animal的继承结构。反序列化时当然这些也是需要保留的。我们Hadoop要序列化某个类是根本不需要保留它们的继承结构的，只需要能够实现持久化，能够实现快速传递就可以了。这样的话，Java的序列化就会非常冗余，因此Hadoop没有采用Java的序列化机制，而是自己实现了一套序列化机制。

      Hadoop序列化的特点如下：

      1.  紧凑，高效使用存储空间

      2.  快速，读写数据的额外开销小

      3.  可扩展性，可透明地读取老格式的数据

      4.  互操作，支持多语言的交互

      Hadoop的序列化格式是：Writable

      接下来我们通过查看Hadoop的一个类LongWritable的源码来看一下Hadoop的序列化。我们发现LongWritable实现了WritableCompareable接口，如下图所示。

     接下来我们来看一下WritableComparable这个接口，我们发现这个接口继承了Writable、Comparable两个接口，其中Writable就是我们所说的Hadoop的序列化所要实现的接口，如下图所示。

     我们点进去Writable，我们发现该接口下定义了两个接口方法，分别是write和readFields，其中write方法是把一个对象转换为字节流，readFields是把字节流转换成对象。

     接下来我们来做一个实际的例子，该例子既用到了序列化的知识，又用到了大数据的知识。下面是某网吧提供的上网数据，为了能让大家更明白的看懂每列数据的意思，我为每列进行了说明，大家使用数据的时候不用粘贴表头，只粘贴内容就行了。我们现在的需求是，想要得到一天内所有用户上网总流量从高到低的一张列表。针对该需求，我们只需用到下面三列数据，分别是手机号、上行流量、下行流量。

     访问时间        手机号或上网卡  网络运营商的MAC地址           上网机器的IP           访问网站             网址类型    上行包   下行包   上行流量  下行流量  状态
1363157985066  13726230503     00-FD-07-A4-72-B8:CMCC     120.196.100.82   www.taobao.com    购物网站      24          27          2481       24681    200
1363157995052  13826544101     5C-0E-8B-C7-F1-E0:CMCC     120.197.40.4                                                          4             0            264        0            200
1363157991076  13926435656     20-10-7A-28-CC-0A:CMCC     120.196.100.99                                                       2             4           132        1512       200
1363154400022  13926251106     5C-0E-8B-8B-B1-50:CMCC     120.197.40.4                                                           4             0           240         0            200
1363157993044  18211575961     94-71-AC-CD-E6-18:CMCC-EASY 120.196.100.99 iface.qiyi.com   视频网站       15           12         1527       2106       200
1363157995074  84138413     5C-0E-8B-8C-E8-20:7DaysInn 120.197.40.4 122.72.52.12                                          20          16          4116       1432       200
1363157993055  13560439658     C4-17-FE-BA-DE-D9:CMCC     120.196.100.99                                                     18           15          1116       954        200
1363157995033  15920133257     5C-0E-8B-C7-BA-20:CMCC     120.197.40.4        sug.so.360.cn   信息安全           20          20          3156       2936      200
1363157983019 13719199419     68-A1-B7-03-07-B1:CMCC-EASY 120.196.100.82                                                   4            0             240        0            200
1363157984041  13660577991     5C-0E-8B-92-5C-20:CMCC-EASY 120.197.40.4   s19.cnzz.com   站点统计           24          9            6960       690        200
1363157973098  15013685858     5C-0E-8B-C7-F7-90:CMCC     120.197.40.4          sogou.com         搜索引擎         28         27           3659       3538      200
1363157986029  15989002119     E8-99-C4-4E-93-E0:CMCC-EASY 120.196.100.99 www.umeng.com   站点统计     3          3             1938       180        200
1363157992093  13560439658     C4-17-FE-BA-DE-D9:CMCC     120.196.100.99                                                       15         9             918        4938       200
1363157986041  13480253104     5C-0E-8B-C7-FC-80:CMCC-EASY 120.197.40.4                                                      3          3             180        180         200
1363157984040  13602846565     5C-0E-8B-8B-B6-00:CMCC     120.197.40.4 2052. flash2qq.com      综合门户        15        12           1938      2910        200
1363157995093  13922314466     00-FD-07-A2-EC-BA:CMCC     120.196.100.82      img.qfc.cn                                  12       12            3008      3720        200
1363157982040  13502468823     5C-0A-5B-6A-0B-D4:CMCC-EASY 120.196.100.99 y0.ifengimg.com   综合门户     57        102          7335     110349    200
1363157986072  18320173382     84-25-DB-4F-10-1A:CMCC-EASY 120.196.100.99 sogou.com       搜索引擎           21        18            9531      2412       200
1363157990043  13925057413     00-1F-64-E1-E6-9A:CMCC     120.196.100.55 t3.   baidu.com          搜索引擎          69          63          11058    48243     200
1363157988072  13760778710     00-FD-07-A4-7B-08:CMCC     120.196.100.82                                                          2             2            120        120        200
1363157985066  13726238888     00-FD-07-A4-72-B8:CMCC     120.196.100.82       i02.c.aliimg.com                         24           27           2481    24681     200
1363157993055  13560436666     C4-17-FE-BA-DE-D9:CMCC     120.196.100.99                                                        18          15           1116       954       200

    上面的数据对应的字段名称、意义及列索引号如下图所示。

     我们要在Linux上使用Eclipse来进行开发，所以我们要先从Eclipse官网下载Linux版本的Eclipse，具体请参考：http://blog.csdn.net/u012453843/article/details/52582846这篇文章来下载，只是选择的版本是Linux而已。下载完之后我们通过FileZilla工具把包上传到Linux系统的root根目录下（如果不知道怎么上传，请参考：http://blog.csdn.net/u012453843/article/details/52422736这篇文章进行操作），由于后面用到的Maven仓库是m2.tar.gz，因此eclipse的版本不能太高，我原来用的是JEE Mars（4.5）版本，新建Maven工程时老是pom.xml报错，说是找不到2.6版本的maven-resources-plugin.jar包。我们看看m2文件夹下是否有2.6版本，如下图所示，发现确实没有。

        因此为了避免这种情况的发生，我们需要使用合适的JEE版本进行开发，这里我们使用JEE Kepler(4.3)版本（这个版本的Eclipse大家也可以直接到：http://pan.baidu.com/s/1pLD5VLp这个地址进行下载）。如下图所示。

         我们在Linux系统的root根目录下看看我们刚才上传上来的文件是否存在，如下图所示，发现确实已经上传上来了。

        接下来我们便要解压该压缩包了，解压我们使用命令：tar  -zxvf  eclipse-jee-kepler-SR2-linux-gtk-x86_64.tar.gz  -C  /usr/local/然后按回车，便开始解压了，解压成功之后，我们想要在Linux系统上创建Eclipse的快捷方式（这样的话我们操作非常方便），创建快捷方式的步骤如下：

      1.在桌面右键，在右键菜单中点击“Create Launcher”，如下图所示。

     

         2.点击上图的"Create Launcher..."之后，会进入如下图所示界面，Name我们填上eclipse，Command我们点击它后面的"Browse..."按钮。

      3.点击上图的"Browse..."按钮之后我们会看到如下图所示的界面，我们先点击左侧的"File System"---->然后在右侧的文件列表中点击"usr"---->然后在"usr"的子目录下点击"local"------>然后在"local"的子目录下点击"eclipse"------->在"eclipse"文件夹下我们发现有一个eclipse文件，我们选中它，然后点击图片下端的"open"按钮。

     4.接下来我们来更改一下Launcher默认给我提供的快捷键图标，因为默认提供的是一个弹簧，如下图所示，我们点击那个图标。

       5.点击那个弹簧图标之后，会弹出一个窗口，我们依然选择跟第3步一样的目录，在该目录下有一个eclipse自带的logo，如下图所示，我们点击图中的icon.xpm，然后点击"open"按钮。

       6.我们选择eclipse的默认logo之后如下图所示，发现原来的弹簧图标被取代了，我们点击"OK"按钮。

      7.最后我们再来看看桌面，发现我们已经成功创建了Eclipse的快捷图标。

     创建好了Eclipse，就跟我们在Windows下开发一样了，由于现在Maven比较火，所以我们来学习一下如何创建一个Maven工程并且用Maven来管理我们的jar包。

     既然Maven可以帮我们自动关联相关的jar包，那我们就得有jar包让它管理啊，Maven所要管理的jar包都在一个压缩包m2.tar.gz当中，大家如果没有这个压缩包的话可以去这个地址：http://pan.baidu.com/s/1c1IvLg0进行下载。

     下载完之后我们通过FileZilla工具把这个压缩包上传到我们的Linux系统的root根目录下，不懂上传的，可以参考：http://blog.csdn.net/u012453843/article/details/52422736这篇文章进行上传。

     上传到root根目录下之后，我们查看一下文件列表，发现确实已经上传上来了，如下图所示。

    解下来我们使用tar  -zxvf  m2.tar.gz命令来解压该文件，解压完之后，我们查看解压完后的文件.m2，这个文件是个隐藏文件，因此我们得通过命令:ls  -la来查看，如下图所示。

      我们接下来看一下某一个文件夹的jar包。当然这只是看了一个文件夹下的jar包。大家可以看一下其他文件夹下的jar包。

     我们双击打开Eclipse，然后点击"File"--->"New"----->"Maven Project"，如下图所示

      点击上图的"Maven Project"之后，我们会进入到如下图所示界面

    点击上图"Next"之后，我们进入到如下图所示界面，Artifact Id是我们的工程名，我们分别起个名字，然后点击"Finish"

       点击上图的"Finish"之后我们便创建好了一个Maven工程，如下图所示

    接下来我们修改pom.xml文件，在打开这个文件的时候，遇到了一个问题就是Eclipse会莫名其妙的关闭，不知道是什么原因，从网上找了一通，有篇文章给出的解决办法是到eclipse的安装目录下修改eclipse.ini文件，在这个文件的末尾加上：-Dorg.eclipse.swt.internal.gtk.cairoGraphics=false这么一句话，操作步骤如下图所示。

    我们再次打开Eclipse，修改pom.xml文件，加入hadoop的配置，如下图所示，我们注意一下，在我点保存pom.xml文件之前，我们发现左侧文件列表中Maven Dependencies下什么文件也没有，看下图。

    点击保存pom.xml文件之后，Maven会自动帮我们引进来我们所需要的jar包，如下图所示

       接下来我们再来配置另外一个依赖，两个配置如下。

  4.0.0
  com.myhadoop.mr
  datacount
  0.0.1-SNAPSHOT
 
    
         org.apache.hadoop
         hadoop-common
         2.2.0
    
    
        org.apache.hadoop
        hadoop-mapreduce-client-core
        2.2.0
    
 

     配置完之后我们便开始写程序了，首先我们在src/main/java目录下新建一个类DataCount，如下图所示

     接下来我们便在DataCount类里面写内容了，有个问题需要先解决的是代码自动提示功能，由于Linux系统与Windows系统有差异，我们在输入syso之后按“Alt”+“/”并没有像在Windows系统上那样自动给我们补全，如下图所示。

          接下来我们来解决这个不会自动补全的问题，我们点击“Windows”--------->然后点击"Refrences"--------->在弹出的对话框中输入keys------->点击搜索出来的Keys--------->在右侧搜索框输入"content"---------->下面搜索的结果第一行是"Content Assist"，下面Binding的内容默认是Ctrl+Space，这不是我们所熟悉的快捷方式。

     我们把上图的Binding的内容改成"Alt"+"/"，When我们选择"Edting Java Source"。其中Binding这一栏的内容"Alt"+"/"不是手写进去的，因为无法手写，而是先按"Alt"键，按住不放，接着按"/"键，就会出现"Alt"+"/"了。配完之后我们先点击"Apply"然后点击"OK"，这时我们再输入syso之后按"Alt"+"/"快捷键会发现已经可以自动补全了！

     接着我们来写程序，由于我们要输出的结果是上行流量、下行流量、总流量，一个变量无法处理，因此我们需要定义一个Bean类来存储我们的结果，Bean代码如下。

package myhadoop.mr.dc;

import java.io.DataInput;
import java.io.DataOutput;
import java.io.IOException;

import org.apache.hadoop.io.Writable;

public class DataBean implements Writable{
 //手机号
 private String telNo;
 //上行流量
 private long upPayLoad;
 //下行流量
 private long downPayLoad;
 //总流量
 private long totalPayLoad;

 //序列化
 //注意：序列化和反序列化一定要注意类型和顺序，比如我们序列化的时候先序列化字符串telNo，反序列化的时候就应该先反序列化telNo
 public void write(DataOutput out) throws IOException {
  out.writeUTF(telNo);
  out.writeLong(upPayLoad);
  out.writeLong(downPayLoad);
  out.writeLong(totalPayLoad);
 }
   
 //反序列化
 public void readFields(DataInput in) throws IOException {
  this.telNo=in.readUTF();
  this.upPayLoad=in.readLong();
  this.downPayLoad=in.readLong();
  this.totalPayLoad=in.readLong();
 }
 
 public DataBean(){}

 public DataBean(String telNo, long upPayLoad, long downPayLoad,
   long totalPayLoad) {
  super();
  this.telNo = telNo;
  this.upPayLoad = upPayLoad;
  this.downPayLoad = downPayLoad;
  this.totalPayLoad = upPayLoad+downPayLoad;
 }

 @Override
 public String toString() {
  return this.upPayLoad+"\t"+this.downPayLoad+"\t"+this.totalPayLoad;
 }

 public String getTelNo() {
  return telNo;
 }

 public void setTelNo(String telNo) {
  this.telNo = telNo;
 }

 public long getUpPayLoad() {
  return upPayLoad;
 }

 public void setUpPayLoad(long upPayLoad) {
  this.upPayLoad = upPayLoad;
 }

 public long getDownPayLoad() {
  return downPayLoad;
 }

 public void setDownPayLoad(long downPayLoad) {
  this.downPayLoad = downPayLoad;
 }

 public long getTotalPayLoad() {
  return totalPayLoad;
 }

 public void setTotalPayLoad(long totalPayLoad) {
  this.totalPayLoad = totalPayLoad;
 }
   
}

DataCount类完整代码如下。

 

package myhadoop.mr.dc;

import java.io.IOException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

public class DataCount {
    public static void main(String[] args) throws Exception {
      Configuration conf=new Configuration();
      Job job=Job.getInstance(conf); 
     
      job.setJarByClass(DataCount.class);
     
      job.setMapperClass(DCMapper.class);
      job.setMapOutputKeyClass(Text.class);
      job.setMapOutputValueClass(DataBean.class);
      FileInputFormat.setInputPaths(job, new Path(args[0]));
     
      job.setReducerClass(DCReducer.class);
      job.setOutputKeyClass(Text.class);
      job.setOutputValueClass(DataBean.class);
      FileOutputFormat.setOutputPath(job, new Path(args[1]));
     
      job.waitForCompletion(true);
  }
   
    public static class DCMapper extends Mapper{
      Text text=null;
  @Override
  protected void map(LongWritable key, Text value, Context context)
    throws IOException, InterruptedException {
   String line=value.toString();
   String[] fields=line.split("\t");

   //我们要使用的数据的第二列（列索引号为1）就是手机号，第9列（列索引号8）是上行流量，第10列（列索引号9）是下行流量
   String telNo=fields[1];
   long up=Long.parseLong(fields[8]);
   long down=Long.parseLong(fields[9]);
   DataBean bean=new DataBean(telNo, up, down);
   text=new Text(telNo);
   context.write(text,bean);
  }     
     }
   
    public static class DCReducer extends Reducer{

  @Override
  protected void reduce(Text key, Iterable v2s,Context context)
    throws IOException, InterruptedException {
    long up_sum=0;
    long down_sum=0;
    for(DataBean bean:v2s){
     up_sum+=bean.getUpPayLoad();
     down_sum+=bean.getDownPayLoad();
    }
    DataBean bean=new DataBean(key.toString(), up_sum, down_sum);
    context.write(key, bean);
  }     
    }
}

接下来开始导出Jar包，如下图所示，我们在工程datacount上右键，在下拉菜单中点击"Export"，会弹出如下图右侧的弹出框，在弹出框我们选择Java目录下的JAR file然后点击"Next"

    点击上图的"Next"之后我们会进入到如下图所示的界面，我们勾选上第二项（Export all output folders for checked projects ----导出工程下的所有文件），下面的JAR file我们可以通过点击Browser选择一个目录，这里我选择的是root根目录，导出的Jar包的名字我起名为examples.jar，然后我们点击"Finish"

  

     接下来我们把上网的元数据上传到root根目录下（元数据大家可以到http://download.csdn.net/detail/u012453843/9640894这个地址进行下载），上传完之后我们查看一下root根目录是否有我们要用到的文件，发现我们刚上传的HTTP_20130313143750.dat文件还有我们上面刚打成的jar包examples.jar都在root根目录下。

      接下来我们需要把HTTP_20130313143750.dat上传到HDFS系统根目录下，我们的HDFS默认情况是关闭的，因此我们需要先开启HDFS，我们可能会忘掉Hadoop当时放到哪儿了，那么which haoop便可以帮我们快速定位，显示的位置是/itcast/hadoop-2.2.0/bin/hadoop，因此我们便知道去哪个目录了，我们进入到hadoop-2.2.0下面的sbin目录中，使用命令./start-dfs.sh和./start-yarn.sh来分别开启HDFS和Yarn，开启完之后我们检查一下是否成功，使用命令jps来查看进程，发现所有的进程都正常启动了（如果某进程未启动，可以先关掉dfs或yarn再重新启动就可以了。）

      接下来我们把上网源数据上传到HDFS根目录下，在上传之前先检查HDFS根目录下是否已经有相同个文件了，使用的命令是hadoop  fs  -ls  /，我们发现当前HDFS系统根目录下只有一个文件。

      这时我们才开始上传，使用命令:hadoop  fs  -put  HTTP_20130313143750.dat  /data.dat来上传，上传完之后我们再查看HDFS系统根目录，发现我们的文件已经上传成功。

      有了data.dat文件之后，我们便开始执行examples.jar这个程序了，使用命令：hadoop  jar  examples.jar  myhadoop.mr.dc.DataCount  /data.dat  /dataout并按回车，程序开始执行，执行完之后，我们使用命令:hadoop  fs  -ls  /dataout查看一下dataout这个文件夹下都有哪些文件，发现有两个文件，我们使用命令:hadoop  fs  -cat  /dataout/part-r-00000/来查看part-r-00000这个文件的内容，发现程序确实已经帮我统计好了所以有用户的上网流量信息。第一列是手机号或上网卡，第二列是上行流量，第三列是下行流量，第四列是总流量（上行流量加下行流量），生成的结果是没问题的，大家可以通过对比data.dat文件中的内容进行验证。

 至此，本小节课终于学完了。