Hadoop Herriot测试框架之旅——简介

    Herriot测试框架是Hadoop-0.21.0及以后版本中新加入的测试框架，它的出现主要是为了尽可能地模拟真实的大规模分布式系统，并且对该系统实现自动化测试。和Hadoop以前的测试框架MiniDFSCluster类似，Herriot也采用了JUnit框架，此外，Herriot还引入了面向切面编程(AOP)技术-AspectJ，实现了代码注入和错误注入，丰富了测试的内容。

 

    上图是采用Herriot框架对Hadoop集群进行测试的典型场景，可以看到：与早期的MiniDFSCluster测试框架不同，Herriot框架中每个节点（NameNode、JobTracker、DataNode和TaskTracker）都在一个单独的JVM进程中，这与真实的Hadoop集群是一致的；测试机通过本地的Herriot包来远程调用注入在目标节点内的Herriot代码。

    为了测试Java系统，我们需要将一些与测试有关的代码注入到被测试的Java系统中，通常有三种方式：一、直接在代码中加入测试的代码，然后编译成class字节码，这种方式比较简单，但是测试代码污染了原有代码，并且会埋下安全隐患；二、代码编译为class字节码以后，通过修改class字节码的方式来添加测试方法，即生成新的class文件（通常叫做instrumented class），这种实现比第一种方式复杂一些，但是不污染原有代码，但用于测试的字节码和原有代码生成的class字节码不是同一份；三、通过修改JVM来添加测试功能，这种方式最复杂，但是不会影响代码和字节码。Herriot用到的AOP技术属于第二种，即通过修改字节码的方式实现测试功能的注入。