Hadoop入门（五）IO操作

一、HadoopIO操作意义

Hadoop自带一套用于I/O的原子性的操作
（不会被线程调度机制打断，一直到结束，中间不会有任何context switch）
特点
基于保障海量数据集的完整性和压缩性 
Hadoop提供了一些用于开发分布式系统的API（一些序列化操作+基于磁盘的底层数据结构）

 

二、HDFS数据完整性

用户希望储存和处理数据的时候，不会有任何损失或者损坏。
Hadoop提供两种校验
1校验和（常用循环冗余校验CRC-32）
2运行后台进程来检测数据块

（1）校验和

1. 写入数据节点验证
2. 读取数据节点验证
3. 恢复数据
4. Localfilesystem类
5. ChecksumfileSystem类

（2）写入数据节点验证

Hdfs会对写入的所有数据计算校验和，并在读取数据时验证校验和。

元数据节点负责在验证收到的数据后，储存数据及其校验和。在收到客户端数据或复制其他datanode的数据时执行。

正在写数据的客户端将数据及其校验和发送到一系列数据节点组成的管线，管线的最后一个数据节点负责验证校验和

（3）读取数据节点验证

客户端读取数据节点数据也会验证校验和，将它们与数据节点中储存的校验和进行比较。

每个数据节点都持久化一个用于验证的校验和日志。
客户端成功验证一个数据块后，会告诉这个数据节点，数据节点由此更新日志。

（4）恢复数据

由于hdfs储存着每个数据块的备份，它可以通过复制完好的数据备份来修复损坏的数据块来恢复数据。

（5）Localfilesystem类

Hadoop的LocalFileSystem类是用来执行客户端的校验和验证。当写入一个名为filename的文件时文件系统客户端会在包含文件块校验和的同一目录内建立一个名为Filename.crc的隐藏文件。

（6）ChecksumfileSystem类
LocalFileSystem类通过ChecksumFileSystem类来完成自己的任务
FileSystem rawFs；
FileSystem checksummedFs=new ChecksumFileSystem(rawFS);
可以通过CheckFileSystem的getRawFileSystem()方法获取源文件系统。
当检测到错误，CheckFileSystem类会调用reportCheckSumFailure()方法报告错误，然后LocalFileSystem将这个出错的文件和校验和移到名为bad_files的文件夹内，管理员可以定期检查这个文件夹。

（7）DatablockScanner

数据节点后台有一个进程DataBlockScanner，定期验证储存在这个数据节点上的所有数据项，该项措施是为解决物理储存媒介上的损坏。DataBlockScanner是作为数据节点的一个后台线程工作的，跟着数据节点同时启动

它的工作流程如图

由于对数据节点上的每一个数据块扫描一遍要消耗较多系统资源，因此扫描周期的值一般比较大，

这就带来另一个问题，就是在一个扫描周期内可能出现数据节点重启的情况，所以为了提高系统性能，避免数据节点在启动后对还没有过期的数据块又扫描一遍，

DataBlockScanner在其内部使用了日志记录器来持久化保存每一个数据块上一次扫描的时间

这样的话，数据节点可以在启动之后通过日志文件来恢复之前所有的数据块的有效时间。

 

三、基于文件的数据结构

HDFS和MR主要针对大数据文件来设计，在小文件处理上效率低.解决方法是选择一个容器,将这些小文件包装起来,将整个文件作为一条记录,可以获取更高效率的储存和处理,避免多次打开关闭流耗费计算资源.hdfs提供了两种类型的容器 SequenceFile和MapFile

小文件问题解决方案
在原有HDFS基础上添加一个小文件处理模块，具体操作流程如下:

1. 当用户上传文件时，判断该文件是否属于小文件，如果是，则交给小文件处理模块处理，否则，交给通用文件处理模块处理。在小文件模块中开启一定时任务，其主要功能是当模块中文件总size大于HDFS上block大小的文件时，则通过SequenceFile组件以文件名做key，相应的文件内容为value将这些小文件一次性写入hdfs模块。
2. 同时删除已处理的文件，并将结果写入数据库。
3. 当用户进行读取操作时，可根据数据库中的结果标志来读取文件。

 

四、Sequence file

Sequence file由一系列的二进制key/value组成，如果key为小文件名，value为文件内容，则可以将大批小文件合并成一个大文件。Hadoop-0.21.0版本开始中提供了SequenceFile，包括Writer，Reader和SequenceFileSorter类进行写，读和排序操作。该方案对于小文件的存取都比较自由，不限制用户和文件的多少，支持Append追加写入，支持三级文档压缩（不压缩、文件级、块级别）。其存储结构如下图所示：

（1）SequenceFile储存
文件中每条记录是可序列化,可持久化的键值对,提供相应的读写器和排序器,写操作根据压缩的类型分为3种

• Write 无压缩写数据
• RecordCompressWriter记录级压缩文件,只压缩值
• BlockCompressWrite块级压缩文件,键值采用独立压缩方式

在储存结构上,sequenceFile主要由一个Header后跟多条Record组成,如图

    前三个字节是一个Bytes SEQ代表着版本号，同时header也包括key的名称，value class , 压缩细节，metadata，以及Sync markers。Sync markers的作用在于可以读取任意位置的数据。
　在recourds中，又分为是否压缩格式。当没有被压缩时，key与value使用Serialization序列化写入SequenceFile。当选择压缩格式时，record的压缩格式与没有压缩其实不尽相同，除了value的bytes被压缩，key是不被压缩的。

    当保存的记录很多时候，可以把一串记录组织到一起同一压缩成一块。
　在Block中，它使所有的信息进行压缩，压缩的最小大小由配置文件中，io.seqfile.compress.blocksize配置项决定。

（2）SequenceFile写操作

通过createWrite创建SequenceFile对象，返回Write实例，指定待写入的数据流如FSDataOutputStream或FileSystem对象和Path对象。还需指定Configuration对象和键值类型(都需要能序列化)。

SequenceFile通过API来完成新记录的添加操作 fileWriter.append(key,value);

private static void writeTest(FileSystem fs, int count, int seed, Path file,  
                              CompressionType compressionType, CompressionCodec codec)  
  throws IOException {  
  fs.delete(file, true);  
  LOG.info("creating " + count + " records with " + compressionType +  
           " compression");  
  
//指明压缩方式  
  SequenceFile.Writer writer =  SequenceFile.createWriter(fs, conf, file,  
                              RandomDatum.class, RandomDatum.class, compressionType, codec);  
  RandomDatum.Generator generator = new RandomDatum.Generator(seed);  
  for (int i = 0; i < count; i++) {  
    generator.next();    
//keyh  
    RandomDatum key = generator.getKey();    
//value  
    RandomDatum value = generator.getValue();  
//追加写入  
    writer.append(key, value);  
  }  
  writer.close();  
}  

public class SequenceFileWriteDemo {
    private static final String[] DATA = {"One, two, buckle my shoe", "Three, four, shut the door", "Five, six, pick up sticks", "Seven, eight, lay them straight", "Nine, ten, a big fat hen"};

    public static void main(String[] args) throws IOException {
        String uri = =“hdfs:
//master:8020/number.seq";
        Configuration conf = new Configuration();
        FileSystem fs = FileSystem.get(URI.create(uri), conf);
        Path path = new Path(uri);
        IntWritable key = new IntWritable();
        Text value = new Text();
        SequenceFile.Writer writer = null;
        try {
            writer = SequenceFile.createWriter(fs, conf, path, key.getClass(), value.getClass());
            for (int i = 0; i < 100; i++) {
                key.set(100 - i);
                value.set(DATA[i % DATA.length]);
                System.out.printf("[%s]\t%s\t%s\n", writer.getLength(), key, value);
                writer.append(key, value);
            }
        } finally {
            IOUtils.closeStream(writer);
        }
    }
}

（3）读取SequenceFile

public class SequenceFileReadDemo {
  
  public static void main(String[] args) throws IOException {
    String uri = =“hdfs://master:8020/number.seq";
    Configuration conf = new Configuration();
    FileSystem fs = FileSystem.get(URI.create(uri), conf);
    Path path = new Path(uri);

    SequenceFile.Reader reader = null;
    try {
      reader = new SequenceFile.Reader(fs, path, conf);
      Writable key = (Writable)
        ReflectionUtils.newInstance(reader.getKeyClass(), conf);
      Writable value = (Writable)
        ReflectionUtils.newInstance(reader.getValueClass(), conf);
      long position = reader.getPosition();
      while (reader.next(key, value)) {
　　　　 //同步记录的边界
        String syncSeen = reader.syncSeen() ? "*" : "";
        System.out.printf("[%s%s]\t%s\t%s\n", position, syncSeen, key, value);
        position = reader.getPosition(); // beginning of next record
      }
    } finally {
      IOUtils.closeStream(reader);
    }
  }
}

示例2

写入了100条(key,value)的信息，其中以LongWriable为key，以Text作为value

Configuration config = new Configuration(); 
FileSystem fs = FileSystem.get(conf); 
int i = 0; Path path = new Path("/home/lake/hello.xml"); SequenceFile.Writer writer = null; 
SequenceFile.Writer.Option optPath = SequenceFile.Writer.file(path); 
//定义key
 SequenceFile.Writer.Option optKey = SequenceFile.Writer.keyClass(LongWritable.class); 
//定义value 
SequenceFile.Writer.Option optVal = SequenceFile.Writer.valueClass(Text.class); writer = SequenceFile.createWriter(conf, optPath, optKey, optVal); 
//写入的数据测试 
String value = "hello world"; 
while(i < 100){ 
writer.append(new LongWritable(i),new Text(value)); i ++; 
} 
writer.close();

读取的代码

Configuration config = new Configuration();
 FileSystem fs = FileSystem.get(conf); 
Path path = new Path("/home/lake/hello.xml"); SequenceFile.Reader reader = new SequenceFile.Reader(fs.getConf(), SequenceFile.Reader.file(path)); 
List