HDFS的API操作

HDFS设计目标

硬件错误：数量众多的廉价机器使得硬件错误成为常态

数据流访问：应用以流的方式访问数据;设计用于数据的批量处理，而不是低延时的实时交互处理。

放弃全面支持POSIX

大数据集：典型的HDFS上的一个文件大小是G或T数量级的，支持一个云中文件数量达到千万数量级

简单的相关模型：假定文件一次写入多次读取。未来可能支持Appending-writer的模型

移动计算比移动数据便宜：一个应用请求的计算，离它操作的数据越近就越高效

多种软硬件平台中的可移植性

HDFS来源

源自于Google的GFS论文

    发表于2003年10月

    HDFS是GFS克隆版

Hadoop Distributed File System

易于拓展分布式文件系统

运行在大量普通廉价机器上，提供容错机制

为大量用户提供性能不错的文件存取服务

工具类

HdfsUtils.java

package com.matrix.hdfs;

import java.net.URI;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;

public class HdfsUtils {

    public static FileSystem getFileSystem() throws Exception {

        Configuration conf = new Configuration();
        conf.set(//
                "fs.defaultFS", //
                "hdfs://node1:9000"//
        );

        FileSystem fileSystem = FileSystem.get(//
                new URI("hdfs://node1:9000"), //
                conf, //
                "root"//
        );

        return fileSystem;

    }

}

往HDFS文件系统中进行写操作

HdfsFsTest.java

package com.matrix.hdfs;

import java.io.File;
import java.io.FileInputStream;

import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;

public class HdfsFsTest {

    public static void main(String[] args) throws Exception {

        write();

    }

    public static void write() throws Exception {
        FileSystem fileSystem = HdfsUtils.getFileSystem();

        FSDataOutputStream outStream = fileSystem.create(new Path("/usr/a.txt"));
        FileInputStream inStream = new FileInputStream(//
                new File("D:/a.txt")//
        );

        try {
            IOUtils.copyBytes(inStream, outStream, 4096, false);
        } catch (Exception e) {
            e.printStackTrace();
        } finally {
            IOUtils.closeStream(inStream);
            IOUtils.closeStream(outStream);
        }
    }

}

对HDFS文件系统中的文件进行读操作

HdfsFsTest.java

package com.matrix.hdfs;

import java.io.File;
import java.io.FileInputStream;

import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;

public class HdfsFsTest {

    public static void main(String[] args) throws Exception {

        read();

    }


    public static void read() throws Exception {
        String fileUri = "/usr/matrix/hosts";

        FileSystem fileSystem = HdfsUtils.getFileSystem();

        // FileSystem.newInstance(conf);

        // LocalFileSystem localFileSystem = FileSystem.getLocal(conf);

        FSDataInputStream inStream = fileSystem.open(new Path(fileUri));

        try {

            IOUtils.copyBytes(inStream, System.out, 4096, false);

        } catch (Exception e) {
            e.printStackTrace();
        } finally {
            IOUtils.closeStream(inStream);
        }

    }

}

运行结果：

192.168.230.10 node1
192.168.230.11 node2
192.168.230.12 node3
192.168.230.14 node5