Hadoop之HDFS的Java实现

1.写在前面的话

以下说明中的配置其实在Hadoop安装与集群配置中已经配置，在此只是重点说明之！

1. HDFS系统会把用到的数据存储在core-site.xml中由hadoop.tmp.dir指定，而这个值默认位于/tmp/hadoop-${user.name}下面， 由于/tmp目录在系统重启时候会被删除，所以应该修改目录位置。 修改core-site.xml(在所有站点上都修改)

    hadoop.tmp.dir
    /var/hadoop

2. 写HDFS的总体思想：通过java程序访问HDFS，就把HDFS集群当成一个大的系统磁盘就行了。

3. windows上的权限系统和linux上的权限系统，测试期间为了简单起见可以关闭权限检查 在namenode的hdfs-site.xml上，添加配置：

    dfs.permissions.enabled
    false

4. 从HDFS中读取文件主要API如下：

URL.setURLStreamHandlerFactory(new FsUrlStreamHandlerFactory());
InputStream in = new URL("hdfs://192.168.56.200:9000/test.data").openStream();
IOUtils.copyBytes(in, System.out, 4096, true);

5. 事例完整代码：https://github.com/landy8530/hadoop-hdfs

2.实现

2.1基础操作代码

Configuration conf = new Configuration();
conf.set("fs.defaultFS", "hdfs://192.168.56.200:9000");
FileSystem fileSystem = FileSystem.get(conf);

boolean b = fileSystem.exists(new Path("/hello"));
System.out.println(b);

boolean success = fileSystem.mkdirs(new Path("/lyx"));
System.out.println(success);

success = fileSystem.delete(new Path("/lyx"), true);
System.out.println(success);

FSDataOutputStream out = fileSystem.create(new Path("/test.data"), true);
FileInputStream fis = new FileInputStream("d:/bigdata/test/test.txt");
IOUtils.copyBytes(fis, out, 4096, true);

FileStatus[] statuses = fileSystem.listStatus(new Path("/"));
//System.out.println(statuses.length);
for(FileStatus status : statuses) {
    System.out.println(status.getPath());
    System.out.println(status.getPermission());
    System.out.println(status.getReplication());
}

代码结构如下图所示：

代码结构.png

执行结果如下图所示：

执行结果.png

在web管理页面看到的filesytem如下图：

image.png

2.2 文件压缩功能

SequenceFile由一系列的二进制key/value组成，如果为key小文件名，value为文件内容，则可以将大批小文件合并成一个大文件。

以下内容摘自[hadoop2.7.1]I/O之“泥坯块”SequenceFile前序知识

在这里小文件是指文件size比HDFS上block size（hadoop中默认为64M）小的文件，可能会小得多。下面从处理性能和存储能力两个方面分别进行解析。

1. 处理性能

   HDFS最初是为流式访问大文件开发的，如果访问大量小文件，需要不断的从一个datanode跳到另一个datanode，严重影响性能。最后，处理大量小文件速度远远小于处理同等大小的大文件的速度。每一个小文件要占用一个slot，而task启动将耗费大量时间甚至大部分时间都耗费在启动task和释放task上。

2. 存储能力
   在HDFS中，任何block，文件或者目录在内存中均以对象的形式存储，一个java对象在未开启压缩的情况下占用空间约为152bytes，（参考：http://www.cnblogs.com/magialmoon/p/3757767.html ）如果有大量的小文件，光对象占用的内存就是一个特别庞大的数字，这样的话，有多大的内存也不够用。
   其实，除了使用SequenceFile之外，hadoop对于小文件问题也提供了另外两个解决方案：Hadoop Archive和CombineFileInputFormat。

我电脑目录下有两个文件，如下图所示：

测试文件.png

事例代码如下：

uploadMultifile2OneFile方法：

private static void uploadMultifile2OneFile(Configuration conf) throws IOException{
        Path path = new Path("/lyx/seq.data");

        SequenceFile.Writer.Option pathOption = SequenceFile.Writer.file(path);
        SequenceFile.Writer.Option keyOption = SequenceFile.Writer.keyClass(Text.class);
        SequenceFile.Writer.Option valueOption = SequenceFile.Writer.valueClass(Text.class);
        //放入到writer中的key为文件名称，value为文件的内容
        SequenceFile.Writer writer = SequenceFile.createWriter(conf,pathOption,keyOption,valueOption);

        File file = new File("D:\\bigdata\\seq");
        for(File f : file.listFiles()) {
            writer.append(new Text(f.getName()),new Text(FileUtils.readFileToString(f)));
        }
    }

运行结果如下：

结果.png

web管理页面结果如下：

web文件系统显示结果.png

downloadMultifile方法：

private static void downloadMultifile(Configuration conf) throws IOException{
        Path path = new Path("/lyx/seq.data");
        SequenceFile.Reader.Option pathOption = SequenceFile.Reader.file(path);
        //放入到writer中的key为文件名称，value为文件的内容
        SequenceFile.Reader reader = new SequenceFile.Reader(conf,pathOption);

        Text key = new Text();
        Text value = new Text();

        while(reader.next(key,value)) {
            System.out.println("fileName:" + key + ",fileValue:\n" + value);
            System.out.println("=======================================");
        }
    }

运行结果如下：

文件输出结果.png

3.遇见问题

运行该程序一开始出现以下问题

image.png

报【executable null\bin\winutils.exe in the Hadoop binaries.】错误，原因可能有以下两点：

1. 由异常信息null\bin可知，hadoop环境变量未配置
   在系统中设置环境变量，跟java设置类似（只需要设置一次，记得设置后要重启电脑才能生效，jdk这样设置环境变量就不用重启）。
   你要设置HADOOP_HOME和PATH，必须要注意的是：在path变量中，%JAVA_HOME%\bin必须在%HADOOP_HOME%\bin的前面。
2. 可能bin目录下没有winutils.exe文件
   解决方法：winutils.exe的下载地址：https://github.com/srccodes/hadoop-common-2.2.0-bin
   （不用担心版本问题，我Hadoop2.6.4 和Hadoop2.7.3 都用这个），然后把下载的winutils.exe放到你hadoop安装目录的bin/ 目录下

4.延伸阅读

1. Hadoop安装与集群配置
2. Hadoop基本知识点之HDFS