HDFS的JAVA客户端编写（JAVA代码实现对HDFS的操作）

源码如下：

package com.sfd.hdfs;

import java.io.FileInputStream;
import java.io.IOException;

import org.apache.commons.compress.utils.IOUtils;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.LocatedFileStatus;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.fs.RemoteIterator;
import org.junit.BeforeClass;
import org.junit.Test;

public class HdfsUtils {
    private static FileSystem fs;
    /**
     * 每次测试前都将进入此方法对fs进行初始化
     * @throws Exception
     */
    @BeforeClass
    public static void init()throws Exception{
        Configuration conf=new Configuration();
        /**
            设置配置文件（hdfs-site.xml，core-site.xml文件）的信息，
            也可以将工作目录下的core-site.xml,hdfs-site.xml文件
            添加到src目录下，如果不填加程序运行时会报错，
            因为程序的默认的文件管理系统是本地的文件管理系统而不是
            hdfs。
            下面的设置相当于告诉程序，我们的配置是作用在hdfs（分布式文件系统）上的，
            这个设置将会覆盖scr目录下hdfs-site.xml中的相应属性的配置
            通过这个配置生成的fs实际上继承了抽象类FileSystem的DistributedFileSystem子类。
         */ 
        conf.set("fs.defaultFS", "hdfs://localhost:9000");
        fs = FileSystem.get(conf); 
    }
    /**
     * 上传文件到hdfs上（没有被封装）
     * @throws Exception
     */
    @Test
    public void upload() throws Exception{

        Path path=new Path("hdfs://localhost:9000/sfd/sfd3.txt");
        //从文件系统中的到输出流
        FSDataOutputStream os=fs.create(path);
        //得到客户端本地的输入流
        FileInputStream in=new FileInputStream("/home/sfd/soft/download/sfd1.txt");
        //将上面得到的输入流中的数据通过工具类复制到输出流中，从而实现文件从本地上传到hdfs的过程
        IOUtils.copy(in, os);

    }
    /**
     * 使用框架实现本地文件的上传
     * @throws Exception
     */
    @Test
    public void upload2() throws Exception{
        fs.copyFromLocalFile(new Path("/home/sfd/soft/download/sfd1.txt"), new Path("hdfs://localhost:9000/aa/bb/sfd3.txt"));
    }
    /**
     * 使用框架下载hdfs中的文件到本地
     * @throws Exception
     */
    @Test
    public void download()throws Exception{ 
        fs.copyToLocalFile(new Path("hdfs://localhost:9000/aa/bb/sfd3.txt"), new Path("/home/sfd/soft/download/sfd4.txt"));

    }
    /**
     * 查询文件目录中的所有文件（包括子文件夹下的文件，不包括文件夹）
     * @throws Exception
     */
    @Test
    public void listFile()throws Exception{
        //得到hdfs指定（第一个参数）目录下的文件状态的迭代器,第二个参数表示是否迭代的取出该目录下文件夹下的子文件
        RemoteIterator< LocatedFileStatus> files=fs.listFiles(new Path("/"), false);
        //遍历迭代器得到文件名
        while (files.hasNext()){
            //分别得到每个文件的状态
            LocatedFileStatus file=files.next();
            //从状态中得到文件的路径，进而得到文件名
            Path path=file.getPath();
            String filename=path.getName();
            //输出文件名
            System.out.println(filename);

        }

    }
    /**
     * 查询指定目录下的文件和文件夹
     * @throws Exception
     */
    @Test
    public void listFindAndDir()throws Exception{
            //得到文件的状态
            FileStatus[] listStatus = fs.listStatus(new Path("/"));
            //遍历
            for (FileStatus fileStatus:listStatus){
                Path path = fileStatus.getPath();
                String name = path.getName();
                System.out.println(name);
            }
    }
    /**
     * 在hdfs中创建文件夹
     * @throws Exception
     */
    @Test
    public void makedir()throws Exception{
            //如果bb文件夹没有就先创建bb文件夹，如果aa还没有就先创建cc文件夹
            fs.mkdirs(new Path("/aa/bb/cc"));
    }
    /**
     * 使用框架删除文件或非空文件夹
     * @throws Exception
     */
    @Test
    public void remove()throws Exception{
        //删除目录，第二个参数便是是否递归删除，如果第一个参数表示的是非空的文件夹，就会报错
        fs.delete(new Path("/aa/bb"), true);
    }
    /**
     * 使用框架实现文件的重命名和移动
     * @throws Exception
     */
    @Test
    public void reName()throws Exception{
        //1.当两个参数所指向的文件在一个文件夹下的时候实现的是重命名
        //2.当两个参数所指向的文件在不同文件夹下的时候实现的是移动文件
        fs.rename(new Path("/sfd/sfd1.txt"),new Path("/sfd/sfd4.txt"));
    }
}