idea Java API 操作 HDFS

---

提示：以下是本篇文章正文内容，下面案例可供参考

一、 hadoop window配置

hadoop tar包解压

1.1 hadoop_home环境变量配置

1.2 Hadoop里的Java路径配置

D:\hadoop-3.3.4\etc\hadoop\hadoop-env.cmd文件修改
(因program file 有空格。用PROGRA~1代替)
set JAVA_HOME=C:\PROGRA~1\Java\jdk1.8.0_241

下载windows下连接hadoop需要的文件hadoop.dll和winutils.exe(https://github.com/
下载apache-hadoop-3.1.1-winutils-master)

二、IDE远程管理HDFS

1.创建maven，导入pom.xml依赖

  <dependencies>

        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>3.3.1</version>
        </dependency>

    </dependencies>

2.案例测试

读取数据（示例）：

package hdfs.demo;

import java.io.InputStream;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;
public class FileSystemCat {
    public static void main(String[] args) throws Exception {
        //创建配置文件对象，加载配置文件中的配置信息
        //默认读取core-default.xml hdfs-default.xml mapred-defalt.xml yarn-default.xml
        // 属性优先级：代码中设置>-site.xml>-default.xml
        Configuration conf = new Configuration();
        // 设置HDFS访问地址
        conf.set("fs.default.name", "hdfs://192.168.10.101:9820");
        // 取得FileSystem文件系统实例
        FileSystem fs = FileSystem.get(conf);
        //System.out.println(fs.getClass().getName());
        // 打开文件输入流
        InputStream in = fs.open(new Path("hdfs:/input/README.txt"));
        // 输出文件内容
        IOUtils.copyBytes(in, System.out, 4096, false);
        // 关闭输入流
        IOUtils.closeStream(in);
    }
}

创建目录

package hdfs.demo;

import java.io.IOException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
public class CreateDir {
    public static void main(String[] args) throws IOException {
        Configuration conf = new Configuration();
        conf.set("fs.default.name", "hdfs://192.168.10.101:9820");
        FileSystem hdfs = FileSystem.get(conf);
        // 创建目录
        boolean isok = hdfs.mkdirs(new Path("hdfs:/mydir"));
        if (isok) {
            System.out.println("创建目录成功!");
        } else {
            System.out.println("创建目录失败！");
        }
        hdfs.close();
    }
}

…

package hdfs.demo;

import java.io.BufferedInputStream;
import java.io.FileInputStream;
import java.io.InputStream;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;
import org.apache.hadoop.util.Progressable;
/**
 * HDFS Java API文件操作
 */
public class HDFSDemo {

    public static void main(String[] args) throws Exception {
        createFile();
        outFile();
        deleteFile();
        copyFromLocalFile();
        copyToLocalFile();
        updateFlileProgress();
        deleteFile();
    }

    /**
     * 定义创建文件方法
     */
    public static void createFile() throws Exception {
        Configuration conf = new Configuration();
        conf.set("fs.default.name", "hdfs://192.168.170.133:9000");
        FileSystem fs = FileSystem.get(conf);
        // 打开一个输出流
        FSDataOutputStream outputStream = fs.create(new Path(
                "hdfs:/newfile2.txt"));
        // 写入文件内容
        outputStream.write("我是文件内容".getBytes());
        outputStream.close();
        fs.close();
        System.out.println("文件创建成功！");
    }


    // 删除文件
    public static void deleteFile() throws Exception {
        Configuration conf = new Configuration();
        conf.set("fs.default.name", "hdfs://192.168.170.133:9000");
        FileSystem fs = FileSystem.get(conf);
        Path path = new Path("hdfs:/newfile2.txt");
        boolean isok = fs.deleteOnExit(path);
        if (isok) {
            System.out.println("删除成功!");
        } else {
            System.out.println("删除失败！");
        }
        fs.close();
    }

    // 复制上传本地文件
    public static void copyFromLocalFile() throws Exception {
        // 1.创建配置器
        Configuration conf = new Configuration();
        conf.set("fs.default.name", "hdfs://192.168.170.133:9000");
        // 2.取得FileSystem文件系统 实例
        FileSystem fs = FileSystem.get(conf);
        // 3.创建可供hadoop使用的文件系统路径
        Path src = new Path("D:/copy_test.txt"); // 本地目录/文件
        Path dst = new Path("hdfs:/"); // 目标目录/文件
        // 4.拷贝上传本地文件（本地文件，目标路径） 至HDFS文件系统中
        fs.copyFromLocalFile(src, dst);
        System.out.println("文件上传成功!");
    }
    
    // 监控文件上传进度
    public static void updateFlileProgress() throws Exception {
        Configuration conf = new Configuration();
        conf.set("fs.default.name", "hdfs://192.168.170.133:9000");
        InputStream in=new BufferedInputStream(
                new FileInputStream("D:/soft/test.zip"));
        FileSystem fs = FileSystem.get(conf);
        //上传文件并监控上传进度
        FSDataOutputStream outputStream = fs.create(new Path("hdfs:/test.zip"), 
                new Progressable() {
          public void progress() {//回调方法显示进度
            System.out.print(".");
          }
        });
       IOUtils.copyBytes(in, outputStream, 4096, false);


    }

    // 复制下载文件
    public static void copyToLocalFile() throws Exception {
        // 1.创建配置器
        Configuration conf = new Configuration();
        conf.set("fs.default.name", "hdfs://192.168.170.133:9000");
        // 2.取得FileSystem文件系统 实例
        FileSystem fs = FileSystem.get(conf);
        // 3.创建可供hadoop使用的文件系统路径
        Path src = new Path("hdfs:/newfile2.txt");// 目标目录/文件
        Path dst = new Path("D:/new.txt"); // 本地目录/文件
        // 4.从HDFS文件系统中拷贝下载文件（目标路径，本地文件）至本地
        // fs.copyToLocalFile(src, dst);
        fs.copyToLocalFile(false, src, dst, true);
        System.out.println("文件下载成功!");
    }

    // 查看文件内容并输出
    public static void outFile() throws Exception {
        // 1.创建配置器
        Configuration conf = new Configuration();
        conf.set("fs.default.name", "hdfs://192.168.170.133:9000");
        // 2.取得FileSystem文件系统 实例
        FileSystem fs = FileSystem.get(conf);
        InputStream in = fs.open(new Path("hdfs:/newfile2.txt"));
        IOUtils.copyBytes(in, System.out, 4096, false);
        IOUtils.closeStream(in);
    }

}