利用Hadoop API使用Java开发程序学习-HDFS上传下载文件

CSDN话题挑战赛第2期
参赛话题:大数据学习成长记录

参考:利用Hadoop API使用Java开发程序学习-文件夹操作

前言/背景

提示:Hadoop学习时,通常大家使用的都是shell命令操作hdfs系统,但实际到程序开发时,通过Java开发程序对hdfs文件系统操作的需求会更多,更能增加程序的稳定性、提高运行效率,方便管理。因此学习利用Hadoop API接口,开发Java程序在hdfs上上传下载文件。

IDEA-community开发Java

掌握通过IDEA开发Java程序

1,创建新的Maven项目
利用Hadoop API使用Java开发程序学习-HDFS上传下载文件_第1张图片
根据提示完成项目创建。

配置pom.xml文件



    4.0.0

    cn.com.lh
    GUNBigdata
    1.0-SNAPSHOT

    
        8
        8
    

    
    

        
            org.apache.hadoop
            hadoop-common
            2.7.3
        
        
            org.apache.hadoop
            hadoop-hdfs
            2.7.3
        
        
            junit
            junit
            4.12
        

        
            commons-logging
            commons-logging
            1.2
        

    


    
        
            
                org.apache.maven.plugins
                maven-compiler-plugin
                3.0
                
                    1.8
                    1.8
                    UTF-8
                    
                
            

            
                org.apache.maven.plugins
                maven-shade-plugin
                2.4.3
                
                    
                        package
                        
                            shade
                        
                        
                            true
                        
                    
                
            
        
    


1,开发在hdfs上创建上传文件代码

package hdfs;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;

import java.io.File;
import java.io.FileInputStream;
import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;

/**
 * @Classname bigdatahdfsupdate
 * @Description 上传文件
 * @Date 2022/9/26 22:47
 * @Created by Tiger_Li
 */
public class bigdatahdfsupdate {

    public static void main(String[] args) throws URISyntaxException, IOException, InterruptedException {
//        1. 导入的configuration版本要与集群的一致
        Configuration conf = new Configuration();
        URI uri = new URI("hdfs://node1:9000");
//        2. 创建fs对象
        FileSystem fs = FileSystem.get(uri, conf, "root");
//        3. 读取本地文件,利用FileInputStream读取本地文件
        FileInputStream inputStream = new FileInputStream(new File("D:\\niit\\2022\\javademo1.txt"));
//        4. 写入远程HDFS上,FSDataOutputStream将文件写入HDFS
        FSDataOutputStream out = fs.create(new Path("/Java/bigdata204/javademo1"));
//        5. 执行写入操作
        IOUtils.copyBytes(inputStream, out, conf);
//        6. 关闭并打印提示
        fs.close();
        System.out.println("上传文件成功!");
    }

}

2,开发在hdfs上创建下载文件到windows的代码

package hdfs;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;

import java.io.File;
import java.io.FileOutputStream;
import java.io.IOException;

/**
 * @Classname bigdata204hdfsdownload
 * @Description 实现hdfs上的文件下载
 * @Date 2022/9/28 9:10
 * @Created by Tiger_Li
 */
public class bigdata204hdfsdownload {

    /**
     * 思路:
     * 1. 配置好HDFS路径,了解操作的集群 Configuration
     * 2. 明确本地存储路径和hdfs上的存储路径
     * 3. 通过IOUtils实现文件下载
     */

    public static void main(String[] args) throws IOException {

//        1. HDFS
        Configuration conf = new Configuration();
        conf.set("fs.defaultFS","hdfs://node5:9000");
        FileSystem fs = FileSystem.get(conf);

//        2. 存储路径
//        hdfs
        FSDataInputStream ips = fs.open(new Path("/Java/bigdata204/flume.log"));
//        local
        FileOutputStream out = new FileOutputStream(new File("D:\\niit\\2022\\flumedemo2.txt"));
//        3. IOUtils实现下载
        IOUtils.copyBytes(ips,out,conf);

//        关闭filesystem
        fs.close();
        System.out.println("下载成功");
    }

}

注意填写的hdfs namenode地址要是active状态,不能为standby状态的。

效果展示

hdfs上传文件

利用Hadoop API使用Java开发程序学习-HDFS上传下载文件_第2张图片

利用Hadoop API使用Java开发程序学习-HDFS上传下载文件_第3张图片 

hdfs下载文件

利用Hadoop API使用Java开发程序学习-HDFS上传下载文件_第4张图片

利用Hadoop API使用Java开发程序学习-HDFS上传下载文件_第5张图片 

 

 

个人经验总结

用Java开发IDEA时,导入依赖时,要注意hadoop版本与集群的hadoop版本一直,由于一直是多hadoop版本开发,idea中会有多个版本的导入提示,导入hadoop版本不一致,会引发各种问题,尤其需要注意。

你可能感兴趣的:(Hadoop,Java,hadoop,java,学习)