【Java】对Minio指定Bucket大量文件的批量下载与本地文件夹的批量上传

文章目录

  • 需求
  • 批量下载
    • 代码
    • 效果
  • 批量上传
    • 代码
    • 效果

需求

需要批量下载一个bucket下的内容,bucket下文件有19GB+,且文件夹结构复杂,使用官方的Console无法完成这么大量文件的下载,而且也不支持文件夹的分享,所以自己写个工具下载,顺便把上传的也写了。

【Java】对Minio指定Bucket大量文件的批量下载与本地文件夹的批量上传_第1张图片

使用官方的打包下载,由于文件太多,一直转,而且session一失效,或者刷新页面,就得重来!

【Java】对Minio指定Bucket大量文件的批量下载与本地文件夹的批量上传_第2张图片

所以官方这个下载,只适合少量文件的打包下载。

批量下载

代码

核心逻辑就是递归,遇到文件夹就继续找文件,遇到文件就下载。

package cn.xdf.xadd.rmq.test;

import io.minio.GetObjectArgs;
import io.minio.ListObjectsArgs;
import io.minio.MinioClient;
import io.minio.Result;
import io.minio.messages.Item;
import org.apache.commons.io.FileUtils;

import java.io.File;
import java.io.InputStream;

/**
 * 批量下载工具
 *
 * @author zhurunhua
 * @date 2023/06/16 3:28 下午
 */
public class BatchDownloadUtil {

    private static final String ENDPOINT = "http://minio:80";
    private static final String ACCESS_KEY = "ak";
    private static final String SECRET_KEY = "sk";
    private static final String BUCKET_NAME = "milvus-t-backup-all";
    private static final String ROOT_PATH = "files/tiku_backup/";
    private static final String LOCAL_DIR = "/Users/xdf/Downloads";

    static MinioClient minioClient = MinioClient.builder().endpoint(ENDPOINT).credentials(ACCESS_KEY, SECRET_KEY).build();

    public static void main(String[] args) throws Exception {
        ListObjectsArgs listObjectsArgs = ListObjectsArgs.builder().bucket(BUCKET_NAME).prefix(ROOT_PATH).build();
        findAndSaveFile(listObjectsArgs);
    }

    private static void findAndSaveFile(ListObjectsArgs listObjectsArgs) throws Exception {
        // List all objects in the bucket
        Iterable<Result<Item>> results = minioClient.listObjects(listObjectsArgs);
        for (Result<Item> result : results) {
            Item item = result.get();
            if (item.isDir()) {
                System.out.println("文件夹:" + item.objectName());
                ListObjectsArgs args = ListObjectsArgs.builder().bucket(BUCKET_NAME).prefix(item.objectName()).build();
                findAndSaveFile(args);
            } else {
                GetObjectArgs getObjectArgs = GetObjectArgs.builder().bucket(BUCKET_NAME).object(item.objectName()).build();
                String objectName = item.objectName();
                // Create a local file with the same name as the object
                File file = new File(LOCAL_DIR + File.separator + objectName);
                // Create parent directories if needed
                file.getParentFile().mkdirs();
                // Get the object as an input stream
                try (InputStream stream = minioClient.getObject(getObjectArgs)) {
                    // Copy the input stream to the file
                    FileUtils.copyInputStreamToFile(stream, file);
                }
                System.out.printf("文件:%s 下载成功!\n", item.objectName());
            }
        }
    }
}

效果

【Java】对Minio指定Bucket大量文件的批量下载与本地文件夹的批量上传_第3张图片

批量上传

代码

package cn.xdf.xadd.rmq.test;

import io.minio.MinioClient;
import io.minio.UploadObjectArgs;

import java.io.File;

/**
 * @author zhurunhua
 * @since 2023/06/16 3:31 下午
 */
public class BatchUploadUtil {

    private static final String ENDPOINT = "http://minio:80";
    private static final String ACCESS_KEY = "ak";
    private static final String SECRET_KEY = "sk";
    private static final String BUCKET_NAME = "milvus-chatglm";
    private static final String PARENT_PATH = "/Users/xdf/Desktop/Temp/";
    private static final String FILE_PATH = "audio";
    private static final String IGNORE_FILE = ".DS_Store";

    static MinioClient minioClient = MinioClient.builder().endpoint(ENDPOINT).credentials(ACCESS_KEY, SECRET_KEY).build();

    public static void main(String[] args) throws Exception {
        // 创建一个 File 对象,指定要遍历的目录的路径
        File dir = new File(PARENT_PATH + FILE_PATH);
        listFileAndUpload(dir);
    }

    public static void listFileAndUpload(File dir) throws Exception {
        // 调用 listFiles 方法获取该目录中的所有文件
        File[] files = dir.listFiles();
        // 遍历文件数组
        for (File file : files) {
            // 判断是否为文件,如果是就打印出绝对路径
            if (file.isFile()) {
                if (!file.getName().equals(IGNORE_FILE)) {
                    uploadFile(file.getAbsolutePath());
                    System.out.printf("文件:%s 上传完成!\n", file.getAbsolutePath());
                }
            } else {
                System.out.println("文件夹:" + file.getAbsolutePath());
                // 如果是目录,就递归调用 listFiles 方法,继续遍历子目录
                listFileAndUpload(file);
            }
        }
    }

    /**
     * eg.
     * 本地文件路径:/Users/xdf/Downloads/files/tiku_backup/meta/partition_meta.json
     * 上传后:/bucket_name/files/tiku_backup/meta/partition_meta.json
     * 即把本地文件前缀去掉,保留指定目录
     */
    private static void uploadFile(String filePath) throws Exception {
        UploadObjectArgs uploadObjectArgs = UploadObjectArgs.builder().bucket(BUCKET_NAME)
                .object(filePath.substring(PARENT_PATH.length()))
                .filename(filePath)
                .build();
        minioClient.uploadObject(uploadObjectArgs);
    }
}

效果

上传后,保留了文件的目录结构

【Java】对Minio指定Bucket大量文件的批量下载与本地文件夹的批量上传_第4张图片

【Java】对Minio指定Bucket大量文件的批量下载与本地文件夹的批量上传_第5张图片
完工!

你可能感兴趣的:(探索与尝试,Java,java,Minio,对象存储,上传下载)