分布式文件系统MinIO

详细分析Java中的Minio类各API（附win配置安装）（全）

目录前言1.Window配置2.存储桶的基本方法3.存储对象的基本方法3.1上传对象3.1.1putObject3.1.2uploadObject3.2操作对象3.2.1getPresignedObjectUrl3.2.2getPresignedPostFormData3.2.3listObjects3.2.4copyObject3.2.5downloadObject3.2.6removeObje
码农研究僧·2024-02-02 11:56

事件驱动架构：使用Flask实现MinIO事件通知Webhooks

MinIO的事件通知可能一开始看起来并不激动人心，但一旦掌握了它们的力量，它们就能照亮您存储桶内的动态。事件通知是一个全面、高效的对象存储系统中的关键组件。
MinIO官方账号·2024-02-02 08:35

Docker多节点部署Minio分布式文件系统并测试

`env/minio.env`3.`docker-compose-minio.yml`三、测试四、Java测试1.引入依赖2.增删改一、前提准备准备如下文件夹和文件.
木子dn·2024-02-02 01:07

NFS 网络文件系统

NFS协议是在分布式文件系统的基础上发展而来的，最早由SunMicrosystems开发，现已成为一个通用的文件共享协议，在UNIX和类UNIX系统中广泛使用。特点：
樂夢·2024-02-01 23:08

FastApi中UploadFile如何支持多次读取

错误代码如下asyncdefcreate_task(db:Session,model_uid:str,user_name:str,task_type:str,test_file:UploadFile):MinIOAccessor.put_object
sunshine2853·2024-02-01 21:56

1 初识Ceph

Ceph是加州大学SantaCruz分校的SageWeil专为博士论文设计的分布式文件系统，支持对象存储、块存储和文件存储。从2004年新建第一个文件夹至今，经历了多次迭代，目前已是分布式存储的首选。
DaemonXiao·2024-02-01 21:21

大数据高频面试题一：hive和Oracle的区别

Hive和Oracle数据库最大的区别在于存储和计算方面：Hive存储在hdfs上（Hadoop分布式文件系统容错性高），Oracle将数保存在本地文件系统中。
半亩书田·2024-02-01 02:47

SpringBoot中集成Minio高性能分布式存储文件服务入门

MinioMinio是基于Go语言编写的对象存储服务，适合于存储大容量非结构化的数据，例如图片、音频、视频、日志文件、备份数据和容器/虚拟机镜像等，而一个对象文件可以是任意大小，从几kb到最大5T不等。
霸道流氓气质·2024-01-31 16:17

什么是分布式系统！以及分布式系统架构的优缺点

包括分布式操作系统、分布式程序设计语言及其编译系统、分布式文件系统分
架构师Javaspring·2024-01-31 15:57

高可用pxc+rocketmq+es+redis+minio+keepalive+haproxy 实操

文章很长，建议收藏起来慢慢读！总目录博客园版为您奉上珍贵的学习资源：免费赠送:《尼恩Java面试宝典》持续更新+史上最全+面试必备2000页+面试必备+大厂必备+涨薪必备免费赠送经典图书:《Java高并发核心编程（卷1）》面试必备+大厂必备+涨薪必备加尼恩免费领免费赠送经典图书:《Java高并发核心编程（卷2）》面试必备+大厂必备+涨薪必备加尼恩免费领免费赠送经典图书:《NettyZookeepe
40岁资深老架构师尼恩·2024-01-31 09:01

SpringBoot集成Minio入门教程

一.minio介绍MinIO是一个基于ApacheLicensev2.0开源协议的对象存储服务。
AskHarries·2024-01-31 08:32

大数据存储与管理

大数据存储与管理本节主要讲述大数据存储与管理技术的概念和原理，包括Hadoop分布式文件系统(HDFS)和分布式数据库（Hbase）;体系结构：一、分布式文件系统HDFS1.HDFS体系结构2.HDFS
Kris林·2024-01-31 07:25

minio配置https【docker启动】

生成私钥opensslgenpkey-algorithmRSA-outserver.key生成CSRopensslreq-new-keyserver.key-outserver.csr生成证书opensslx509-req-inserver.csr-signkeyserver.key-outserver.crt修改将servier.key和server.crt放在某个文件夹中，后面会挂在到mini
HardCorePlayer·2024-01-31 06:50

大数据----4.hadoop分布式框架搭建

-使用本地文件系统，而不是分布式文件系统。-Hadoop不会启动NameNode、DataNode、JobTracker、TaskTracker等守护进程，Map()和Reduce
学无止境的大象·2024-01-31 06:49

HDFS Federation前世今生

一背景熟悉大数据的人应该都知道，HDFS是一个分布式文件系统，它是基于谷歌的GFS实现的开源系统，设计目的就是提供一个高度容错性和高吞吐量的海量数据存储解决方案。
跟着大数据和AI去旅行·2024-01-31 05:31

Flink中StateBackend（工作状态）与Checkpoint（状态快照）的关系

Flink定期获取所有状态的快照，并将这些快照复制到持久化的位置，例如分布式文件系统。如果发生故障，Flink可以恢复应用程序的完整状态并继续处理，就如同没有出现过异常。Fli
PONY LEE·2024-01-31 04:22

从公有云对象存储迁移到回私有化 MinIO需要了解的所有信息

我们上一篇文章《如何从AWSS3遣返到MinIO》的反响非常出色-我们已经接到了数十个企业的电话，要求我们提供遣返建议。
MinIO官方账号·2024-01-30 22:18

Spark的核心RDD（Resilient Distributed Datasets弹性分布式数据集）

除可复制的文件系统（HDFS）外没有提供其他存储的概念，这就导致在网络上进行数据复制而增加了大量的消耗，而对于两个的MapReduce作业之间数据共享只有一个办法，就是将其写到一个稳定的外部存储系统，如分布式文件系统
fcyh·2024-01-30 15:46

本地MinIO存储服务通过Java程序结合Cpolar内网穿透进行远程连接

文章目录前言1.创建Buckets和AccessKeys2.Linux安装Cpolar3.创建连接MinIO服务公网地址4.远程调用MinIO服务小结5.固定连接TCP公网地址6.固定地址连接测试前言MinIO
小沈YO.·2024-01-30 11:01

使用 CDC MinIO 汇入端为 CockroachDB 保持持久数据

CockroachDB数据库迅速崭露头角，作为一个坚韧且可扩展的分布式SQL数据库。它从其昆虫名字的坚持不懈中汲取灵感，即使面对硬件故障，CockroachDB也能保证高可用性。其分布式架构横跨多个节点，类似于其昆虫原型的适应性。凭借强一致性和ACID事务支持，CockroachDB成为需要数据准确性和可靠性的应用程序的可靠选择，在动态环境中蓬勃发展，轻松管理分布式数据的复杂性。本博客介绍了将Mi
MinIO官方账号·2024-01-30 04:28

2.图说HDFS基本原理

英文原版作者：ManeeshVarshney,[email protected]是现在最受欢迎和被人们说熟知的分布式文件系统。
__元昊__·2024-01-30 03:59

hadoop必记知识点（1）

其中，HDFS为分布式文件系统，负责数据存储；MapR
运维仙人·2024-01-30 02:40

大数据 - Hadoop系列《三》- MapReduce（分布式计算引擎）概述

上一篇文章：大数据-Hadoop系列《三》-HDFS（分布式文件系统）概述-CSDN博客目录12.1针对MapReduce的设计构思1.如何对付大数据处理场景2.构建抽象编程模型3.统一架构、隐藏底层细节
王哪跑nn·2024-01-29 23:31

GFS--Google File System论文翻译和理解

一、系统设计目标高可用的大文件分布式文件系统。二、关键点Architecture-架构：有哪些Server，每个Server的功能。Master存储的MetaData的结构。client写数据流程。
不争_900c·2024-01-29 23:00

全面解析基于Hadoop模型的数据分析平台框架

本文主要讲解以下两个方面：♦HadoopMapReduce与Hive技术研究♦数据分析平台框架设计与环境配置HadoopMapReduce与Hive技术研究一、Hadoop框架工作机制Hadoop框架定义：Hadoop分布式文件系统
丨程序之道丨·2024-01-29 17:04

Freemarker页面静态化

页面静态化可用应用场景：文章详情页面，可将文章详情页面生成固定的静态页面，放入到nginx或者minio中，后面查询就不再访问数据库了。
sunyunfei1994·2024-01-29 15:13

高性能分布式对象存储——MinIO（环境部署）

一、概述MinIO是在GNUAffero通用公共许可证v3.0下发布的高性能对象存储。它与AmazonS3云存储服务API兼容。使用MinIO为机器学习、分析和应用程序数据工作负载构建高性能基础架构。
seaskyccl·2024-01-29 10:39

HDFS

HDFS入门1.1.HDFS介绍HDFS是HadoopDistributeFileSystem的简称，意为：Hadoop分布式文件系统。是Hadoop核心组件之一，作为最底层的分布式存储服务而存在。
VincentLeon·2024-01-29 08:44

SpringBoot中实现阿里云OSS对象存储

实现文件上传服务，需要有存储的支持，那么我们的解决方案将以下几种：直接将图片保存到服务的硬盘（springmvc中的文件上传）优点：开发便捷，成本低缺点：扩容困难使用分布式文件系统进行存储优点：
努力学习的小飞侠·2024-01-28 18:33

23.12月中旬 上海寻序人工智能科技-上海嘉定-Java开发实习生-薪资150-230/d 面经

23.12月中旬上海寻序人工智能科技-上海嘉定-Java开发实习生-150-230/d0、对象存储minio黑马头条SpringBoot+SpringCloud+Nacos等企业级微服务架构项目_黑马头条项目
软工菜鸡·2024-01-28 16:17

SpringBoot 集成Minio实现上传和图片访问

什么是Minio我也不太清楚感兴趣的可以看看官网也提供了demo代码这是Java的demo里面的方法很全自己看一下啦引入pomio.miniominio8.3.4me.tongfeipr
踏歌的Java Daily·2024-01-28 08:49

分布式数据实现跨设备数据同步的N个秘密 | 分布式数据管理解析（二）

这都得益于分布式数据管理平台抽象出的三大关键技术——分布式数据库，分布式文件系统和融合搜索。那么这三大技术究竟如何具体实现全场景多设备上的数据保存，数据同步，数据访问，让我们一一来详细解读。
码中之牛·2024-01-28 03:10

K8s 安装部署-Master和Minion(Node)文档

K8s安装部署-Master和Minion(Node)文档操作系统版本：CentOS7.4Master：172.20.26.167Minion-1：172.20.26.198Minion-2：172.20.26.210
lqcbj_IT老混混·2024-01-27 15:17

使用.minio实现元对象的存储学习笔记

官网地址如下：https://docs.min.io/什么是MinIO?MinIO是在GNUAffero通用公共许可证v3.0下发布的高性能对象存储。它与AmazonS3云存储服务API兼容。
IT界的_彭于晏_·2024-01-27 10:29

1分钟了解基于Hadoop的数据仓库工具Hive(附超实用示例)

Hive功能Hive是基于Hadoop构建的一套数据仓库分析系统，它提供了丰富的SQL查询方式来分析存储在Hadoop分布式文件系统中的数据：可以将结构化的数据文件映射为一张数据库表，并提供完整的SQL
yuyuyuyo·2024-01-27 05:53

[AIGC 大数据基础] 浅谈hdfs

HDFS（HadoopDistributedFileSystem）是ApacheHadoop生态系统的一部分，是一个分布式文件系统。
程序员三木·2024-01-27 01:00

大数据开发必备工具——Hadoop及整体架构介绍

它由几个关键的组件组成，其中最核心的是Hadoop分布式文件系统（HDFS）和MapReduce计算模型。
love6a6·2024-01-26 21:03

一文了解Ceph原理以及常见ceph指令

涉及初衷是成为一个可避免单点故障的分布式文件系统，提供较好的性能、可靠性和可扩展性。通过网络将数据分散存储在多台独
听说唐僧不吃肉·2024-01-26 13:08

使用Minio进行文件上传

packagecom.atguigu.spzx.manager.controller;importcom.atguigu.spzx.manager.service.FileUploadService;importcom.atguigu.spzx.model.vo.common.Result;importcom.atguigu.spzx.model.vo.common.ResultCodeEnum;
一个处女座的暖男程序猿·2024-01-26 02:03

从minio下载wav文件返回File对象

Minio是一个开源的分布式对象存储服务，它兼容AmazonS3API，可以用于构建高性能、可扩展的存储基础设施。
[奸笑]这个不是斜眼笑[奸笑]·2024-01-26 02:55

MD5加密文档标题，进行过滤分组

因为业务需要，一些文档需要上传到minio，然后再下载打包，可是有些附件竟然加密了，刚开始还以为是MD5加密了标题名字，于是写了一段代码，没想到最后发现不是这种方式，白白浪费了心血，但是还是把源码分享出来
泥水沟的胖头鱼·2024-01-25 22:25

elasticsearch6.8.11备份至minio

（所有节点执行）配置access_key，请使用minio的实际access-key权限bin/elasticsearch-keystoreadds3.client.default.access_key3
L白眸·2024-01-25 20:01

Minio搭建和使用

为了节约成本，很多公司使用MinIO做为文件服务器。MinIO是一个开源的分布式对象存储服务器，支持S3协议并且可以在多节点上实现数据的高可用和容错。
彭于晏689·2024-01-25 16:50

后门防御阅读笔记，GangSweep: Sweep out Neural Backdoors by GAN

论文标题：GangSweep:SweepoutNeuralBackdoorsbyGAN论文单位：OldDominionUniversity,Norfolk,VA,USA论文作者：LiuwanZhu,RuiNing
wujiekd·2024-01-25 16:34

CalvinFS: Consistent WAN Replication and Scalable Metadata Management for Distributed File...——论文泛读

尽管已经开发了许多分布式文件系统以扩展到数千台计算机的集群，但由于在地理距离上提供期望的文件系统语义和工具（如线性化操作、分层访问控制、标准命令行工具等）的困难，这些
妙BOOK言·2024-01-25 14:02

如何使用静态化freemarker和分布式文件系统minIO去存储静态文件 增强访问效率

有的时候把网页文章根据id查询出来可能更快一些但是如果作为静态化处理的话效率可能更好一点目录一、freemarker1.freemarker介绍2、环境搭建&&快速入门2.1pom文件2.2配置文件2.3创建模型类2.4创建模板2.5创建controller2.6测试3.freemarker基础3.1)基础语法种类3.2)集合指令（List和Map）3.3)if指令3.4)运算符3.5)空值处理3
学习中的程序媛~·2024-01-25 10:31

Hudi学习笔记(一)

大数据发展背景Hudi用于管理分布式文件系统上大型分析数据集存储，支持Spark和Flink整合。它能够是DFS数据集在分钟级时延内支持变更，也支持下游系统对这个数据集的增量处理。
一一|一一一亅·2024-01-25 09:37

Hadoop HDFS 实现原理图文详解

一、HDFS体系结构1.1HDFS简介Hadoop分布式文件系统(HDFS)是运行在通用硬件(commodityhardware)上的分布式文件系统（DistributedFileSystem）。
禅与计算机程序设计艺术·2024-01-25 07:49

s3fs挂载minio集群到本地目录

1.前言MinIO是一款高性能的对象存储，与AmazonS3云存储服务兼容，并且号称是世界上最快的对象存储服务器。
SRE成长记·2024-01-24 21:07

OSS文件上传、MinIO分布式文件存储系统

阿里云OSS上传图片实现步骤：1.定义OSS相关配置application-dev.ymlsky:alioss:endpoint:oss-cn-hangzhou.aliyuncs.comaccess-key-id:LTAI5tPeFLzsPPT8gG3LPW64access-key-secret:U6k1brOZ8gaOIXv3nXbulGTUzy6Pd7bucket-name:sky-take-
miss_you1213·2024-01-24 11:18
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他