minio分布式存储

从0到1带大家搭建spring cloud alibaba 微服务大型应用框架（九）文件服务篇（1）：minio 单机与集群搭建

为什么需分布式文件服务单机时代初创时期由于时间紧迫，在各种资源有限的情况下，通常就直接在项目目录下建立静态文件夹，用于用户存放项目中的文件资源。如果按不同类型再细分，可以在项目目录下再建立不同的子目录来区分。例如：resources\static\file、resources\static\image等。优点：这样做比较便利，项目直接引用就行，实现起来也简单，无需任何复杂技术，保存数据库记录和访问
峡谷电光马仔·2025-02-14 10:43

Web3 的虚实融合之路：从虚拟交互到元宇宙构建

它依托于区块链、分布式存储等技术，实
dingzd95·2025-02-13 22:55

使用亚马逊针对 PyTorch 和 MinIO 的 S3 连接器进行模型检查点处理

2023年11月，Amazon宣布推出适用于PyTorch的S3连接器。适用于PyTorch的AmazonS3连接器提供了专为S3对象存储构建的PyTorch数据集基元（数据集和数据加载器）的实现。它支持用于随机数据访问模式的地图样式数据集和用于流式处理顺序数据访问模式的可迭代样式数据集。适用于PyTorch的S3连接器还包括一个检查点接口，用于将检查点直接保存和加载到S3存储桶，而无需先保存到本
MinIO分布式存储·2025-02-13 11:37

minio在文件服务器上显示的是文件夹和xl.meta的文件形式

在linux上安装好minio之后，上传文件测试，文件存储目录下显示的文件是xl.meta形式的，并不是与预想中的实体文件形式，原因是因为新安装的minio的版本比较新，貌似2022年6月份之后的版本就改成这种形式的文件了
筱小虾米·2025-02-11 16:20

java文件上传粗糙版

粗糙版图片上传1.导入依赖io.miniominio8.5.22.配置minio地址跟对应的桶业务层实现类importio.minio.MinioClient;//导入MinioClient，用于与MinIO
ok！不当人·2025-02-10 14:33

Ceph 架构以及部署

Ceph是一个开源的分布式存储系统，它提供了对象存储、块存储和文件系统存储。Ceph的设计目标是高度可扩展性和高性能，同时提供无单点故障的高可用性。
完颜振江·2025-02-10 00:35

深入解析 GBase 数据库集群架构：高可用与高性能的结合

一、GBase数据库集群架构的特点1.分布式存储与计算GBase的集群架构采用分布式存储与计算的设计，将数据分布到多个节点中，每个节点
big crab·2025-02-09 17:43

深度剖析分布式存储架构

【摘要】本文介绍了分布式存储的架构类型、分布式理论、不同的分布式文件系统和分布式键值系统等，较为系统详尽。全文约2万字，可收藏。
罗伯特之技术屋·2025-02-09 07:28

Kubernetes备份方案：Velero+Minio

Kubernetes备份方案：Velero+Minio背景Velero1.Velero是什么2.应用场景3.支持的目标存储4.与k8s版本对应关系5.Velero工作流程备份与恢复实践Velero客户端
登高··2025-02-08 17:19

分布式数据库缓存的基本概念？MemCache和redis的详细比较？

目前市场上常见的数据库缓存系统是MemChace和Redis,他们的主要区别如下：MemChace：数据类型是简单的key/value结构，不支持持久性，分布式存储为客户端哈希分片/一致性哈希，支持多线程
mischen520·2025-02-07 11:24

《集群、权重、时间戳回眸一识》

人物：王浩田时间：2016年9月11日地点：万达二楼玻璃屋主题：memcached分布式存储开篇之言通过演讲者王浩田在讲述的过程中，我发现有几个名词是之前听过但并未了解的新鲜事物，特写此篇来浅析集群、权重
杨晓风-linda·2025-02-07 09:08

MinIO

一、三种部署方式单节点单硬盘测试环境使用，不提供任何超出底层存储卷实现的额外可靠性或可用性（RAID、LVM等）单节点多硬盘提供了驱动器级别的可靠性以及故障转移、恢复功能，可以配置容忍损失高达一半所有驱动器的能力。多节点多硬盘（推荐）提供了企业级别的性能、可用性和扩展性，支持纠删码配置，可以容忍多达一半的节点或者驱动器的丢失，同时继续提供读操作。二、检查清单1、存储要求使用本地存储：不建议使用sa
*老工具人了*·2025-02-07 06:47

SQL on Hadoop

SQL_on_HadoopSQLonHadoop概述Hadoop提供了一种分布式存储和计算的平台，为了解决传统关系型数据库无法处理海量数据的问题，通过扩展SQL的方式在Hadoop上执行分布式查询，称之为
Lostgreen·2025-02-06 03:42

【Docker项目实战】使用Docker部署MinIO对象存储（详细教程）

【Docker项目实战】使用Docker部署MinIO对象存储前言一、MinIO介绍1.1MinIO简介1.2主要特点1.3主要使用场景二、本次实践规划2.1本地环境规划2.2本次实践介绍三、本地环境检查
江湖有缘·2025-02-04 10:38

Hadoop3.2.1安装-单机模式和伪分布式模式

Hadoop入门篇概述Hadoop是使用Java编写的，是为了解决大数据场景下的两大问题，分布式存储和分布式处理而诞生的，包含很多组件、套件。需要运行在Linux系统下。
花菜回锅肉·2025-02-04 07:13

Python连接MinIO进阶教程：文件类型指定、上传与获取预览链接

文章目录概要1.指定文件内容类型2.获取文件的预览链接（PresignedURL）使用fput_object上传文件4.完整示例与总结概要在上一篇文章中，我们介绍了如何使用Python连接MinIO服务器
北海yy·2025-02-01 07:34

Python实现链接MinIO，并将文件数据从MinIO批量下载并保存到本地

MinIO是一个高性能的对象存储服务，它兼容亚马逊S3云存储服务接口，非常适合于存储大容量非结构化的数据，比如说“图片、视频、日志文件、备份数据和容器/虚拟机镜像”等。
写python的鑫哥·2025-02-01 07:30

大规模分布式存储（1）-- 概念、挑战和分类

随着数据的激增，我们已经进入到了一个数据时代，无论是云计算，大数据还是互联网公司的各种应用，其后台存储平台的目标都是要构建低成本、高性能、可扩展、易用的分布式存储系统。
叹了口丶气·2025-01-31 06:23

《大规模分布式存储系统：原理解析与架构实战》读书笔记

《大规模分布式存储系统：原理解析与架构实战》读书笔记1、事务满足ACID特性2、单机存储引擎：哈希存储引擎和B树存储引擎和LSM存储引擎。存储系统的数据模型：文件模型、关系模型和键值模型。
weixin_36908057·2025-01-31 06:52

大规模分布式存储系统：原理解析与架构实战

《大规模分布式存储系统：原理解析与架构实战》是分布式系统领域的经典著作，由阿里巴巴高级技术专家“阿里日照”（OceanBase核心开发人员）撰写，阳振坤、章文嵩、杨卫华、汪源、余锋（褚霸）、赖春波等来自阿里
克终·2025-01-31 05:49

java获取本地文件和远程文件的方式

问题背景：我们项目开发的时候，经常会读取文件，如果文件在本服务器，则直接用newFile()读取即可，但是有时候需要远程读取文件，比如读取分布式存储服务器的内容或者是别人家的图片资源，这个时候newFile
码至终章·2025-01-29 16:47

软考高级系统架构设计师系列之：分布式存储技术

软考高级系统架构设计师系列之：分布式存储技术一、分布式存储技术及其实现机制二、分布式存储系统设计中的冗余技术三、常见的缓存工作模式和适应场景四、NOSQL一、分布式存储技术及其实现机制简要说明在分布式存储系统架构设计中所使用的分布式存储技术及其实现机制
快乐骑行^_^·2025-01-27 23:13

大数据平台建设整体架构设计方案

《大数据平台建设整体架构设计方案》关键词：大数据平台、分布式存储、分布式计算、数据仓库、数据湖、数据安全、数据质量管理、数据治理、数据挖掘、机器学习、图计算、自然语言处理、Hadoop、Spark、Flink
AI天才研究院·2025-01-27 02:55

MinIO

简介Golang语言实现兼容亚马逊S3云存储服务接口，适合存储大量非结构化数据官方文档：MinIODocker安装MinIO创建并运行容器dockerrun-d\--nameminio\-p9000:9000
xiaolin0333·2025-01-25 10:15

十分钟精通MinIO：minio的原理、部署、操作

一、认识MinIOMinio是一个简单易用的云存储服务，就像是一个放在网络上的大文件柜。想象一下，你有一间放满了各种文件的房间，有时候你需要把这些文件分享给朋友或者在不同地方访问它们。
周盛欢·2025-01-24 10:43

Minio容器启动配置https

不建议这样使用，建议使用nginx做反向代理，建议使用内网url作为上传文件api的endpoint1、公钥和私钥配置根据官网描述（HowtosecureaccesstoMinIOserverwithTLS
非ban必选·2025-01-23 16:51

Linux系统下minio设置SSL证书进行HTTPS远程连接访问

文章目录1.配置SSL证书使用HTTPS访问2.MINIOSDK忽略证书验证3.使用受信任的证书1.配置SSL证书使用HTTPS访问生成域名对应的SSL证书，下载Apache版本，我目前只发现Apache
薄荷街的兔比先生·2025-01-23 15:16

Java与AWS S3的文件操作

AWSS3的特点AWSS3的应用场景二、Java整合S3方法使用MinIO客户端操作S3使用AWSSDK操作S3（推荐使用）三、总结一、什么是AWSS3？
老友@·2025-01-23 09:03

SpringBoot+Minio实现多文件下载和批量下载

文章目录SpringBoot+minio实现多文件下载1、SpringBoot+minio实现多文件打成一个压缩包下载1.添加依赖2.配置MinIO客户端3.创建下载和压缩逻辑4.创建控制器方法来触发下载
北执南念·2025-01-23 07:14

python--对象存储服务器

Object）桶（Bucket）终端节点（Endpoint）访问域名知名的对象存储服务器提供商微软云Azure：MicrosoftAzureBlobStorage华为云OBS:阿里云OSS:腾讯云COSMinIO
赵钱孙李的赵·2025-01-23 03:44

Docker部署minio-arm64版本，阿里官方推荐

一、下载minio下载地址：https://dl.min.io/server/minio/release/linux-arm64/二、创建minio目录//启动目录mkdir/data/minio//bin
m0_60721649·2025-01-22 12:07

Docker部署minio-arm64版本

一、下载minio下载地址：https://dl.min.io/server/minio/release/linux-arm64/二、创建minio目录//启动目录mkdir/data/minio//bin
GSL_566·2025-01-22 11:33

分布式存储的技术选型之HDFS、Ceph、MinIO对比

分布式存储的技术选型比：HDFS、Ceph、MinIO对比一文读懂分布式存储在当今数字化时代，数据呈爆炸式增长，分布式存储技术应运而生，成为大数据存储与管理的得力助手。
Linux运维老纪·2025-01-22 00:40

prometheus持久化到mysql_Prometheus的架构及持久化

855598Prometheus是什么Prometheus是一个开源的系统监控和报警工具，特点是多维数据模型(时序列数据由metric名和一组key/value组成)在多维度上灵活的查询语言(PromQl)不依赖分布式存储
CHM单·2025-01-21 16:29

深入理解 Redis：高性能缓存与分布式存储架构

深入理解Redis：高性能缓存与分布式存储架构Redis，作为现代互联网架构中广泛使用的高性能内存数据存储系统，其高效性、丰富的数据结构和分布式能力，使得它成为了分布式缓存和存储解决方案的首选。
全栈探索者chen·2025-01-21 07:08

国产海光CPU平台兼容性指南-基础软件分册-20231013（附各系统下载链接）

虚拟机上的操作系统2.2.1VMwarevSphere上的虚拟机操作系统2.2.2KVM上的虚拟机操作系统2.2.3WindowsHyper-V上的虚拟机操作系统2.2.4VirtualBox上的虚拟机操作系统三、分布式存储四
技术瘾君子1573·2025-01-20 20:59

minio免费文件管理器（windows版本），若依RuoYi-Vue-Plus框架使用，有需要的可以下载，因为官网下载特别慢

MinIO是一款开源的对象存储系统，它提供类似AmazonS3的云存储服务，适用于各种规模的企业。
程序员WANG·2025-01-20 10:43

分布式系统理论基础二-CAP

wangzhiwubigdata/God-Of-BigData关注公众号,内推,面试,资源下载,关注更多大数据技术~大数据成神之路~预计更新500+篇文章，已经更新50+篇~引言CAP是分布式系统、特别是分布式存储领域中被讨论最多的理论
王知无(import_bigdata)·2025-01-20 10:41

Spring Boot 集成 MinIO 实现文件上传

SpringBoot集成MinIO实现文件上传一、Minio服务准备MinIO的搭建过程参考Docker搭建MinIO对象存储。登录MinIO控制台，新建一个Bucket，修改Bucket权限为公开。
Flobby529·2025-01-19 16:47

nfs-ganesha(用户态NFS)编译、安装和使用

前面的文章介绍了基于社区或自己项目编译rpm包搭建Ceph分布式存储集群的方法。本篇介绍使用nfs-ganesha源码编译、安装，客户端使用用户态nfs协议挂载使用Ceph文件存储和对象存储的方法。
沙拉OK·2025-01-16 15:15

KVM+GFS分布式存储系统构建KVM高可用

一、案列分析1.1案列概述本章案例主要使用之前章节所学的KVM及GlusterFs技术,结合起来从而实现KVM高可用。利用GlusterFs分布式复制卷，对KVM虚拟机文件进行分布存储和冗余。分布式复制卷主要用于需要冗余的情况下把一个文件存放在两个或两个以上的节点,当其中一个节点数据丢失或者损坏之后，KVM仍然能够通过卷组找到另一节点上存储的虚拟机文件，以保证虚拟机正常运行。当节点修复之后，Glu
henan程序媛·2024-09-16 00:17

Hadoop

它具有高度的可扩展性、容错性和高效的分布式存储与计算能力。
傲雪凌霜，松柏长青·2024-09-16 00:16

【Java将File完美转为MultipartFile】:亲测有效

由于multipartFile有很多有用的api,但是有时候我们接收到前台的参数是文件名和文件内容,而不是文件,此时不能使用multipartFile接收,导致处理起来很不方便,比如我用minio上传文件
阿火~·2024-09-15 07:26

Web3入门指南：从基础概念到实际应用

与以往依赖中心化服务器和大公司控制的数据模式不同，Web3通过区块链技术实现了数据的分布式存储和处理。这一去中心化
dingzd95·2024-09-14 23:01

HBase介绍

概述HBase是一个分布式的、面向列的开源数据库,源于google的一篇论文《bigtable：一个结构化数据的分布式存储系统》。
mingyu1016·2024-09-14 21:47

Docker-compose minio集群部署

docker-compose离线安装docker及docker-compose_docker-compose离线安装-CSDN博客三、docker-compose.yml文件按docker-compose文件启动，minio
有点菜的运维·2024-09-14 19:04

docker-compose部署minio分布式集群

1、节点情况建议：minio节点数最好4节点以上，nginx独立部署在其他服务器。
伏案惊涛·2024-09-14 19:32

Linux+Docker：3分钟实现MinIO在线部署与Java集成

Linux下使用Docker安装MinIO1.拉取MinIO镜像dockerpullminio/minio2.创建挂载目录mkdir-p/opt/minio/datamkdir-p/optl/minio
码龄23年·2024-09-14 14:29

KVM+GFS分布式存储系统构建 KVM 高可用

一、案例分析本案例主要使用KVM及GlusterFS技术,结合起来从而实现KVM高可用。利用GlusterFs分布式复制卷，对KVM虚拟机文件进行分布存储和冗余。分布式复制卷主要用于需要冗余的情况下把一个文件存放在两个或两个以上的节点,当其中一个节点数据丢失或者损坏之后，KVM仍然能够通过卷组找到另一节点上存储的虚拟机文件，以保证虚拟机正常运行。当节点修复之后，GlusterFS会自动同步同一组卷
wkysdhr·2024-09-12 00:53

使用minio给存储的对象添加过期时间

在一些场景中，储存的对象需要定时清理保证留出足够的磁盘空间，如果时linux的本地文件，需要采取定时任务清理，但是minio提供了这样的能力环境软件版本docker24.0.4minioRELEASE.2023
[奸笑]这个不是斜眼笑[奸笑]·2024-09-11 21:31
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他