minio分布式存储

KVM+GFS分布式存储系统构建KVM高可用

一、案列分析1.1案列概述本章案例主要使用之前章节所学的KVM及GlusterFs技术,结合起来从而实现KVM高可用。利用GlusterFs分布式复制卷，对KVM虚拟机文件进行分布存储和冗余。分布式复制卷主要用于需要冗余的情况下把一个文件存放在两个或两个以上的节点,当其中一个节点数据丢失或者损坏之后，KVM仍然能够通过卷组找到另一节点上存储的虚拟机文件，以保证虚拟机正常运行。当节点修复之后，Glu

henan程序媛·2024-09-16 00:17

Hadoop

它具有高度的可扩展性、容错性和高效的分布式存储与计算能力。

傲雪凌霜，松柏长青·2024-09-16 00:16

【Java将File完美转为MultipartFile】:亲测有效

由于multipartFile有很多有用的api,但是有时候我们接收到前台的参数是文件名和文件内容,而不是文件,此时不能使用multipartFile接收,导致处理起来很不方便,比如我用minio上传文件

阿火~·2024-09-15 07:26

Web3入门指南：从基础概念到实际应用

与以往依赖中心化服务器和大公司控制的数据模式不同，Web3通过区块链技术实现了数据的分布式存储和处理。这一去中心化

dingzd95·2024-09-14 23:01

HBase介绍

概述HBase是一个分布式的、面向列的开源数据库,源于google的一篇论文《bigtable：一个结构化数据的分布式存储系统》。

mingyu1016·2024-09-14 21:47

Docker-compose minio集群部署

docker-compose离线安装docker及docker-compose_docker-compose离线安装-CSDN博客三、docker-compose.yml文件按docker-compose文件启动，minio

有点菜的运维·2024-09-14 19:04

docker-compose部署minio分布式集群

1、节点情况建议：minio节点数最好4节点以上，nginx独立部署在其他服务器。

伏案惊涛·2024-09-14 19:32

Linux+Docker：3分钟实现MinIO在线部署与Java集成

Linux下使用Docker安装MinIO1.拉取MinIO镜像dockerpullminio/minio2.创建挂载目录mkdir-p/opt/minio/datamkdir-p/optl/minio

码龄23年·2024-09-14 14:29

KVM+GFS分布式存储系统构建 KVM 高可用

一、案例分析本案例主要使用KVM及GlusterFS技术,结合起来从而实现KVM高可用。利用GlusterFs分布式复制卷，对KVM虚拟机文件进行分布存储和冗余。分布式复制卷主要用于需要冗余的情况下把一个文件存放在两个或两个以上的节点,当其中一个节点数据丢失或者损坏之后，KVM仍然能够通过卷组找到另一节点上存储的虚拟机文件，以保证虚拟机正常运行。当节点修复之后，GlusterFS会自动同步同一组卷

wkysdhr·2024-09-12 00:53

使用minio给存储的对象添加过期时间

在一些场景中，储存的对象需要定时清理保证留出足够的磁盘空间，如果时linux的本地文件，需要采取定时任务清理，但是minio提供了这样的能力环境软件版本docker24.0.4minioRELEASE.2023

[奸笑]这个不是斜眼笑[奸笑]·2024-09-11 21:31

使用ansible的剧本制作salt-master与salt-minion的安装与启动服务过程

虚拟机版本：RockyLinuxrelease8.6(GreenObsidian)准备几台虚拟机ipv4地址主机名192.168.137.13center192.168.137.14sp-1192.168.137.15sp-2192.168.137.16sp-3一、center主机的配置1.vim/etc/hosts127.0.0.1localhostlocalhost.localdomainlo

qq_42750608·2024-09-10 23:57

ELK架构介绍

Elasticsearch提供分布式存储和搜索能力；Logstash负责数据收集和处理，而Kibana则提供数据可视化和分析界面。

星河漫漫l·2024-09-09 11:40

Hbase、hive以及ClickHouse的介绍和区别？

HBase的设计灵感来源于Google的Bigtable论文，它通过提供类似于Bigtable的能力，在Hadoop之上构建了一个高可靠性、高性能、面向列、可伸缩的分布式存储系统。

damokelisijian866·2024-09-08 23:43

2024年Linux最新快速入门SaltStack_saltstack基本使用

install salt-masterservice salt-master start注：需要iptables开启master端4505、4506端口安装被管理端yum -y install salt-minionsed

前端核心技术·2024-09-08 14:19

linux 上安装及配置 salt-minion

下面是salt-minion的安装记录########################################################################在centos6或centos7

anbusha·2024-09-08 14:46

linux下salt的安装及使用

apt-getinstallpython-software-propertiesadd-apt-repositoryppa:saltstack/saltapt-getupdateapt-getinstallsalt-master#服务端apt-getinstallsalt-minion

LEE_JINGING·2024-09-08 14:15

java 实现前后端分离_详解前后端分离之Java后端

那么问题来了，用户很多时，服务器压力很大，如果采用分布式存储session，又可能会出现不同步问题，那么前后端分离就很好的

bfecoder·2024-09-08 13:08

先进制造业数字化转型：典型场景存储需求及实践解析

本文将从先进制造企业数字化转型中典型场景的存储需求出发，结合XSKY分布式存储的实际案例，看分布式存储如何帮助企业进行存储转型，满足相关的数据使用需求。01 本地硬盘存储方案的

XSKY星辰天合·2024-09-07 16:08

Spring Boot + MinIO 实现文件的分片上传、秒传、续传功能

MinIO：一个高性能的对象存储服务器，支持S3协议。分片上传、秒传和续传原理说明分片上传：原理：将大文件分割成多个较小的片段（称为分片），

雨轩智能·2024-09-06 22:43

实现多云对象存储支持：Go 语言实践

本文将介绍如何在Go语言中实现一个灵活的对象存储系统，支持多个主流云服务提供商，包括AWSS3、GoogleCloudStorage、MinIO和阿里云OSS。

microrain·2024-09-05 22:57

第十二章节 xxjob, seata, zk, minio,activeMQ进行 helm化

要将你提供的Docker命令转换为HelmChart，你需要将相关的配置转化为Kubernetes资源文件，并使用Helm的模板语法进行参数化配置。以下是一个基本的HelmChart示例，包括Deployment、Service和Values.yaml文件。helmcreatexxl-job-admin1.values.yaml这是HelmChart中用于定义默认值的文件。你可以在这里配置镜像、端

Wade_Crab·2024-09-04 07:44

【初出江湖】分布式之什么是分布式存储？

目录标题分布式存储分布式存储系统特点分布式存储原理分布式存储的应用场景分布式存储和集中式存储的区别分布式存储分布式存储是一种将数据分散存储在多个节点上的存储方式。

无休居士·2024-09-03 15:05

SpringBoot整合MinIO

一、MinIo的安装及启动1、ubuntu系统（使用docker，安装更简单）#1、搜索minio镜像dockersearchminio#2、拉取镜像dockerpullminio/minio#3、创建

白菜馅·2024-09-02 12:22

缓存读写策略 Cache Aside Pattern，开发必备

我们在前面讲到了当我们业务面临大量写并发的时候，将数据库开发成分布式存储系统，然后又介绍了NoSql数据库与关系型数据库互相配合，以用来更好的服务与我们的业务发展。

架构师修炼·2024-09-02 12:20

经验笔记：Hadoop

Hadoop经验笔记一、Hadoop概述Hadoop是一个开源软件框架，用于分布式存储和处理大规模数据集。其设计目的是为了在商用硬件上运行，具备高容错性和可扩展性。

漆黑的莫莫·2024-09-02 03:54

minio的联邦扩容

#1.需要先部署etcd服务自行解决#2.docker运行命令###单机部署dockerrun-itd--nameminio--restart=always--net=host\-e"MINIO_ROOT_USER

睡不醒的双眼皮·2024-09-01 23:32

Sealos搭建K8S

Sealos的特性管理集群生命周期快速安装高可用Kubernetes集群添加/删除节点清理集群、备份与自动恢复等下载和使用完全兼容OCI标准的分布式应用OpenEBS,MinIO,Ingress,PostgreSQL

约定-今生·2024-09-01 00:08

京存分布式存储强势助力自动驾驶行业！

随着自动驾驶技术的快速发展，数据存储已成为该领域的关键技术之一。自动驾驶系统涉及的数据类型繁多，包括车辆状态信息、环境感知数据、高精度地图数据、道路基础设施数据等，其规模庞大，需要高效、稳定的数据存储解决方案来满足不断增长的数据存储需求。在需求方面，自动驾驶行业要求存储系统具备高性能、高可靠性和高可用性，以支持实时数据处理和快速决策。例如，自动驾驶汽车需要实时访问大量的传感器数据、地图数据和其他相

京存高性能存储·2024-08-31 14:32

极客天成签署 CCLA，携手openEuler社区共拓信创AI新天地

极客天成以高通量分布式集群存储为先锋，围绕软件定义、智能化、安全可靠，全链RDMA构建了完全自主可控的分布式存储产品线和解决方案，主要解决用户海量数据下的高性能低时延数据读写难题，可为用户的数据中心提供

极客天成ScaleFlash·2024-08-31 14:32

中标 | 极客天成分布式存储软件成功中标华泰证券并行文件系统软件项目

2023年9月21日，北京极客天成科技有限公司分布式存储软件V3.0通过代理商成功中标华泰证券并行文件系统软件项目。

极客天成ScaleFlash·2024-08-31 14:31

如何在Web3.0应用中实现数据的安全存储？

在Web3.0应用中，可以通过以下几种方式实现数据的安全存储：一、分布式存储技术1.IPFS（InterPlanetaryFileSystem，星际文件系统）：-IPFS是一种去中心化的分布式文件存储系统

alankuo·2024-08-31 09:31

基于Spring的Uniapp自动更新实现方法

结合minio和网址下载地址两种方式，计算版本号大小后，可选是否强制更新。

星月梦瑾·2024-08-31 04:54

Linux 使用 docker 安装 MinIO 分布式对象存储系统

文章目录个人知识库MinIO简介环境要求一.新建文件目录1.1.新建docker-compose.yml1.2.编写docker-compose.yml二.文件赋权限三.启动容器3.1.启动并下载镜像3.2

liupeng_blog·2024-08-30 23:53

Docker安装minio

一、获取镜像方式一：离线装载镜像（minio.tar）上传mioio.tar到服务器cd/home/data/install_pkg/minio/dockerload-iminio.tar方式二：下载Minio

五月高高·2024-08-30 23:22

docker安装minio

避坑指南单机参考文档：https://blog.csdn.net/BThinker/article/details/125412751#账号：miniouser#密码：miniopassword#docker

无区新手·2024-08-30 23:51

单机安装 ELK 日志分析系统

Elasticsearch是一个基于Lucene的、支持全文索引的分布式存储和索引引擎，主要负责将日

TheFlsah·2024-08-30 21:40

minio 大视频观看，下载

在线观看/***下载视频文件fileName文件路径名称文件路径BacketName/video/1111.mp4需要截取桶名后面的路径video/1111.mp4video前面不要带/**@paramfileName*@paramrequest*@paramresponse*/publicvoidplay(StringfileName,HttpServletRequestrequest,Http

zhou周大哥·2024-08-30 06:59

Python知识点：如何使用HBase与HappyBase进行分布式存储

使用HBase与HappyBase进行分布式存储是处理大规模数据的有效方式。HBase是一个基于Hadoop的开源分布式数据库，可以处理非常大的表。

杰哥在此·2024-08-29 15:51

SpringBoot+Vue实现各种文件预览（附源码）

继上篇介绍了minio的文件上传，本文将介绍如何实现文件预览功能。大家如果没看过上篇文章建议大家先看下。

Java学长小李·2024-08-28 18:59

学习笔记六：ceph介绍以及初始化配置

k8s对接cephceph是一种开源的分布式的存储系统，包含以下几种存储类型：块存储（rbd）文件系统cephfs对象存储分布式存储的优点：Ceph核心组件介绍安装Ceph集群初始化配置Ceph安装源安装基础软件包安装

风车带走过往·2024-08-27 23:49

秋招Java后端开发——非关系型数据库篇（Redis）

分布式架构天生支持分布式存储和计算，能够跨多个

番茄炒西红柿炒蛋·2024-08-27 13:19

vue2上传大文件到minio分片上传

项目中使用到的类库：spark-md5、axios、element-ui；npminstallspark-md5--Snpminstallaxios--S页面上传示例文件上传任务数：{{taskQueueRunningNum}}选择文件上传清空{{isPaused?'继续':'暂停'}}{{item.name}}{{transformByte(item.size)||item.size}}{{`$

zhou周大哥·2024-08-25 17:35

Kubernetes进阶之应用与持久化数据卷备份迁移实践

0x00前言简述1.Velero基础概述2.Velero工作原理3.Provider插件供应商4.补充说明0x01环境部署1.先决条件2.下载部署Velero3.设置Minio服务器0x02备份迁移实践

全栈工程师修炼指南·2024-08-25 15:50

基于Hadoop的海量图像检索

Hadoop的海量图像检索文章目录基于Hadoop的海量图像检索摘要第一章引言1.1研究背景1.2研究意义1.3国内外研究现状1.4研究内容与方法1.5论文结构第二章相关技术介绍2.1Hadoop框架2.2分布式存储与计算

usp1994·2024-08-24 13:12

从零到一建设数据中台 - 关键技术汇总

一、数据中台关键技术汇总语言框架：Java、Maven、SpringBoot数据分布式采集：Flume、Sqoop、kettle数据分布式存储：HadoopHDFS离线批处理计算：MapReduce、Spark

我码玄黄·2024-08-24 12:09

RAG与LLM原理及实践（14）---- Python + MinIO + Kafka进阶

目录背景根因分析配置构造创建network构造zookeeper构造kafka参数构造原理解析图解全过程解析工具使用kafkacat查看brokerpython实现pythonsend+kafkarecvpython代码kafkarecv运行效果pythonrecv+kafkasendpython代码kafkasend运行效果思考pythonsend+pythonrecv原理运行效果背景如果你已经

PhoenixAI8·2024-08-21 20:59

Minio设置文件链接永久有效

Minio设置文件链接永久有效一、问题描述minio分享文件的链接，最多支持分享七天。而我们正常的文件需要永久有效，此时需要设置文件链接永久有效。二、解决方法minio提供了一个客户端工具。

jackob-94·2024-03-24 09:57

Java实战：Spring Boot利用MinIO实现文件切片上传

本文将详细介绍如何在SpringBoot应用程序中使用MinIO实现文件切片极速上传技术。

拥抱AI·2024-03-15 14:15

选型搜索引擎之参考Elasticsearch

Elasticsearch的特点包括：分布式存储和搜索：Elasticsear

剑飞的编程思维·2024-03-09 18:17

ElasticSearch为什么快？

ElasticSearch是一个高性能，分布式搜索引擎，它之所以快，主要有以下几个原因：1.分布式存储：ElasticSearch使用分布式存储技术，将数据存储在多个节点上从而减少单个节点的压力，提高整体性能

z.jiaminf·2024-03-06 19:14

推荐频道