minio分布式存储

二 Ceph存储工作原理及实现

认识Cephceph是一个能提供文件存储，快存储和对象存储的分布式存储系统。
假面生·2024-01-26 13:38

什么是超融合？

二、超融合原理2.1、超融合三大组件2.2、超融合和传统架构对比2.3、传统方案和超融合软件架构与资源管理模式对比三、超融合与SDS、分布式存储关系3.1、SDS是什么？3.2、分布式存储是什么？
IT搬砖我最拿手·2024-01-26 11:27

从Elasticsearch来看分布式系统架构设计

这篇文章中，重点会讨论下分布式数据系统的设计，比如分布式存储系统，分布式搜索系统，分布式分析系统等。我们先来简单看下Elasticsearch的架构。
大叶子不小·2024-01-26 10:11

教你三步实现CDH到星环TDH的平滑迁移

TranswarpDataHub（TDH）是星环科技自主研发的企业级一站式多模型大数据基础平台，其领先的多模型技术架构提供统一的接口层，统一的计算引擎层，统一的分布式存储管理层，统一的资源调度层，以及异构存储引擎层
星环科技·2024-01-26 07:08

使用Minio进行文件上传

packagecom.atguigu.spzx.manager.controller;importcom.atguigu.spzx.manager.service.FileUploadService;importcom.atguigu.spzx.model.vo.common.Result;importcom.atguigu.spzx.model.vo.common.ResultCodeEnum;
一个处女座的暖男程序猿·2024-01-26 02:03

从minio下载wav文件返回File对象

Minio是一个开源的分布式对象存储服务，它兼容AmazonS3API，可以用于构建高性能、可扩展的存储基础设施。
[奸笑]这个不是斜眼笑[奸笑]·2024-01-26 02:55

MD5加密文档标题，进行过滤分组

因为业务需要，一些文档需要上传到minio，然后再下载打包，可是有些附件竟然加密了，刚开始还以为是MD5加密了标题名字，于是写了一段代码，没想到最后发现不是这种方式，白白浪费了心血，但是还是把源码分享出来
泥水沟的胖头鱼·2024-01-25 22:25

elasticsearch6.8.11备份至minio

（所有节点执行）配置access_key，请使用minio的实际access-key权限bin/elasticsearch-keystoreadds3.client.default.access_key3
L白眸·2024-01-25 20:01

Minio搭建和使用

为了节约成本，很多公司使用MinIO做为文件服务器。MinIO是一个开源的分布式对象存储服务器，支持S3协议并且可以在多节点上实现数据的高可用和容错。
彭于晏689·2024-01-25 16:50

后门防御阅读笔记，GangSweep: Sweep out Neural Backdoors by GAN

论文标题：GangSweep:SweepoutNeuralBackdoorsbyGAN论文单位：OldDominionUniversity,Norfolk,VA,USA论文作者：LiuwanZhu,RuiNing
wujiekd·2024-01-25 16:34

如何使用静态化freemarker和分布式文件系统minIO去存储静态文件 增强访问效率

有的时候把网页文章根据id查询出来可能更快一些但是如果作为静态化处理的话效率可能更好一点目录一、freemarker1.freemarker介绍2、环境搭建&&快速入门2.1pom文件2.2配置文件2.3创建模型类2.4创建模板2.5创建controller2.6测试3.freemarker基础3.1)基础语法种类3.2)集合指令（List和Map）3.3)if指令3.4)运算符3.5)空值处理3
学习中的程序媛~·2024-01-25 10:31

2023年第十六届中国系统架构师大会（SACC2023）：核心内容与学习收获（附大会核心PPT下载）

大会按照技术主线分为传统架构与运维技术发展（高可用架构、云架构、分布式存储、预测性智能运维）、数字化转型企业架构应用（金融行业与制造业）、IT技术前瞻架构（分布式与微服务架构、
百家峰会·2024-01-25 07:57

s3fs挂载minio集群到本地目录

1.前言MinIO是一款高性能的对象存储，与AmazonS3云存储服务兼容，并且号称是世界上最快的对象存储服务器。
SRE成长记·2024-01-24 21:07

万物皆世界，人人得智慧

我对王欣师兄的“一图显世界”的思考：图片发自App《万物皆世界人人悟智慧》在大数据、云计算、AI、物联网、区块链的深度普及基础上，区块链作为一个“分布式存储与个体价值体现”的最好技术革新，以比特币为载体迅猛的来到了人们面前
众心无相·2024-01-24 18:02

从数据处理到规模化应用

HashData等现代数据仓库解决方案具有以下特点：高性能：通过分布式存储和计算技术，HashData能够提供高吞吐量和低
百度_开发者中心·2024-01-24 16:14

ELK 企业级日志分析系统

ElasticSearch：是基于Lucene（一个全文检索引擎的架构）开发的分布式存储检索引擎，用来存储各类日志。
睡美人章繁·2024-01-24 14:54

OSS文件上传、MinIO分布式文件存储系统

阿里云OSS上传图片实现步骤：1.定义OSS相关配置application-dev.ymlsky:alioss:endpoint:oss-cn-hangzhou.aliyuncs.comaccess-key-id:LTAI5tPeFLzsPPT8gG3LPW64access-key-secret:U6k1brOZ8gaOIXv3nXbulGTUzy6Pd7bucket-name:sky-take-
miss_you1213·2024-01-24 11:18

Mysql数据库主从复制和分库分表浅析

内容提供：李智慧，前阿里巴巴技术专家，《大型网站技术架构》作者分布式数据库和分布式存储是分布式系统中难度最大、挑战最大，也是最容易出问题的地方。
一颗向上的草莓·2024-01-24 11:30

分布式存储mysql

搭建两从两主服务器再搭建一台mycat启动mycat1.创建添加数据源将后端数据库服务器添加到mycat上面,以便管理和代理,让mycat和mysql建立连接添加方法如下59只实现写60只实现读61实现写62实现读MySQL>/*+mycat:createdatasource{"name":"dw0","url":"jdbc:mysql://192.168.88.59:3306","user":"
CN_HW·2024-01-24 08:47

从字节跳动面试中快速胜出：五天三面，这份Java面试笔记功不可没

（开放地址法，不是很了解，听过）如果使用hash进行分布式存储有什么弊端？（可扩展性不强，例如增加节点和节点宕机的情况）如何解决？
技术琐事·2024-01-24 01:16

分布式存储

1存储基础1.1单机存储设备DAS（直接附加存储，是直接接到计算机打的主板总线上去的存储）UDE、SATA、SCSI、SAS、USB接口的磁盘所谓的接口就是一种存储设备驱动下的磁盘设备，提供块级别的存储NAS（网络附加存储，是通过网络附加到当前主机文件系统之上的存储NFS、CIFS、FTP文件系统级别的存储，本身就是一个做好的文件系统，通过nfs接口在用户空间输出后，客户端基于内核模块与远程主机进
王德发666·2024-01-23 16:16

CentOS 7部署 Ceph分布式存储架构

SE4nJH1.概述随着OpenStack日渐成为开源云计算的标准软件栈，Ceph也已经成为OpenStack的首选后端存储。Ceph是一种为优秀的性能、可靠性和可扩展性而设计的统一的、分布式文件系统。ceph官方文档http://docs.ceph.org.cn/ceph中文开源社区http://ceph.org.cn/Ceph是一个开源的分布式文件系统。因为它还支持块存储、对象存储，所以很自然
大帅同学·2024-01-23 09:48

Hadoop -- HDFS

1.什么是Hadoophadoop中有3个核心组件：分布式文件系统：HDFS——实现将文件分布式存储在很多的服务器上分布式运算编程框架：MAPREDUCE——实现在很多机器上分布式并行运算分布式资源调度平台
Cool_Pepsi·2024-01-23 02:42

关于云计算你必须知道的一些事（一）

软件定义分布式存储是
money666·2024-01-22 19:17

架构师的36项修炼-09架构实战案例分析

2.分析一个分布式存储的架构案例，看如何去设计一个分布式存储系统，底层存储系统的架构是如何设计的。3.分析一个反应式编程框架的架构案例，看开发框架的架构是如何设计的。这三类系统架
机智阳·2024-01-22 18:07

linux安装minIo（亲测可用）

一、创建文件夹进入opt文件夹cd/opt/创建minio文件夹；mkdirminio赋予权限chmod777minio/执行完后查看目录进到minio文件夹创建bin目录mkdirbin创建data目录
秋秋秋秋秋雨·2024-01-22 16:12

3.上传视频到Minio实现断点续传

分块与合并测试断点续传通常视频文件都比较大,所以对于媒资系统上传文件的需求要满足大文件的上传要求,虽然Http协议本身对上传文件大小没有限制,但其他因素可能导致上传中断问题断点续传:将下载/上传的文件人为划分为几部分,每一部分采用一个线程进行上传或下载,遇到网络故障时从已上传或下载的部分开始继续上传下载未完成的部分文件分块根据设定的分块文件的大小将源文件分成指定的块数,按照顺序从源文件读取数据并依
echo 云清·2024-01-22 15:39

1.使用分布式文件系统Minio管理文件

分布式文件系统DFS分类文件系统文件系统是操作系统用于组织管理存储设备(磁盘)或分区上文件信息的方法和数据结构,负责对文件存储设备空间进行组织和分配,并对存入文件进行保护和检索文件系统是负责管理和存储文件的系统软件，操作系统通过文件系统提供的接口去存取文件，用户通过操作系统访问磁盘上的文件常见的文件系统：FAT16/FAT32、NTFS、HFS、UFS、APFS、XFS、Ext4一个计算机无法存储
echo 云清·2024-01-22 15:39

容器与持久化存储:容器的开源分布式存储方案选型

导读：容器得到了越来越广泛的使用，以下问题困扰架构师：容器正逐渐成为云上应用的标准部署单元，容器该如何解决持久化存储的需求？容器编排系统已成当红炸子鸡，在无状态的容器中，存储系统面临哪些新的挑战？容器与持久化存储系统是融合架构还是分离架构？本文探讨了容器和持久化存储相关知识，由张朝潞在高可用架构群分享，转载请注明来自高可用架构公众号ArchNotes。张朝潞有容云平台存储架构师张朝潞，有容云平台存
高可用架构·2024-01-22 14:50

容器与持久化存储：容器的开源分布式存储方案选型

曾工作于UIT、华三、腾讯、专注分布式存储的研究和开发，对云计算存储解决方案方面有很深的技术造诣和行业理解。一．容器对存储插件的定义以Docker为例，Doc
weixin_33805743·2024-01-22 14:48

看看关系型数据库是怎么吊打Hadoop的

所以在不少架构中，会看到使用ETL的方式将数据库送到Hadoop中，使用其分布式存储和分布式计算的特点来进行分析。
薛晓刚·2024-01-22 02:58

Hbase笔记

ApacheHBase是一个开源的，分布式的，版本化的非关系数据库，模仿Google的Bigtable：Chang等人的结构化数据分布式存储系统。正
MFRain·2024-01-21 20:24

消息中间件之Kafka(二)

1.commitlog文件会受到所在机器的文件系统大小的限制，分区之后可以将不同的分区放在不同的机器上，相当于对数据做了分布式存储，理论上一个topic可以处理任意数量的数据2.提高并行度1.2如何在多个
coffee_babe·2024-01-21 16:04

Ceph分布式存储部署

目录一、存储1、存储基础2、NAS（网络附加存储，是通过网络附加到当前主机文件系统之上的存储）3、SAN（存储区域网络）4、单机存储的问题5、商业存储解决方案6、分布式存储（软件定义的存储SDS）7、分布式存储的类型二
睡美人章繁·2024-01-21 16:26

部署MinIO

一、安装部署MINIO1.1下载wgethttps://dl.min.io/server/minio/release/linux-arm64/miniochmod+xminiomvminio/usr/local
只年·2024-01-21 11:53

Minio文件分片上传实现

135420241MacM1ProParallels安装CentOS7.9请参考https://blog.csdn.net/qq_41594280/article/details/135420461部署Minio
只年·2024-01-21 11:21

分布式存储赛道群雄逐鹿：Filecoin「友商」盘点

Crust实现了去中心化存储的激励层协议，适配包括IPFS在内的多种存储层协议，并对应用层提供支持。同时Crust的架构也有能力对去中心化计算层提供支持，构建分布式云生态。有市无币的FIL一路高涨。据MyToken数据显示，FIL近3月涨幅达308.19%。在主网上线时间几经推迟后，据Filecoin最新的官方回应，「预产期」定在了8月31日——9月21日，这个预期带动了整个市场。目前，包括Gat
Crust分布式云·2024-01-21 09:40

如何实现对存储在MinIO上的数据的高效搜索与查询

实现对存储在MinIO上的数据进行高效搜索与查询可以采取以下策略：对象元数据索引：在上传文件到MinIO时，将相关的搜索关键词、时间戳或类型信息作为自定义元数据（Metadata）保存。
小果运维·2024-01-21 07:51

docker快速下载并且部署minio容器

第一步：在本机的Linux虚拟机下载docker命令行：curl-fsSLhttps://get.docker.com|bash-sdocker--mirrorAliyun这里选用阿里云作为下载镜像速度更快第二步：开启docker容器命令为：systemctlstartdocker第三步：确认docker是否成功开启可以执行dockerps来查看如果出现上述图片的样子，那么恭喜你docker安装成
啄sir.·2024-01-21 06:48

分布式_Minio_概述与安装

Minio一、概述Minio是一个分布式的文件管理系统，用于解决存储管理非结构化数据问题，对于结构化数据我们有关系型数据库，但是对于音频、文件等非结构化数据我们要进行统一管理就需要使用Minio特点：minio
伍六七_ba5e·2024-01-21 03:52

Docker部署高性能分布式存储MinIO

文件存储系统，相比FastDFS使用MinIO易上手，可扩展，非常适合于存储大容量非结构化的数据，例如图片、视频、日志文件、备份数据和容器/虚拟机镜像等，而一个对象文件可以是任意大小，从几kb到最大5T
抹香鲸之海·2024-01-20 21:27

docker快速部署minio文件服务器，springboot整合minio

docker部署命令：dockerrun-d\-p19000:9000\-p9001:9001\--nameminio\-v/home/minio/data:/data\-e"MINIO_ROOT_USER
一枚进阶码农·2024-01-20 21:27

docker 部署 单机minio

docker部署单机minio第一步dockerpullminio/minio第二步dockerrun-di-p9000:9000--nameminio--restart=always-e"MINIO_ACCESS_KEY
来至井底的青蛙·2024-01-20 21:57

Docker 部署Minio

minio部署docker安装minio1.拉取镜像dockerpullminio/minio:RELEASE.2022-01-03T18-22-58Z2.运行镜像dockerrun\-p19000:9000
Tianhao_521·2024-01-20 21:57

Docker Desktop 部署单机minio节点

DockerDesktop部署单机minio节点提示：由于本人使用的是dockerdesktop，教程也就使用的这个安装，和linux下的docker的区别不大。
xxx-xail·2024-01-20 21:57

Docker安装部署MinIO

1、拉取镜像dockersearchminiodockerpullminio/minio2、创建目录mkdir-p/data/minio/configmkdir-p/data/minio/data3、启动镜像
ymcaptain·2024-01-20 21:27

如何在Docker下部署MinIO存储服务通过Buckets实现文件的远程上传

前言本文主要是Linux下通过Docker部署MinIO存储服务实现远程上传的文章，如果有什么需要改进的地方还请大佬指出⛺️作者简介：大家好，我是青衿☁️博客首页：CSDN主页放风讲故事每日一句：努力一点
放风讲故事·2024-01-20 21:55

ubuntu 上传文件提示权限拒绝或无法创建文件夹

因为权限不够，所以要使用chmodchmod777filename例：sudochmod777minio/
望月听风·2024-01-20 12:07

将 SQL Server 2022 数据库备份到 MinIO

Microsoft在将S3连接器和Polybase添加到SQLServer2022时取得了重大飞跃。因此，企业可以利用他们保存到对象存储中的大量数据，并使用它来丰富SQLServer表。他们还可以利用对象存储来备份SQLServer，这是开放性和云原生灵活性的又一次巨大飞跃。对象存储在备份和恢复领域占据主导地位，因为它可靠、可扩展、高性能且不可变。VeeamBackupandReplication
MinIO官方账号·2024-01-20 12:05

[ELK] ELK企业级日志分析系统

●ElasticSearch：是基于Lucene（一个全文检索引擎的架构）开发的分布式存储检索引擎，用来存储各类日志。Elasticsearch是用Java开发的，可通过RESTfulWeb
为什么老是名字被占用·2024-01-20 12:34
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他