分布式文件系统MinIO

Minio安装

环境centos8，关闭防火墙minio-20231101183725版本参考官网：部署MinIO：单节点单硬盘—适用于Linux的MinIO对象存储单例下载rpm，用中国镜像wgethttps://dl.minio.org.cn
科氏加速度·2023-11-19 19:08

GFS分布式文件系统

GlusterFS简介GlusterFS是一个开源的分布式文件系统。
2301_79410672·2023-11-19 17:57

大数据之hadoop-hdfs知识通俗详解

目录疑问存储模型（重要）架构设计角色功能NameNodeDataNode元数据持久化安全模式HDFS中的SNNSecondaryNameNode（SNN）Block的副本放置策略HDFS写流程HDFS读流程总结疑问分布式文件系统那么多
shw12357·2023-11-19 10:27

SpringBoot集成minio使用指南

1、使用docker启动minio拉取镜像dockerpullminio/minio本地创建文件夹创建一个文件夹/Users/merak/Documents，用于存放minio的数据和配置通过命令启动dockerrun-p9008
Papi·2023-11-19 09:37

Golang学习笔记

一、Go语言的知识图谱上图表示了go的应用领域，包括容器如k8s,服务发现如consul，kv存储如etcd，中间件如codis,存储如minio，分布式数据库tidb，此外还有devops、区块链、人工智能
Shi Peng·2023-11-19 04:14

大数据之数据迁移sqoop的安装

Sqoop具有命令行界面，可用于从关系型数据库中导入数据到Hadoop分布式文件系统（HDFS）中，或从HDFS导出数据到关系型数据库中。
bigdata从入门到放弃·2023-11-19 03:09

linux中hadoop伪分布搭建

主要有以下三个组件：Hadoop分布式文件系统（HDFS）：这是一种可扩展的、容错的文件系统，专门设计用于在大规模集群中存储和访问数据。
bigdata从入门到放弃·2023-11-19 03:38

GFS分布式文件系统

GFS分布式文件系统：gfdglusterFS开源的分布式的文件系统存储服务器客户端以及网络（NFS/samba）网关传统的老的分布式系统源服务器，原服务器保存了存储节点的目录树信息，一旦源服务器故障，
wutong0708·2023-11-19 02:30

GFS分布式文件系统

1.GFS分布式文件系统gfdglusterFS开源的分布式的文件系统存储服务器客户端以及网络（NFS/samba）网关传统式老的分布式元服务器，元服务器保存存储节点的目录树信息。
小郭902·2023-11-19 01:53

GFS分布式文件系统

前言文件系统：用于存储和管理文件的相关系统。分布式存储优点：增加存储容量加快读写效率保证文件高可用GFS介绍GFS：glusterFS开源的分布式的文件系统存储服务器，客户端，网络（用NFS/samba组成网关）传统式老的分布式系统元服务器，元服务器保存存储节点的目录树信息。一旦元服务器故障，所有的存储节点全部失效GFS自身的机制根据定制策略，把数据存储进去。现在GFS取消了元服务器机制，数据横向
aaa.com·2023-11-19 01:19

GFS分布式文件系统

GFS分布式文件系统gfdglusterFS：开源的分布式的文件系统gfdglusterFS组件架构：存储服务器、客户端、以及网络（既可以使用NFS共享模式/samba）网关。
俊俏美男子章鱼哥·2023-11-17 16:30

GFS分布式文件系统

GFS分布式文件系统：gfdglusterFS开源的分布式的文件系统。存储服务器,客户端以及网络（NFS/samba)网关。传统式老的分布式系统元服务器，元服务器保存存储节点的目录树信息。
相遇蟹堡王，尽享蟹黄堡·2023-11-17 12:14

Milvus Standalone安装

前提条件：1.系统可以使用centos2.系统已经安装docker和docker-compose3.milvus版本这里选择2.3.1由于milvus依赖etcd和minio，因此需要先启动这2个组件。
大数据00·2023-11-17 06:40

大数据分布式集群搭建（5）

HADOOP1.HADOOP是apache旗下的一套开源软件平台2.HADOOP提供的功能：利用服务器集群，根据用户的自定义业务逻辑，对海量数据进行分布式处理3.HADOOP的核心组件有A.HDFS（分布式文件系统
KongX_B·2023-11-17 03:25

3. hdfs概述与高可用原理

简述HDFS（HadoopDistributedFileSystem）是一种Hadoop分布式文件系统，具备高度容错特性，支持高吞吐量数据访问，可以在处理海量数据（TB或PB级别以上）的同时最大可能的降低成本
shura1014·2023-11-16 20:35

【minio离线安装教程】

Linux-arm64版本minio离线安装教程一、下载minio二、上传服务器三、创建目录四、添加可执行权限五、创建minio运行用户六、创建minio配置文件七、启动服务八、浏览器访问minio服务验证是否成功一
花海海·2023-11-15 18:03

使用 docker-compose 简单部署 minio

单机开发调试用version:'3'services:minio:image:minio/minio:RELEASE.2021-04-18T19-26-29Zcontainer_name:minioServerports
yssa1125001·2023-11-15 17:09

docker-compose 部署minio

├──conf├──data└──docker-compose.yml2、docker-compose.yml脚本version:'3'services:minio:image:minio/minio:
灰鹭·2023-11-15 17:39

docker-compose部署minio并创建bucket

文章目录1.docker-compose.yaml2.部署3.卸载4.验证1.docker-compose.yamlmkdir-p/root/i/docker-compose/minio&&cd/root
wnfee·2023-11-15 17:37

腾讯云部署docker-compose minio分布式集群部署

先看效果图腾讯云部署先开放端口：190001900190009001大概的目录是这样：先创建好目录docker-compose.yam:#指定的docker-compos的版本，这个需要和docker版本相适配,对应关系参考https://docs.docker.com/compose/compose-file/compose-file-v3/version:‘3.8’Settingsandcon
qq_32617639·2023-11-15 17:36

docker-compose 部署单机、多机minio

一、介绍MinIO是对象存储服务。它基于ApacheLicense开源协议，兼容AmazonS3云存储接口。适合存储非结构化数据，如图片，音频，视频，日志等。对象文件最大可以达到5TB。
Xinyi7777·2023-11-15 17:04

docker-compose部署minio

1、minio登录密码和访问端口默认密码：adminadmin123456访问端口：80012、创建挂载目录mkdir-p/home/volumes/minio/datacd/home/volumeschmod777
！@123·2023-11-15 17:34

Docker---Docker-compose安装部署MinIO存储服务

Docker-compose安装部署MinIO存储服务目录Docker-compose安装部署MinIO存储服务一、环境准备二、启动容器并访问一、环境准备拉取minio的docker镜像：dockerpullminio
--山海--·2023-11-15 17:33

Docker-minio部署

1.创建目录创建文件目录，用来存放配置和上传文件目录（1）Minio外部挂载的配置文件(/mydata/minio/config)（2）存储上传文件的目录(/mydata/minio/data)mkdir-p
梦想的边缘·2023-11-15 17:02

从0开始学大数据14-BigTable的开源实现：HBase

我们前面已经讲过了GFS对应的Hadoop分布式文件系统HDFS，以及MapReduce对应的Hadoop分布式计算框架MapReduce，今天我们就来领略一下BigTable对应的NoSQL系统
源码头·2023-11-15 15:48

HarmonyOS分布式文件系统开发指导

分布式文件系统概述分布式文件系统（hmdfs，HarmonyOSDistributedFileSystem）提供跨设备的文件访问能力，适用于如下场景：两台设备组网，用户可以利用一台设备上的编辑软件编辑另外一台设备上的文档
HarmonyOS开发者·2023-11-15 09:14

AWS-S3通用存储操作，操作minio、oss、cos等所有兼容s3协议的云存储（含有大文件分片上传实现）

一、介绍通用存储操作common包，支持所有兼容amazon-s3协议的云存储，如minio、oss、cos等，以后客户用啥云储存一套代码都能搞定了，真棒~二、代码结构三、代码实现3.1pom.xmlsay-common-ossaws-java-sdk-s3com.amazonaws
say荣帅·2023-11-15 07:06

Hadoop伪分布式搭建

伪分布式搭建目的准备支持的平台需要的软件下载伪分布式配置设置SSH免密登录启动hadoop验证文件分块查看上传后的文件目的本文档介绍如何设置和配置单节点Hadoop安装，以便您可以使用HadoopMapReduce和Hadoop分布式文件系统
best program·2023-11-15 05:13

Java主流分布式解决方案多场景设计与实战

分布式文件系统：在Java的分布式系统中，文件系统也是非常重要的一部
SpringJa·2023-11-15 04:38

Amazon S3 对象存储Java API操作记录（Minio与S3 SDK两种实现）

缘起今年(2023年)2月的时候做了个适配AmazonS3对象存储接口的需求，由于4月份自学考试临近，一直在备考就拖着没总结记录下，开发联调过程中也出现过一些奇葩的问题，最近人刚从考试缓过来顺手记录一下。S3对象存储的基本概念S3是什么？AmazonS3(SimpleStorageService)对象存储出现得比较早且使用简单的RESTfulAPI，于是成为了对象存储服务(ObjectStorag
东北小狐狸-Hellxz·2023-11-15 03:34

解决Nginx代理MinIO出现Access Denied

通过nginx代理访问minio文件地址时出现了AccessDenied的错误我的访问地址：http://ab.ac.ad.cn:10001/group2/2023/10/23/3_20231023101203A001
焚目圣僧渡众生·2023-11-15 03:47

nginx 报 413 Request Entity Too Large

这里上传minio文件时，通过nginx代理，发现抛出了413RequestEntityTooLarge的异常，异常信息：io.minio.errors.InvalidResponseException
焚目圣僧渡众生·2023-11-15 03:47

保姆级教程-分布式文件系统FastDFS（高效存储，有效解决大量资源上传下载）

官方网站：https://github.com/happyfish100/配置文档：https://github.com/happyfish100/fastdfs/wiki/参考资料：https://www.oschina.net/question/tag/fastdfsJava客户端：https://github.com/happyfish100/fastdfs-client-java文章目录为
m0_67402564·2023-11-14 22:06

基于SpringBoot的文件在线预览

基于SpringBoot的文件在线预览kkFileView简介Windows安装Linux安装kkfileview和MinIO结合使用kkfileview的配置kkFileView简介kkFileView
mry6·2023-11-14 14:06

Linux 安装 docker，使用docker 安装mysql、redis、jdk、nginx、minio

Linux安装docker，使用docker安装mysql、redis、jdk、nginx、minio1、安装docker这里使用的是阿里云的CentOS操作系统1.1、首先安装一些必要的工具1.2、添加软件源信息
雷雷（牛头梗）·2023-11-13 17:55

云数据库RDS知识点

云数据库RDS是一种稳定可靠、可弹性伸缩的在线数据库服务，基于阿里云分布式文件系统和SSD盘高性能存储，支持MySQL、SQLServer、PostgreSQL、PPAS（PostgrePlusAdvancedServer
编织幻境的妖·2023-11-13 11:57

SpringBoot+MINIO

Linux安装MINIOhttps://blog.csdn.net/tongxin_tongmeng/article/details/133934115MINIO创建桶MINIO创建秘钥MINIO的API
童心同萌·2023-11-13 11:56

minio的docker启动指令

dockerrun-p9000:9000-p9090:9090\--nameminio\--restart=always\-e"MINIO_ACCESS_KEY=minioadmin"\-e"MINIO_SECRET_KEY
渣瓦攻城狮·2023-11-13 09:38

FastDFS分布式文件系统

什么是FastDFS:FastDFS是一个C语言实现的开源轻量级分布式文件系统,作者余庆(happyfish100),支持Linux、FreeBSD、AID等Unix系统,解决了大数据存储和读写负载均衡等问题
小甄笔记·2023-11-13 08:54

【Nginx】nginx | 微信小程序验证域名配置

【Nginx】nginx|微信小程序验证域名配置一、说明二、域名管理一、说明小程序需要添加头条的功能，内容涉及到富文本内容显示图片资源存储在minio中，域名访问。微信小程序需要验证才能显示。
hgSuper·2023-11-13 08:01

服务器minio配置阿里云SSL证书实现https访问

minio只能识别这两个名字查找linux的主目录echo$HOME在当前主目录下输入/root/.minio/certs（这个目录需手动输入）二、配置minio服务器安装apachesudoyuminstallhttpd
老伴穿洛丽塔·2023-11-13 07:02

CentOS7下搭建Ceph分布式存储架构

(1).Ceph概述Ceph是为了优秀的性能、可靠性和可扩展性而设计的统一的、分布式文件系统，并且还是一个开源的分布式文件系统。
假面生·2023-11-12 12:52

【分布式技术专题】「OSS中间件系列」Minio的文件服务的存储模型及整合Java客户端访问的实战指南

Minio的元数据数据存储MinIO对象存储系统没有元数据数据库，所有的操作都是对象级别的粒度的，这种做法的优势是:个别对象的失效，不会溢出为更大级别的系统失效。便于实现“强一致性”这个特性。
洛神灬殇·2023-11-12 08:44

docker更新镜像

.用旧镜像创建一个容器dockerrun--rm-it--namespf-img-sicolor-updateimage_name:tag/bin/bash2.在容器内安装需要的包pipinstallminio-ihttps
风一样的男子&·2023-11-12 06:10

深入浅出分布式存储的设计与优化之道

分布式文件系统和分布式块存储作为云存储中重要的技术，成为奠定云存储发展的重要基石。对于大多数专注于云计算本身的IT技术人员来说，对分布式文件系统和分布式块存储未
UCloud_TShare·2023-11-12 05:43

Spring Boot总结（六）：Spring Boot SSO

SpringBoot界面设计SpringBoot总结（四）：提高数据库访问性能SpringBoot总结（五）：安全设计SpringBoot总结（六）：SpringBootSSOSpringBoot总结（七）：使用分布式文件系统
「已注销」·2023-11-11 19:05

hadoop、jboss未授权访问漏洞复现与未授权访问漏洞学习（内含服务器与中间件的区别）

，由于服务器直接在开放了Hadoop机器HDFS的50070web端口及部分默认服务端口，黑客可以通过命令行操作多个目录下的数据，如进行删除，下载，目录浏览甚至命令执行等操作主要HDFS（Hadoop分布式文件系统
不想当脚本小子的脚本小子·2023-11-11 17:28

Docker搭建MinIO集群

/bin/bashdockerrun-d--network=host--nameminio\--restart=always\--log-optmax-size=10m\-v/etc/timezone:
Velvekt·2023-11-11 13:19

2023.11-9 hive数据仓库,概念,架构

）优点2）缺点四.Hive和数据库比较1）查询语言2）数据更新3）执行延迟4）数据规模五.hive架构流程六.MetaStore元数据管理三种模式一.HDFS、HBase、Hive的区别1、HDFS（分布式文件系统
白白的wj·2023-11-11 01:36

SpringBoot-集成Minio

官方文档：Kubernetes的MinIO对象存储—MinIOObjectStorageforKubernetes一、简介Minio是一个基于ApacheLicensev2.0开源协议的对象存储服务。
W_Meng_H·2023-11-10 20:54
上一页 11 12 13 14 15 16 17 18 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他