分布式文件系统MinIO

【Hadoop---07】HDFS 读 / 写 数据流程（面试重点）

HDFS写数据1.1HDFS写数据流程1.2关于副本结点的选择流程2.HDFS读数据1.HDFS写数据1.1HDFS写数据流程HDFS读写流程：HDFS客户端创建DistributedFileSystem(分布式文件系统
ElegantCodingWH·2023-08-09 08:52

Hadoop理论及实践-HDFS读写数据流程（参考Hadoop官网）

NameNode与DataNode回顾主节点和副本节点通常指的是Hadoop分布式文件系统（HDFS）中的NameNode和DataNode。
Matrix70·2023-08-09 08:18

CenOS7.8 多启动项修复，解决“Started Show Plymouth Boot Screen......Warning:dracut-initqueue timeout”问题。

，即每次启动服务器时总要手动的去将启动项选为第四项才能顺利进入系统，这一操作着实让人非常不习惯，而如果将服务器一直处于挂起状态则会导致系统时间和真实时间有偏差，导致各种各样的问题(如yum源更新报错/minio
往事如烟隔多年·2023-08-09 07:27

minio报错：Unable to use the drive /data: invalid argument

docker安装minio（时间点：2022-09-07）拉取得最新版本latest显示创建于5天前。
MetaverseMan·2023-08-09 07:10

Datenlord | Rust实现RDMA异步编程（二）：async Rust 封装 UCX 通信库

去年我们用Rust实现的高性能分布式文件系统MadFS，底层就使用了我们自己包装过的UCX
达坦科技DatenLord·2023-08-09 07:53

上传图片视频

分布式文件系统MinIoMinIO提供多个语言版本SDK的支持，下边找到java版本的文档：地址：https://docs.min.io/docs/java-client-quickstart-guide.htmlMinIO
Chris-myx·2023-08-09 06:15

【分布式技术专题】「OSS中间件系列」Minio的Server端服务的架构和实战搭建

Minio的介绍说明Minio是目前githug上star最多的ObjectStorage框架，这里ObjectStorage我目前的理解就是数据存储，minio可以用来搭建分布式存储服务Minio是ApacheLicensev2.0
洛神灬殇·2023-08-09 00:37

SpringBoot 后端项目利用 Minio 实现分片上传、断点续传

一、准备工作安装Minio服务后，在SpringBoot项目中使用以下代码来获取MinioClient（用于操作Minio的服务端）：MinioClientclient=MinioClient.builder
喵只想打代码·2023-08-08 23:11

MINIO安装（centos7）

步骤1：安装wget在开始安装MinIO之前，需要安装wget命令行工具。
予缘岁月·2023-08-08 20:52

记录Java读取hdfs上的文件全过程

输入代码后就可以实现了总结前言跟着白哥学Java，今天就来分享一下Java如何上传文件到hdfs上面，提示：以下是一点见解一、项目大体流程我们想要上传到hdfs，首先就得知道hdfs是什么东西：本质：HDFS的中文翻译是Hadoop分布式文件系统
卡丘. 钦爱·2023-08-08 18:52

GFS 分布式文件系统

目录GlusterFS概述1．GlusterFS简介2．GlusterFS特点●扩展性和高性能3．GlusterFS术语4．模块化堆栈式架构5．GlusterFS的工作流程6．弹性HASH算法弹性HASH算法的优点：7．GlusterFS的卷类型8.部署GlusterFS群集编辑安装、启动GlusterFS（所有node节点上操作）添加节点到存储信任池中（在node1节点上操作）编辑在每个Node
飞翔小怪兽·2023-08-08 18:47

【简单认识GFS分布式文件系统】

文章目录一.GlusterFS概述1.GlusterFS简介2.特点3.GlusterFS术语4.模块化堆栈式架构5.GlusterFS的工作流程6.GlusterFS的卷类型1、**分布式卷（Distributevolume）**2、条带卷（Stripevolume）3、复制卷（Replicavolume）4、分布式条带卷（DistributeStripevolume）5、分布式复制卷（Dist
除我以外皆是我·2023-08-08 17:18

HDFS数据一致性

校验和4.为实现高可用，HDFS采用的诸多策略4.1冗余副本4.2机架感知4.3心跳机制4.4安全模式4.5校验和4.6回收站4.7元数据保护4.8快照机制1.概述Hadoop中有个重要的工具就是HDFS分布式文件系统
小学僧来啦·2023-08-08 13:53

GFS 分布式文件系统

目录1．GlusterFS简介2．GlusterFS特点3．GlusterFS术语4．模块化堆栈式架构5．GlusterFS的工作流程6．弹性HASH算法7．GlusterFS的卷类型8.部署GlusterFS群集8.1准备环境（所有node节点上操作）8.2安装、启动GlusterFS（所有node节点上操作）8.3添加节点到存储信任池中（在node1节点上操作）8.4创建卷8.5部署Glust
Tizzy33·2023-08-08 08:08

Hadoop RPC远程过程调用框架

HadoopRPC（远程过程调用）是Hadoop分布式文件系统（HDFS）和其他Hadoop生态系统组件之间通信的机制，使得分布式集群中的不同节点能够无缝地相互交流和交换数据。
贾斯汀玛尔斯·2023-08-08 05:56

GFS分布式文件系统

目录一、GlusterFS概念MFSGlusterFS特点扩展性和高性能高可用性全局统一命名空间弹性卷管理基于标准协议二、GlusterFS术语Brick（存储块）Volume（逻辑卷）FUSEVFSGlusterd（后台管理进程）模块化堆栈式架构三、GlusterFS工作流程弹性HASH算法四、GlusterFS的卷类型分布式卷（Distributevolume）分布式卷特点条带卷（Stripe
Liu_Fang_Hong·2023-08-08 01:29

springboot 对接 minio 分布式文件系统

1.minio介绍Minio是一个基于Go语言的对象存储服务。
前进滴蜗牛·2023-08-07 22:27

Docker 快速安装 MinIO

概述MinIO是一款基于Go语言的高性能对象存储服务，非常适合于存储大容量非结构化的数据，例如图片、视频、日志文件、备份数据和容器/虚拟机镜像等。
花伤情犹在·2023-08-07 20:34

MapReduce基础原理、MR与MPP区别

概述MapReduce（MR）本质上是一种用于数据处理的编程模型；MapReduce用于海量数据的计算，HDFS用于海量数据的存储（HadoopDistributedFileSystem，Hadoop分布式文件系统
偷偷学习被我发现·2023-08-07 08:04

GFS分布式文件系统

文章目录一、GFS的简介二、GlusterFS特点1.扩展性和高性能2.高可用性3.全局统一命名空间4.弹性卷管理5.基于标准协议三、GlusterFSs术语四、GlusterFS构成五、GlusterFS工作流程六、弹性HASH算法七、GFS支持的七种卷1.分布式卷（Distributevolume）2.条带卷（Stripevolume）3.复制卷（Replicavolume）4.分布式条带卷（
2301_77369997·2023-08-07 07:50

IPFS白皮书（中文版）

IPFS(中文白皮书)IPFS-可快速索引的版本化的点对点文件系统摘要星际文件系统是一种点对点的分布式文件系统，旨在连接所有有相同
IPFS天何·2023-08-06 23:57

基于S3存储的笔记应用Notea

这意味着您可以使用MinIO（自托管）、阿里云OSS（如AWSS3）或NAS来存储您的数据。
杨浦老苏·2023-08-06 17:44

docker-compose 搭建 最新版minio 配置（含分布式）

1.简介MinIO是一个基于ApacheLicensev2.0开源协议的对象存储服务。
十&年·2023-08-06 12:33

minio 部署，并使用控制台配置

概念基础1.1minio优点部署简单wgethttp://dl.minio.org.cn/server/minio/release/linux-amd64/miniochmod+xminio.
SevenLitile·2023-08-06 11:12

AWS S3 协议对接 minio/oss 等

docs.aws.amazon.com/zh_cn/AmazonS3/latest/API/API_Operations_Amazon_Simple_Storage_Service.html)-兼容S3协议的对象存储有-minio
SevenLitile·2023-08-06 11:11

大数据——HDFS(分布式文件系统）

一，分布式系统概述Hadoop的两大核心组件HDFS（HadoopDistributedFilesystem）：是一个易于扩展的分布式文件系统，运行在成百上千台低成本的机器上。
风泩·2023-08-06 06:33

GFS分布式文件系统

目录一.文件系统简介1.1文件系统的组成1.2文件系统的作用1.3文件系统的挂载使用二.GFS分布式文件系统2.1GlusterFS简介2.2GlusterFS特点2.3GFS专业术语2.4GlusterFS
牛什么马什么·2023-08-05 23:45

docker安装MinIO

简介Minio是一个面向对象的简单高性能存储服务。使用Go语言编写，性能高、具有跨平台性。Minio官网为：https://min.io，有一个中文站点，单内容更新不是很及时，建议从原始官网学习。
滄鎟あ·2023-08-05 22:39

SpringBoot 整合 Minio

官网：MinIO是一个基于Go实现的高性能、兼容S3协议的对象存储。它采用GNUAGPLv3开源协议，项目地址是https://github.com/minio/minio。
String-int·2023-08-05 21:24

Linux 安装/卸载 Minio

安装创建目录[root@t2local]#mkdirminio[root@t2local]#cdminio[root@t2minio]#mkdirdata下载[root@t2minio]#wgethttps
String-int·2023-08-05 21:23

GFS 分布式文件系统

目录一、GlusterFS简介二、GlusterFS特点三、GlusterFS术语四、模块化堆栈式架构五、GlusterFS的工作流程六、弹性HASH算法七、GlusterFS的卷类型分布式卷（Distributevolume）：条带卷（Stripevolume）：复制卷（Replicavolume）：分布式条带卷（DistributeStripevolume）：分布式复制卷（Distribute
Mak1r522·2023-08-05 18:53

分布式文件系统HDFS

分布式文件系统HDFS（按块存储，默认一个block块128M）一、分布式文件系统HDFS1、产生背景传统的本地文件系统（单机式），在数据量过快、数据备份、数据安全性、操作使用便捷性上存在严重不足。
fakerlove·2023-08-05 16:41

Hadoop权威指南读书笔记（三）——认识HDFS

管理跨多台计算机存储的数据/文件，是分布式文件系统角色的定位。Hadoop的分布式文件系统是HDFS，以流式数据访问模式（在后面对HDFS读取/写入文件进行剖析的时候会具体阐述）来存储超大的文件。
StevenPeng的学习之路·2023-08-05 13:39

Hadoop分布式文件系统——HDFS原理简介

其中大部分内容来自于github上一个大神的开源笔记，在此附上链接，表达版权所属以及敬意:github源地址一、介绍HDFS(HadoopDistributedFileSystem)是Hadoop下的一个分布式文件系统
Brave_man_O·2023-08-05 13:08

《Hadoop权威指南》学习笔记（3）——Hadoop分布式文件系统

Hadoop分布式文件系统，即HDFS(HadoopDistributedFileSystem)。
啜晓伟·2023-08-05 13:08

MinIO

MinIO1.MinIO安装Minio是个基于Golang编写的开源对象存储服务，存储非结构化数据，如：图片，视频，音乐等官网地址：https://min.io/中文地址：http://minio.org.cn
胖成范德彪·2023-08-04 15:06

GFS 分布式文件系统

目录一、GFS分布式文件系统1.1．GlusterFS简介1.2．GlusterFS特点1.3．GlusterFS术语1.4．模块化堆栈式架构1.5．GlusterFS的工作流程1.6．弹性HASH算法
恋如雨沚·2023-08-04 12:31

Hadoop-HDFS的Namenode及Datanode（参考Hadoop官网）

HDFS有什么特点，被设计做什么Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodityhardware)上的分布式文件系统。
Matrix70·2023-08-04 09:51

HDFS架构刨析

secondarynamenode重要特性主从架构分块存储机制副本机制namespace元数据管理数据块存储概述HDFS是Hadoopdistributefilesystem的简称，意味：Hadoop分布式文件系统
fiveym·2023-08-04 09:48

大数据技术之Hadoop：HDFS集群安装篇（三）

目录分布式文件系统HDFS安装篇一、为什么海量数据需要分布式存储二、分布式的基础架构分析三、HDFS的基础架构四HDFS集群环境部署4.1下载安装包4.2集群规划4.3上传解压4.4配置HDFS集群4.5
何苏三月·2023-08-04 08:55

GFS分布式文件系统

GFS分布式文件系统一、GFS概述：1.简介：2.特点：3.GFS术语：4.GFS的工作流程：5.弹性HASH算法：二、GlusterFS的卷类型：1.分布式卷（Distributevolume）：2.
Riky12·2023-08-04 08:48

GFS分布式文件系统概述以及集群部署

目录一、GlusterFS简介二、GlusterFS特点2.1扩展性和高性能2.2高可用性2.3全局统一命名空间2.4弹性卷管理2.5基于标准协议三、GlusterFS术语四、模块化堆栈式架构五、GlusterFS的工作流程六、弹性HASH算法七、GFS支持的七种卷7.1分布式卷（Distributevolume）7.2条带卷（Stripevolume）7.3复制卷（Replicavolume）7
匸&㕕·2023-08-04 05:09

GFS分布式文件系统

一、GFS概述1.1GFS简介1.2GFS特点1.2.1.扩展性和高性能1.2.2.高可用性1.2.3.全局统一命名空间1.2.4.弹性卷管理（Raid级别）1.2.5.基于标准协议1.3GFS术语1.3.1.Brick（存储块）1.3.2.Volume（逻辑卷）1.3.3.FUSE1.3.4.VFS1.3.5.Glusterd（后台管理进程）1.4GFS工作原理1.5弹性HASH算法二、GFS的
m0_58076958·2023-08-04 01:21

GFS分布式文件系统简介及部署

目录一、GFS概述1、文件系统①、文件系统组成②、文件系统的作用③、专业术语二、GFS特点三、GFS工作原理四、GFS卷1、GFS卷类型2、三大基本卷的特点①、分布式卷②、条带卷③、复制卷五、部署GFS集群1、部署节点集群2、部署客户端3、正常测试4、破坏性测试①、分布式卷数据（可查看，但缺少node2的demo5.log）②、条带卷（不可查看，不具备冗余）③、复制卷（可查看，有冗余）④、分布式条
天 行 者·2023-08-04 01:21

HDCTF 2023 复现

quine注入)SearchMaster(Smarty模板注入)BabyJxVx(ApacheSCXML2RCE)Pwnpwnner(伪随机数&ret2text)KEEPON(格式化字符串漏洞&栈迁移)Minions
葫芦娃42·2023-08-03 16:54

GFS 分布式文件系统

GFS分布式文件系统一.GlusterFS概述1.GlusterFS简介（1）开源的分布式文件系统。（2）由存储服务器、客户端以及NFS/Samba存储网关（可选，根据需要选择使用）组成。
不懂就问QAQ·2023-08-03 13:07

docker minio安装

1.介绍Minio是一款开源的对象存储服务，它可以在任何硬件或云平台上提供高性能、高可用性和高安全性的存储解决方案。
猿小飞·2023-08-03 08:13

k8s部署minio

安装krew插件官网地址https://krew.sigs.k8s.io/docs/user-guide/setup/install/set-x;cd"$(mktemp-d)"&&OS="$(uname|tr'[:upper:]''[:lower:]')
时空无限·2023-08-03 07:49

GFS 分布式文件系统

文章目录一.GlusterFS概述1.GlusterFS简介2.GlusterFS特点3.GlusterFS术语4.模块化堆栈式架构5.GlusterFS的工作流程5.1GlusterFS的工作原理5.2GlusterFS的工作流程图示5.3弹性HASH算法5.3.1弹性HASH算法的优点6.GlusterFS的卷类型6.1分布式卷（Distributevolume）6.1.1分布式卷概念6.1.
Zhang110_·2023-08-03 04:13

GFS分布式文件系统概述以及集群部署

目录一、GlusterFS简介二、GlusterFS特点1、扩展性和高性能2、高可用性3、全局统一命名空间4、弹性卷管理5、基于标准协议三、GlusterFS术语四、GlusterFS构成五、后端存储如何定位文件六、GFS支持的七种卷1、分布式卷（Distributevolume）2、条带卷（Stripevolume）3、复制卷（Replicavolume）6.5分布式复制卷（Distribute
juuulia·2023-08-03 03:24
上一页 28 29 30 31 32 33 34 35 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他