E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
分布式文件系统MinIO
Hadoop权威指南读书笔记(三)——认识HDFS
管理跨多台计算机存储的数据/文件,是
分布式文件系统
角色的定位。Hadoop的
分布式文件系统
是HDFS,以流式数据访问模式(在后面对HDFS读取/写入文件进行剖析的时候会具体阐述)来存储超大的文件。
StevenPeng的学习之路
·
2023-08-05 13:39
Hadoop权威指南读书笔记
Hadoop
hadoop
大数据
hdfs
Hadoop
分布式文件系统
——HDFS原理简介
其中大部分内容来自于github上一个大神的开源笔记,在此附上链接,表达版权所属以及敬意:github源地址一、介绍HDFS(HadoopDistributedFileSystem)是Hadoop下的一个
分布式文件系统
Brave_man_O
·
2023-08-05 13:08
hadoop
hdfs
《Hadoop权威指南》学习笔记(3)——Hadoop
分布式文件系统
Hadoop
分布式文件系统
,即HDFS(HadoopDistributedFileSystem)。
啜晓伟
·
2023-08-05 13:08
hadoop
大数据
MinIO
MinIO
1.
MinIO
安装
Minio
是个基于Golang编写的开源对象存储服务,存储非结构化数据,如:图片,视频,音乐等官网地址:https://min.io/中文地址:http://
minio
.org.cn
胖成范德彪
·
2023-08-04 15:06
java
GFS
分布式文件系统
目录一、GFS
分布式文件系统
1.1.GlusterFS简介1.2.GlusterFS特点1.3.GlusterFS术语1.4.模块化堆栈式架构1.5.GlusterFS的工作流程1.6.弹性HASH算法
恋如雨沚
·
2023-08-04 12:31
中间件
Hadoop-HDFS的Namenode及Datanode(参考Hadoop官网)
HDFS有什么特点,被设计做什么Hadoop
分布式文件系统
(HDFS)被设计成适合运行在通用硬件(commodityhardware)上的
分布式文件系统
。
Matrix70
·
2023-08-04 09:51
Hadoop
hadoop
hdfs
大数据
HDFS架构刨析
secondarynamenode重要特性主从架构分块存储机制副本机制namespace元数据管理数据块存储概述HDFS是Hadoopdistributefilesystem的简称,意味:Hadoop
分布式文件系统
fiveym
·
2023-08-04 09:48
#
hdfs
hdfs
架构
hadoop
大数据技术之Hadoop:HDFS集群安装篇(三)
目录
分布式文件系统
HDFS安装篇一、为什么海量数据需要分布式存储二、分布式的基础架构分析三、HDFS的基础架构四HDFS集群环境部署4.1下载安装包4.2集群规划4.3上传解压4.4配置HDFS集群4.5
何苏三月
·
2023-08-04 08:55
大数据技术
大数据
hadoop
分布式
GFS
分布式文件系统
GFS
分布式文件系统
一、GFS概述:1.简介:2.特点:3.GFS术语:4.GFS的工作流程:5.弹性HASH算法:二、GlusterFS的卷类型:1.分布式卷(Distributevolume):2.
Riky12
·
2023-08-04 08:48
数据库
运维
GFS
分布式文件系统
概述以及集群部署
目录一、GlusterFS简介二、GlusterFS特点2.1扩展性和高性能2.2高可用性2.3全局统一命名空间2.4弹性卷管理2.5基于标准协议三、GlusterFS术语四、模块化堆栈式架构五、GlusterFS的工作流程六、弹性HASH算法七、GFS支持的七种卷7.1分布式卷(Distributevolume)7.2条带卷(Stripevolume)7.3复制卷(Replicavolume)7
匸&㕕
·
2023-08-04 05:09
数据库
GFS
分布式文件系统
一、GFS概述1.1GFS简介1.2GFS特点1.2.1.扩展性和高性能1.2.2.高可用性1.2.3.全局统一命名空间1.2.4.弹性卷管理(Raid级别)1.2.5.基于标准协议1.3GFS术语1.3.1.Brick(存储块)1.3.2.Volume(逻辑卷)1.3.3.FUSE1.3.4.VFS1.3.5.Glusterd(后台管理进程)1.4GFS工作原理1.5弹性HASH算法二、GFS的
m0_58076958
·
2023-08-04 01:21
GFS
linux
centos
GFS
分布式文件系统
简介及部署
目录一、GFS概述1、文件系统①、文件系统组成②、文件系统的作用③、专业术语二、GFS特点三、GFS工作原理四、GFS卷1、GFS卷类型2、三大基本卷的特点①、分布式卷②、条带卷③、复制卷五、部署GFS集群1、部署节点集群2、部署客户端3、正常测试4、破坏性测试①、分布式卷数据(可查看,但缺少node2的demo5.log)②、条带卷(不可查看,不具备冗余)③、复制卷(可查看,有冗余)④、分布式条
天 行 者
·
2023-08-04 01:21
数据库
服务器
HDCTF 2023 复现
quine注入)SearchMaster(Smarty模板注入)BabyJxVx(ApacheSCXML2RCE)Pwnpwnner(伪随机数&ret2text)KEEPON(格式化字符串漏洞&栈迁移)
Minio
ns
葫芦娃42
·
2023-08-03 16:54
CTF
GFS
分布式文件系统
GFS
分布式文件系统
一.GlusterFS概述1.GlusterFS简介(1)开源的
分布式文件系统
。(2)由存储服务器、客户端以及NFS/Samba存储网关(可选,根据需要选择使用)组成。
不懂就问QAQ
·
2023-08-03 13:07
GFS
分布式文件系统
分布式
linux
docker
minio
安装
1.介绍
Minio
是一款开源的对象存储服务,它可以在任何硬件或云平台上提供高性能、高可用性和高安全性的存储解决方案。
猿小飞
·
2023-08-03 08:13
环境部署
docker
容器
运维
k8s部署
minio
安装krew插件官网地址https://krew.sigs.k8s.io/docs/user-guide/setup/install/set-x;cd"$(mktemp-d)"&&OS="$(uname|tr'[:upper:]''[:lower:]')
时空无限
·
2023-08-03 07:49
Kubernetes
kubernetes
云原生
GFS
分布式文件系统
文章目录一.GlusterFS概述1.GlusterFS简介2.GlusterFS特点3.GlusterFS术语4.模块化堆栈式架构5.GlusterFS的工作流程5.1GlusterFS的工作原理5.2GlusterFS的工作流程图示5.3弹性HASH算法5.3.1弹性HASH算法的优点6.GlusterFS的卷类型6.1分布式卷(Distributevolume)6.1.1分布式卷概念6.1.
Zhang110_
·
2023-08-03 04:13
运维
GFS
分布式文件系统
概述以及集群部署
目录一、GlusterFS简介二、GlusterFS特点1、扩展性和高性能2、高可用性3、全局统一命名空间4、弹性卷管理5、基于标准协议三、GlusterFS术语四、GlusterFS构成五、后端存储如何定位文件六、GFS支持的七种卷1、分布式卷(Distributevolume)2、条带卷(Stripevolume)3、复制卷(Replicavolume)6.5分布式复制卷(Distribute
juuulia
·
2023-08-03 03:24
数据库
服务器
缓存
备份gitlab代码仓库脚本
1.脚本能做什么将gitlab代码仓库备份并将备份迁移到指定服务器,此时我将代码仓库上传到了
minio
的某个bucket下,便于查看情况,本次脚本并没有做定时执行的脚本,所以脚本需要手动执行。
dongwn
·
2023-08-02 23:03
gitlab
docker
容器
【分布式应用】GFS
分布式文件系统
目录前言一、GlusterFS概述1.1GlusterFS简介1.2GlusterFS特点●扩展性和高性能●高可用性●全局统一命名空间●弹性卷管理●基于标准协议1.3GlusterFS术语●Brick(存储块):●Volume(逻辑卷):●FUSE:●VFS:●Glusterd(后台管理进程):1.4模块化堆栈式架构1.5GlusterFS的工作流程1.6弹性HASH算法二、GlusterFS的卷
Utopia_dower
·
2023-08-02 16:23
云计算
编译运行
minio
b最小数据库系统
minibo是一个用于教学的小型数据库系统,麻雀虽小五脏俱全,该项目包含了数据库的核心内容,并且代码量小,适合新手学习,最近由于需要学习c/cpp,因此打算从这个项目入手,本文就介绍编译运行
minio
b
haohulala
·
2023-08-02 14:38
MiniOB数据库
数据库
minio
-分布式文件存储系统
minio
-分布式文件存储系统
minio
的简介
MinIO
基于ApacheLicensev2.0开源协议的对象存储服务,可以做为云存储的解决方案用来保存海量的图片,视频,文档。
huahailing1024
·
2023-08-02 08:20
分布式
GFS
分布式文件系统
GFS
分布式文件系统
1.gfs简介2.gfs特点3.gfs术语brick(存储块)volume(逻辑卷)fusevfs4.gfs工作流程(重点)5.gfs卷类型分布式卷条带卷(数据不完整,会报错)复制卷分布式条带卷分布式复制卷总结
xiaowei0403
·
2023-08-02 08:19
分布式
Vue+Nodejs+Express+
Minio
实现本地图片上传
安装
Minio
,
Minio
server和
Minio
client都要下载可以自定义安装目录安装完成之后,可以将
minio
配置成环境变量方便使用配置了环境变量启动命令式
minio
serverstart,默认账号密码
小样还想跑
·
2023-08-02 05:51
vue.js
express
前端
qkfile重要落地应用“闪电盘”即将火爆上线
“闪电盘”是基于qkfile
分布式文件系统
,旨在为用户创造全新体验而打造的分布式云存储。“闪电盘”定位于中小文件的快捷分享,无需客户端,因其下载速度快如闪电而得名。
少年已不年少201901
·
2023-08-02 03:40
GFS
分布式文件系统
文章目录一.GlusterFS概述1.GlusterFS简介2.GlusterFS特点3.GlusterFS术语4.模块化堆栈式架构5.GlusterFS的工作流程5.1GlusterFS的工作原理5.2GlusterFS的工作流程图示5.3弹性HASH算法5.3.1弹性HASH算法的优点6.GlusterFS的卷类型6.1分布式卷(Distributevolume)6.1.1分布式卷概念6.1.
赵烧鸡腿饭。
·
2023-08-02 01:42
redis
数据库
分布式应用:GFS
分布式文件系统
目录一、理论1.GlusterFS2.GlusterFS卷类型3.GlusterFS与RAID汇总4.部署GlusterFS群集5.部署Gluster集群环境(所有node节点操作)6.创建卷7.部署Gluster客户端8.测试Gluster文件系统9.其他的维护命令二、实验1.部署Gluster集群环境(所有node节点操作)2.创建卷3.部署Gluster客户端4.测试Gluster文件系统5
cronaldo91
·
2023-08-01 22:22
分布式
GFS
分布式文件系统
目录一、GlusterFS简介二、GlusterFS特点1.扩展性和高性能2.高可用性3.全局统一命名空间4.弹性卷管理5.基于标准协议三、GlusterFS术语1.Brick(存储块)2.Volume(逻辑卷)3.FUSE4.VFS5.Glusterd(后台管理进程)四、GlusterFS的工作流程五、弹性HASH算法六、GlusterFS的卷类型1.分布式卷(Distributevolume)
深情的冷少
·
2023-08-01 20:35
运维
分布式处理框架Hadoop的安装与使用
Hadoop实现了一个
分布式文件系统
(HadoopDistributedFileSystem),简称HDFS。
与李_han
·
2023-08-01 15:28
170SaltStack 运维通关手册--SaltStack 架构和配置
此系统用于将命令和配置发送到在受管系统上运行的Salt
minio
n。Salt
Minio
ns,被管理的系统。该系统运行Salt
minio
n,它从Saltmaster接收命令和配置。
Jachin111
·
2023-08-01 13:46
一分钟带你了解
分布式文件系统
(NFS)
文章首发地址NFS(NetworkFileSystem)是一种基于网络的
分布式文件系统
协议,允许网络中的主机通过网络共享文件和目录,并使得文件可以在不同主机之间共享和访问。
Walter Sun
·
2023-07-31 22:42
分布式文件系统
大数据计算技术架构解析
3.1.1.1建模3.1.1.1.1概念模型3.1.1.1.2逻辑模型3.1.1.1.3物理模型(存储)3.1.2数据存储架构3.1.3数据仓库和数据服务3.1.4统一数据接口3.2层次单元3.2.1
分布式文件系统
风吹海洋浪
·
2023-07-31 17:40
大数据
big
data
架构
云计算
【黑马头条之文章详情-静态文件生成】
本笔记内容为黑马头条项目的文章详情-静态文件生成部分目录一、思路分析二、实现步骤基础知识可参考下面两篇文章【黑马头条之对象存储服务
MinIO
】_蛋饼吧的博客-CSDN博客【黑马头条之freemarker
蛋饼吧
·
2023-07-31 16:20
黑马头条
java
笔记
大数据部分总结
HadoopHADOOP是apache旗下的一套开源软件平台提供的功能:利用服务器集群,根据用户的自定义业务逻辑,对海量数据进行分布式处理HADOOP的核心组件有HDFS(
分布式文件系统
)ARN(运算资源调度系统
DHRJFH
·
2023-07-31 09:14
大数据
hadoop
big
data
hadoop
【
Minio
怎么用】
Minio
上传图片并Vue回显
流程:目录1.文件服务器
Minio
的安装1.1下载
Minio
安装后,新建1个data文件夹。并在该安装目录cmd敲命令。注意不要进错目录。
大雨学习成长
·
2023-07-31 09:22
前端
《向量数据库指南》——使用Milvus Cloud操作员安装Milvus Cloud独立版
该堆栈包含所有Milvuscloud组件和相关依赖项,如etcd、Pulsar和
MinIO
。本主题介绍如何使用MilvuscloudOperator安装Milvuscloud独立版。先决条
LCHub低代码社区
·
2023-07-31 08:38
《向量数据库指南》
milvus
AI-native
Milvus
Cloud
向量数据库
ModaGPT
ModaHub
在windows上安装
minio
1、下载windows版的
minio
:https://dl.min.io/server/
minio
/release/windows-amd64/
minio
.exe2、在指定位置创建一个名为
minio
文件夹
白豆五
·
2023-07-31 07:44
Java笔记
windows
minio
集群部署
目录一,分布式
Minio
概述1.1概念1.2搭建流程简述二,环境准备2.1节点环境2.2节点磁盘挂载2.2.1硬盘分区2.2.2格式化磁盘分区2.2.3磁盘目录挂载三,集群部署3.1
minio
安装3.1.1
minio
n
派大星的头脑
·
2023-07-30 17:18
运维平台-工具
运维开发
如何在Windows 10 上定时备份线上
Minio
资源
@[TOC](如何在Windows10上定时备份线上
Minio
资源)一、系统环境操作系统:Windows10由于资源有限,无法部署
Minio
集群,只能退而求其次,整个定时备份有限度地保障下数据的完整。
暗星涌动
·
2023-07-30 14:19
Minio
在windows环境配置https访问
minio
启动后,默认访问方式为http,但是有的时候我们的访问场景必须是https,浏览器有的会默认以https进行访问,这个时候就需要我们进行配置上的调整,将
minio
从http访问升级到https
习明然
·
2023-07-30 11:51
JAVA
微信公众号
https
http
minio
面试笔记(02)
2、FastDFS(1)开源的
分布式文件系统
,主要对文件进行存储、同步、上传、下载,有自己的容灾备份、负载均衡、线性扩容机制。(2)FastD
DKPT
·
2023-07-30 08:02
Java面试题
数据库
java
mysql
字符串
flutter
minio
这里介绍以下
minio
,(
MinIO
|企业级、高性能对象存储)有点类似腾讯云阿里云的对象存储:头衔有很多总结技术性能强悍可以使用的姿势比较多:这里只要介绍下从Flutter上传图片的和视频的操作:
minio
nicepainkiller
·
2023-07-30 03:57
Flutter
flutter
minio
minio
部署
minio
部署1.安装
minio
#下载
minio
https://dl.min.io/server/
minio
/release/linux-amd64/#添加可执行权限chmod+x
minio
#下载prometheus
weixin_41083358
·
2023-07-30 03:46
linux
运维
服务器
linux之
minio
搭建
Minio
简介:
Minio
是GlusterFS创始人之一AnandBabuPeriasamy发布新的开源项目。
斗码士
·
2023-07-29 23:02
开发技术
linux
运维
服务器
MinIO
对象存储
MinIO
是一个高性能的分布式对象存储系统。它是软件定义的,在行业标准硬件上运行,并且100%开源,主要许可证是GNUAGPLv3。
summer_west_fish
·
2023-07-29 17:15
云原生
MinIO
hadoop集群
一、hadoop动物管理员Hadoop“平台”包括Hadoop内核、MapReduce、Hadoop
分布式文件系统
(HDFS)以及一些相关项目。
莫待花无空折枝
·
2023-07-29 14:26
大数据
Minio
桶复制(Bucket Replication)入门
文章目录前言一、部署下载用户组添加
minio
.service文件新建配置文件
minio
启动二、安装mc三、桶复制1.权限建立ReplicationAdmin用户建立ReplicationRemoteUser
ShayneLee8
·
2023-07-29 09:01
运维
分布式
架构
中间件
解决bucket name does not follow Amazon S3 standards. For more information refer http://docs.aws.amazon
在上传图片到
Minio
图片服务器的时候验证桶的名称发现汇报如下异常:bucketnamedoesnotfollowAmazonS3standards.Formoreinformationreferhttp
枣泥馅
·
2023-07-29 01:50
java
minio图片上传
doker安装RabbitMQ以及用java连接
目录doker安装:RabitMq安装:java链接doker安装:参考链接(非常详细):docker安装以及部署_dockerbushu
minio
_春风与麋鹿的博客-CSDN博客安装好后开启doker
别活在过去i
·
2023-07-28 21:19
java
Spring框架
java
docker
开发语言
《大数据技术原理与应用》(第三章 HDFS 课后答案)
第三章
分布式文件系统
HDFS参考资料1.林子雨_大数据技术原理与应用课后习题_NPU_阿夏的博客-CSDN博客2.林子雨编著《大数据技术原理与应用(第3版)》教材官网_厦门大学数据库实验室3.大数据技术原理与应用
S_h_a_
·
2023-07-28 15:41
计算机本科课程
hdfs
hadoop
big
data
大数据
上一页
29
30
31
32
33
34
35
36
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他