E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
分布式文件系统MinIO
Linux(Centos)安装
Minio
集群
需要将新建的目录挂在到对应的磁盘下,磁盘不挂载好,集群启动会报错:找不到磁盘,如下:5:准备环境5.1:关闭防火墙5.2:修改主机名5.3:修改hosts文件,实现局域网互通5.4:修改系统最大文件数5.5:创建
minio
itfallrain
·
2023-09-18 06:41
中间件
数据库
linux
centos
java
MapReduce & YARN 的部署
1、部署说明HadoopHDFS
分布式文件系统
,我们会启动:NameNode进程作为管理节点DataNode进程作为工作节点SecondaryNamenode作为辅助同理,HadoopYARN分布式资源调度
新征程,再出发
·
2023-09-18 03:30
大数据
mapreduce
大数据
yarn
hdfs
GFS
分布式文件系统
目录1、GlusterFS概述1.1GlusterFS简介1.2GlusterFS特点1.3GlusterFS术语1.4模块化堆栈式架构1.5GlusterFS的工作流程1.6弹性HASH算法1.7GlusterFS的卷类型2、部署GlusterFS群集2.1关闭防火墙2.2磁盘分区,并挂载2.3修改主机名,配置/etc/hosts文件2.4安装、启动GlusterFS(所有node节点上操作)2
曦雨天梦
·
2023-09-18 03:19
GFS
GFS
分布式文件系统
目录一、GlusterFS概述二、GlusterFS特点1、扩展性和高性能2、高可用性3、全局统一命名空间4、弹性卷管理三、GlusterFS术语1、Brick(存储块)2、Volume(逻辑卷)3、FUSE4、VFS5、Glusterd(后台管理进程)四、模块化堆栈式架构五、GlusterFS的工作流程六、弹性HASH算法1、弹性hash算法的概念2、弹性HASH算法的优点七、GFS卷的类型1、
云开朗
·
2023-09-18 02:04
大数据
分布式文件系统
FastDFS 5.0.5 & Linux CentOS 7 安装配置
前言项目中用到文件服务器,有朋友推荐用fastdfs,所以就了解学习了一番,感觉确实颇为强大,在此再次感谢淘宝资深架构师余庆大神开源了如此优秀的轻量级
分布式文件系统
,本篇blog就记录一下fastdfs
小灯光环
·
2023-09-17 21:05
Linux
文件服务器
fastdfs
分布式文件系统
centos7
网络
HTTP通信过程-请求HTTP协议规定:一个完整的由客户端发给服务器的HTTP请求中包含以下内容请求头:包含了对客户端的环境描述、客户端请求信息等GET/
minio
n.pngHTTP/1.1包含了请求方法
六月的某一个早晨
·
2023-09-17 21:21
php 删除fastdfs文件名,浅析FastDFS及所遇问题集锦
一、FastDFS简介FastDFS(最新版本v3.04)是一个开源的轻量级
分布式文件系统
,它用纯C语言实现,支持Linux、FreeBSD、AIX等UNIX系统。
舟舟州
·
2023-09-17 19:06
php
删除fastdfs文件名
saltstack集群环境搭建
环境搭建实验环境主master:4核8GIP:10.0.0.10syndic节点(可选):2核4GIP10.0.0.20
minio
n节点:10.0.0.30salt可以运行在任何满足一下条件的unix系操作系统中
wangol
·
2023-09-17 16:04
FastDFS是什么
FastDFS是什么FastDFS是使用c语言编写的开源高性能
分布式文件系统
是由淘宝开发平台部资深架构师余庆开发,FastDFS孵化平台板块他对文件进行管理,功能包括文件存储,文件同步,文件访问等,解决了大容量存储和负载均衡的问题特别适合文件载体的在线服务
洁癖汪
·
2023-09-17 07:46
分布式事务控制方案
分布式事务技术方案1.什么是分布式事务一次课程发布操作需要向数据库、redis、elasticsearch、
MinIO
写四份数据,这里存在分布式事务问题。
无条件做异梦
·
2023-09-17 05:52
微服务
分布式
minio
搭建单机/集群
MinIO
说明
MinIO
是一个基于ApacheLicensev2.0开源协议的对象存储服务。
西柚酱_
·
2023-09-17 03:52
SaltStack 常用的一些命令
以下是SaltStack常用的一些命令:查看帮助信息:salt--help检查Salt支持的操作系统:salt'*'test.ping查看
Minio
n的版本号:salt'*'test.version执行命令
hhb_618
·
2023-09-17 01:30
自动化
saltstack
基于Docker搭建
分布式文件系统
FastDfs
FastDFS是一个开源的
分布式文件系统
,它对文件进行管理,功能包括:文件
我们都很努力着
·
2023-09-16 16:15
Github 29K Star的开源对象存储方案——
Minio
入门宝典
对象存储不是什么新技术了,但是从来都没有被替代掉。为什么?在这个大数据发展迅速地时代,数据已经不单单是简单的文本数据了,每天有大量的图片,视频数据产生,在短视频火爆的今天,这个数量还在增加。有数据表明,当今世界产生的数据,有80%是非关系型的。那么,对于图片,视频等数据的分析可以说是大数据与人工智能的未来发展方向之一。但是如何存储这些数据呢?商用云方案往往价格昂贵,而传统的大数据解决方案并不能充分
大数据流动
·
2023-09-16 15:31
分布式
大数据
hadoop
数据库
python
分布式文件存储服务器之
Minio
对象存储技术参考指南
Minio
对象存储技术
MinIO
是一种高性能对象存储解决方案,原生支持Kubernetes部署。
MinIO
提供与AmazonWebServicesS3兼容的API并支持所有核心S3功能。
marklin
·
2023-09-16 15:30
Minio
对象存储
OSS
分布式对象存储
Minio
入门系列【3】
MinIO
Client使用详解
1简介简称mc,是
minio
服务器的客户端,对ls,cat,cp,mirror,diff,find等UNIX命令提供了一种替代方案,它支持文件系统和兼容AmazonS3的云存储服务(AWSSignaturev2
吴名氏.
·
2023-09-16 15:59
Minio
微服务
minio
微服务
分布式图片
对象存储
Minio
入门系列【2】纠删码
1纠删码
Minio
使用纠删码erasurecode和校验和checksum来保护数据免受硬件故障和无声数据损坏。
吴名氏.
·
2023-09-16 15:29
微服务
Minio
微服务
Minio
分布式图片
对象存储
Minio
入门系列【4】对象存储 OSS概述
1对象存储OSS文档来源于阿里云对象存储OSS,
Minio
也是对象存储OSS,很多概念都是相通的,所以了解下。实际企业应用使用阿里OSS是一个很不错的选择。
吴名氏.
·
2023-09-16 15:28
Minio
微服务
minio
微服务
分布式图片
对象存储
什么是存储计算分离架构?
1.背景首先我们谈谈Hadoop的背景,说到Hadoop起源,就离不开Google的三辆马车:GoogleFileSystem、MapReduce和BigTable,分别说了
分布式文件系统
、分布式计算MR
中关村_周某
·
2023-09-16 12:12
大数据
大数据
分布式
GFS
分布式文件系统
1.GlusterFS简介GlusterFS是一个开源的
分布式文件系统
。由存储服务器、客户端以及NFS/Samba存储网关(可选,根据需要选择使用)组成。
- joke
·
2023-09-16 09:51
支持向量机
FastDFS安装及配置
FastDFS安装及配置1.FastDFS简介FastDFS是一个开源的轻量级
分布式文件系统
,它对文件进行管理。FastDFS架构包括Trackerserver和Storageserver。
69循环
·
2023-09-16 09:43
笔记
fastdfs
Databend 玩转 Local 模式
由于Databend架构有三层,因此部署Databend服务一般需要启动"databend-query","databend-meta","
minio
"三个进程,同时需要修改端口等配置项,流程上略显复杂
Databend
·
2023-09-16 07:52
microsoft
Amazon S3中 bucket name does not follow Amazon S3 standards. For more information refer
在用
minio
进行存储中遇到的问题,问题是在创建桶的名称的时候发现的错误:查看官方文档,翻译过来就是下面这几点以下规则适用于在AmazonS3中命名存储桶:1、存储桶名称的长度必须介于3(分钟)到63(
500万一根油条
·
2023-09-16 06:10
avs3
对象存储
ubuntu系统安装hadoop
Hadoop分布式计算平台,核心是
分布式文件系统
HDFSubantu下安装jdkwgethttps://repo.huaweicloud.com/openjdk/18.0.1.1/openjdk-18.0.1.1
shigen01
·
2023-09-16 02:30
大数据
ubuntu
hadoop
linux
大数据
docker-compose部署
Minio
一、镜像选择
Minio
有很多镜像会有一些bug,而且不好解决,这里使用的是镜像RELEASE.2021-04-18T19-26-29Z直接:dockerpull
minio
/
minio
:RELEASE.2021
唐伯虎点蚊香dw
·
2023-09-15 22:07
docker
容器
运维
IM开源项目OpenIM部署文档-从准备工作到nginx配置
部署文档-从准备工作到nginx配置2022-11-1422:27·OpenIM一、准备工作运行环境linux系统即可,Ubuntu7.5.0-3ubuntu1~18.04最优图片视频文件存储支持cos/
MinIO
https
OpenIM
·
2023-09-15 18:30
开源
开源
nginx
git
【程序猿包邮送书:第四期】《分布式统一大数据虚拟文件系统——Alluxio原理、技术与实践》
欢迎来到爱书不爱输的程序猿的博客,本博客致力于知识分享,与更多的人进行学习交流爱书不爱输的程序猿:送书第三期点击直达福利前言一、
分布式文件系统
元数据的常见类型1.1文件(inode)元数据1.2数据块(
爱书不爱输的程序猿
·
2023-09-15 18:44
分布式
大数据
实现分布式架构与云原生的操作流程--干货分享
3、分布式数据存储:采用分布式数据库或
分布式文件系统
来存储数据,避免单点故障。4、负载均衡和容错:采用负载均衡和容错机制,使得
奔向理想的星辰大海
·
2023-09-15 17:58
Docker
分布式存储
技术工具
分布式
架构
云原生
docker-compose安装
minio
目录结构1、创建data文件夹mkdirdata2、编写docker-compose.ymlversion:"3"services:
minio
:image:
minio
/
minio
:RELEASE.2023
WalkerShen
·
2023-09-15 16:22
docker
容器
运维
GFS
分布式文件系统
目录一、GlusterFS简介二、GlusterFS特点三、GlusterFS专业术语四、GFS的工作原理2、分布式gfs服务器存储五、GlusterFS的卷类型1、分布式卷2、条带卷3、复制卷4、分布式条带卷5、分布式复制卷六、部署GlusterFS集群实验1、准备环境(所有node节点上操作)2、安装、启动GlusterFS(所有node节点上操作)3、添加节点到存储信任池中(在node1节点
@_Orange—
·
2023-09-15 10:52
数据库
《十小时入门大数据》学习笔记之初识Hadoop
笔记内容概括Hadoop概述1.1Hadoop名字的由来1.2Hadoop介绍1.3Hadoop能做什么Hadoop核心组件2.1HDFS(
分布式文件系统
)2.2YARN(资源调度系统)2.3MapReduce
腊月的梅花
·
2023-09-15 08:36
SpringBoot整合
minio
分布式文件系统
如果SpringBoot搭建还有问题,可以参考我的文章:https://blog.csdn.net/m0_51510236/article/details/113967278
minio
官方网站:https
XiaoHH Superme
·
2023-09-15 07:30
框架
文件系统
spring
boot
spring
helm部署
minio
helm部署
minio
什么是helmHelm(又称HelmCharts或HelmPackageManager)是一个用于Kubernetes应用程序的包管理工具。
lgbisha
·
2023-09-15 06:57
k8s
运维
服务器
linux
Hadoop下载安装及HDFS配置教程
Hadoop实现了一个
分布式文件系统
(HadoopDistributedFileSystem),简称HDFS。HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上;而且它提供
Mekeater
·
2023-09-14 19:16
大数据
hadoop下载安装
hadoop配置
hdfs配置
hadoop单机版集群配置
hadoop安装教程
MinIO
Java Client API
Minio
Client//创建
Minio
Client
Minio
Client
minio
Client=new
Minio
Client(endPoint,accessKey,secretAccessKey);ObjectoperationsstatObject
WAI-CHAN
·
2023-09-14 19:33
Project
In
Action
MinIO
Java
Client
API
GFS
分布式文件系统
1、GlusterFS简介GlusterFS(GFS)是一个开源的
分布式文件系统
由存储服务器、客户端以及NFS/Samba存储网关(可选,根据需要选择使用)组成。
Mo_nor
·
2023-09-14 18:49
数据库
大数据上机基础—HDFS文件操作
本文为在校学习大数据课程期间,对厦门大学林子雨老师大数据技术原理与应用第三章
分布式文件系统
HDFS学习指南一文进行的整理,方便自己学习查看原文地址为大数据技术原理与应用第三章
分布式文件系统
HDFS学习指南操作系统为
Lucky-Niu
·
2023-09-14 17:14
hdfs
big
data
hadoop
实现fastdfs防盗链功能
1、背景我们可以通过fastdfs实现一个
分布式文件系统
,如果我们的fastdfs部署在外网,那么任何一个人知道了我们的上传接口,那么它就可以文件的上传和访问。
huan1993
·
2023-09-14 11:56
Linux下
Minio
分布式存储安装配置(图文详细)
文章目录Linux下
Minio
分布式存储安装配置(图文详细)1资源准备1.1创建存储目录1.2获取
Minio
Server资源1.3获取
Minio
Client资源2
Minio
Server安装配置2.1切换目录
战·后风!!
·
2023-09-14 07:20
Linux
linux
分布式
运维
什么是Ulord的分布式存储?
Ulord网络中的所有节点构成一个面向全球的、点对点的
分布式文件系统
,将所有具有相同文件系统的计算设备连接在一起。每个文件及其中的所有分块都被赋予一个称为加密散列的唯一指纹。
yinyuanlin
·
2023-09-14 04:43
Java中的分布式计算框架有哪些?
它包括Hadoop
分布式文件系统
(HDFS)和MapReduce计算模型。ApacheSpark:一个快速、通用的大规模数据处理框架。它支持内存计算,可以在磁盘和内存中同时进行数
玥沐春风
·
2023-09-13 23:54
java
开发语言
揭秘
分布式文件系统
大规模元数据管理机制——以Alluxio文件系统为例
揭秘
分布式文件系统
大规模元数据管理机制1.
分布式文件系统
元数据的常见类型1.1文件(inode)元数据1.2数据块(block)元数据1.3MountTable1.4Worker元数据2.
分布式文件系统
元数据的存储模式
辭七七
·
2023-09-13 21:21
七七的闲谈
运维
网络
云原生
分布式
数据库管理员
Linux&Ubuntu安装
Minio
Linux/Ubuntu安装
Minio
介绍
Minio
是一个开源的对象存储服务器,它可以让你在自己的基础设施上构建和管理存储系统,就像使用云存储服务一样方便。
一个小浪吴啊
·
2023-09-13 15:02
运维
Linux
linux
ubuntu
运维
文件服务器
文件
服务器
GFS分布式存储
glusterFS简介GFS是一个
分布式文件系统
,只在扩展存储容量,提高性能,并且通过多个互联网络的存储节点的数据进行冗余,以确保数据的可用性和一致性GFS由三个部分组成:存储服务器客户端以及FNS/Samba
dkvhr
·
2023-09-13 13:55
分布式
GFS
分布式文件系统
GlusterFS概述:1.GlusterFS简介GlusterFS(GFS)是一个开源的
分布式文件系统
。由存储服务器、客户端以及NFS/Samba存储网关(可选,根据需要选择使用)组成。
M上去学习
·
2023-09-13 13:53
linux
Linux——ansible(1)
mirrors.aliyun.com/repo/epel-7.repo第二步:安装ansibleyuminstall-yansiblesalt控制节点需要安装salt-mastersalt被控节点需要安装salt-
minio
nansible
diaodu8047
·
2023-09-13 12:11
操作系统
shell
运维
uni-app结合vant开发实现文件上传,图片上传
图片上传有van-uploader组件可以用,将获取到的url通过上传接口(比如
minio
)文件上传使用插件可实现在app打开文件选择框的功能在原有的基础上添加删除功能,非常好用查看效果
每天吃饭的羊
·
2023-09-13 07:22
#
uni-app
uni-app
centos7搭建
minio
并实现分享路径为域名路径
搭建
Minio
下载二进制执行文件wgethttps://dl.min.io/server/
minio
/release/linux-amd64/
minio
修改权限及位置chmod755
minio
mv
minio
todoitbo
·
2023-09-13 06:37
centos
minio
nginx
运维
服务器
centos
快速搭建:对象存储平台
MinIO
简介:
MinIO
是一个高性能的对象存储服务器,兼容AmazonS3云存储服务。适用于大数据存储和用于构建私有云的场景。
玩转测试开发
·
2023-09-13 04:16
python
Hadoop
Hadoop主要由HDFS(HadoopDistributedFileSystemHadoop
分布式文件系统
)、MapReduce和HBase组成Hadoop的初衷是为解决Nutch的海量数据爬取和存储的需要
凤舞飘伶
·
2023-09-12 23:16
Go
hadoop
上一页
22
23
24
25
26
27
28
29
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他