E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
分布式文件系统MinIO
观《侏罗纪世界3 Jurassic World Do
minio
n》有感
电影很好看,最后恐龙和人类达成了完美的生态平衡(ecologicalequilibrium)。六部曲就这样结束挺好的。追逐戏精彩,大场面多,出场恐龙种类够多,情怀也管够。老三人组,老霸王龙的戏份是足的(在结尾和南方巨兽龙认真打了一架,镰刀龙也参战了,霸王龙有小手手,镰刀龙有大手手),只是出场角色太多,电影时间短,不可能面面俱到,让所有角色粉都满意。我对《侏罗纪公园JurassicPark》《终结者
曹爽怡
·
2023-07-28 09:43
Ubuntu 安装
MinIO
MinIO
是一个开源的高性能对象存储解决方案,支持多种安装方式,本例仅介绍最基础的单机安装方式。一:下载安装文件直接从
MinIO
官网下载安装文件。
Stone.小小的太阳
·
2023-07-28 06:33
linux
运维
服务器
【Go语言】Golang保姆级入门教程 Go初学者介绍chapter1
Golang的学习方向区块链研发工程师:去中心化虚拟货币金融Go服务器端、游戏软件工程师:CC++处理日志数据打包文件系统数据处理很厉害处理大并发Golang分布式、云计算软件工程师:盛大云cdn京东消息推送
分布式文件系统
小胡的博客号Aoife艺馨
·
2023-07-28 01:02
golang
开发语言
后端
MinIO
上传报错 io.
minio
.errors.XmlParserException:null
问题:上传文件执行到
minio
Client.bucketExists(bucketName)时候报错,在
MinIO
控制台查看桶是存在,但是提交仍失败。
程序员储物箱
·
2023-07-27 21:44
问题笔记
MinIO
问题处理
【Linux-
Minio
】安装部署文档(含单节点多盘、多节点多盘【TLS+Nginx负载均衡】、省市代码)
minio
版本2022-11-2703:52A.单节点多驱动器(SNMD)1.下载wgethttps://dl.min.io/server/
minio
/release/linux-amd64/
minio
2
琴 韵
·
2023-07-27 21:30
安装部署专栏
linux
nginx
负载均衡
minio
分布式
hadoop cdh s3
一.背景对于目前用户产生的数据量激增,尤其是最近几年,这些数据产生后一般都是存储在hdfs
分布式文件系统
中,随着数据量越来越大,使用hdfs的磁盘空间也也会越来越多,机器规模一旦上去了之后,就会面临这机器使用费用问题
JenneyAes
·
2023-07-27 19:15
存算分离
hadoop
big
data
docker-compose部署常用中间件
二、docker-compose部署nginx三、docker-compose部署redis(含主从)四、docker-compose部署rabbitmq(含主从)五、docker-compose部署
minio
均衡教派.
·
2023-07-27 12:20
docker
中间件
容器
HDFS详解
1.简介HDFS是Hadoop生态下的
分布式文件系统
,专门存储超大数据文件,为整个Hadoop生态圈提供来基础带存储服务。1)由GFS发展而来。
weixin_39767869
·
2023-07-27 11:57
大数据
mapreduce
hdfs
spark
hadoop
hdfs是nas_hdfs 存储空间
HDFS文件读写流程一、HDFS体系结构HDFS作为
分布式文件系统
,使用的是master/slave体系结构,角色有三种:NameNode:为HDFS提供元数据服务,NameNode可以控制所有文件的操作
weixin_39849239
·
2023-07-27 11:57
hdfs是nas
HDFS核心技术详解
hadoop的核心子项目——HDFS(
分布式文件系统
),下面将从HDFS的背景、基本概念开始,步步深入了解HDFS的设计目标、HDFS的基本结构以及HDFS的相关操作等核心知识!
your_blue_sky
·
2023-07-27 11:24
大数据-HDFS
HDFS
核心技术详解
Minio
的安装&springBoot整合
Minio
进行上传下载代码案例
Minio
简介
Minio
是ApacheLicensev2.0下发布的对象存储服务器。它与AmazonS3云存储服务兼容。它最适合存储非结构化数据,如照片,视频,日志文件,备份和容器/VM映像。
salt丶
·
2023-07-27 09:46
大数据课程D2——hadoop的概述
的定义和特点;⚪掌握hadoop的基础结构;⚪掌握hadoop的常见命令;⚪了解hadoop的执行流程;一、简介1.概述1.HDFS(HadoopDistributedFileSystem-Hadoop
分布式文件系统
伟雄
·
2023-07-27 05:44
大数据
hadoop
分布式
搭建基于 HDFS 碎片文件存储服务
实验内容HDFS是Hadoop的
分布式文件系统
,HDFS中的文件在物理上是分块(block)存储的,块的大小可以通过配置参数(dfs.blocksize)来规定。
无良人斜杆人生
·
2023-07-27 03:26
HDFS 常用命令
HDFS(HadoopDistributedFileSystem)是Hadoop
分布式文件系统
,以下是一些HDFS常用命令:以下命令中的hadoopfs在高版本的Hadoop中可以使用hdfsdfs替换其它参数不变
李昊哲小课
·
2023-07-26 20:50
大数据
人工智能
数据分析
hdfs
hadoop
大数据
数据分析
分布式存储技术调研
适合场景,可用,怎么搭建使用
MinIO
(注意该开源使用的AGPL-3.0协议)https://www.
minio
.org.cn/相关使用场景:
MinIO
适用于需要快速、可扩展和高性能对象存储的场景。
咬紧牙关i
·
2023-07-26 20:35
其他
分布式
自动化运维工具--saltstack部署及使用
目录一、saltstack简介1、介绍2、Salt的核心功能3、saltstack通信机制二、saltstack部署1、部署环境2、配置yum源3、安装master与
minio
n4、连接认证master
阿杰。159
·
2023-07-26 20:19
运维
自动化
saltstack
大数据发展史,你都了解吗?
我们现在常说的大数据技术,其实起源于Google在2004年前后发表的三篇论文,也就是我们经常提到的“三驾马车”,分别是:
分布式文件系统
GFS(Goog
金光闪闪耶
·
2023-07-26 14:38
SpringBoot:
Minio
:okhttp3.Headers$Builder.addUnsafeNonAscii
在pom文件修改okHttp版本io.
minio
minio
8.2.1com.squareup.okhttp3okhttp3.12.0
amadeus_liu2
·
2023-07-26 13:16
SpringBoot
MinIO
MinIO
简介
MinIO
基于ApacheLicensev2.0开源协议的对象存储服务,可以做为云存储的解决方案用来保存海量的图片,视频,文档。
学废Java
·
2023-07-26 13:45
java
ide
spring
cloud
开源主流
分布式文件系统
简单介绍
文章目录一、
分布式文件系统
简介1.特点2.主要指标及分类对比3.AFS与NFS二、开源
分布式文件系统
1.GFS(1)GFS与NFS,AFS的区别(2)BigTable(3)Chubby(4)特点12.HDFS
wmnmtm
·
2023-07-26 12:02
分布式文件系统
分布式存储
hadoop笔记(三)HDSF原理
1.hdfsHDFS是
分布式文件系统
,当然当前市面上
分布式文件系统
不止hdfs这么一个。适合一次写入,多次查询场景。
一般的斑鸠
·
2023-07-26 10:58
云服务器 docker 安装
MinIO
1.执行命令dockerpull
minio
/
minio
下载稳定版本镜像dockerpull
minio
/
minio
2.创建并启动
minio
容器
MINIO
_ACCESS_KEY是登录的用户名,
MINIO
_SECRET_KEY
其然乐衣
·
2023-07-26 10:37
云服务器
docker
运维
MinIO
Thanos工作原理及组件简介
对象存储可以是每个云提供商提供的对象存储也可以是ceph、rook或
minio
这样的解决方案。工作原理Thanos和Prometheus并肩作战,从Pro
2201_75761617
·
2023-07-26 10:36
开发语言
Hadoop教程_编程入门自学教程_菜鸟教程-免费教程分享
Hadoop实现了一个
分布式文件系统
(DistributedFileSystem),其中一个组件是HDFS(HadoopDistributedFileSystem)。
IT民工爱搬砖
·
2023-07-26 07:31
笔记
深“扒”云原生高性能
分布式文件系统
JuiceFS
JuiceFS是一款面向云原生设计的高性能
分布式文件系统
,在Apache2.0开源协议下发布。
力哥讲技术
·
2023-07-26 05:36
云原生
大数据
linux
云原生
hdfs
云计算
分布式
搭建文件服务器
MinIO
1下载
minio
官方文档我选择的是docker部署dockerpull
minio
/
minio
dockerrun\-p9000:9000\-p9001:9001\--name
minio
1\-v~/
minio
小满和小晨
·
2023-07-26 04:32
项目总结
java
minio
文件存储
大数据开发:Hadoop生态的分布式数据库
Hadoop作为分布式基础架构,有
分布式文件系统
HDFS进行存储划分,而落实到最终的存储上,还需要分布式数据库的配合,其中Hadoop原生的Hbase就是典型的分布式数据库。
成都加米谷大数据
·
2023-07-26 03:52
JavaWeb_LeadNews_Day3-图片管理, 文章管理
JavaWeb_LeadNews_Day3-图片管理,文章管理图片管理图片上传实现思路获取用户信息将图片上传至
minio
图片列表文章管理频道列表查询文章列表查询文章发布实现思路具体代码来源图片管理图片上传实现思路在
Y_cen
·
2023-07-26 02:33
JavaWeb开发
#
后端
spring
boot
spring
cloud
minio
微服务
java
spring
JavaWeb_LeadNews_Day3作业-素材管理, 文章管理
文章管理素材管理图片删除收藏与取消文章管理查看文章详情文章删除文章上下架来源素材管理图片删除实现思路检验参数,参数为空,返回无效参数查询图片是否存在,不存在,返回数据不存在查询图片是否被引用,被引用,返回文件使用中,删除失败查询图片是否被收藏,被收藏,返回文件收藏中,删除失败删除图片,删除
minio
Y_cen
·
2023-07-26 02:02
JavaWeb开发
#
spring
boot
spring
cloud
spring
java
minio
微服务
后端
-Ddfs.checksum.combine.mode=COMPOSITE_CRC参数解析
Ddfs.checksum.combine.mode=COMPOSITE_CRC-Ddfs.checksum.combine.mode=COMPOSITE_CRC是一个Hadoop配置参数,用于指定HDFS(Hadoop
分布式文件系统
墨卿风竹
·
2023-07-26 02:28
hadoop
distcp
openeuler--hadoop single node setup
环境变量拷至bashrchadoop安装dfs下载hadoop创建input、output目录修改配置文件尝试ssh连接创建key格式化文件系统启动浏览web接口创建需要的hdfs目录复制input文件到
分布式文件系统
运行一些提供
青铜念诗
·
2023-07-25 23:35
hadoop
hdfs
大数据
Hadoop生态体系-HDFS
核心组件有:HDFS(
分布式文件系统
)
海星?海欣!
·
2023-07-25 17:17
大数据开发
hadoop
hdfs
大数据
minio
安装集成
文章目录前言一、使用docker安装
minio
1.启动容器2.将浏览器连接到
MinIO
服务器二、Java集成
minio
1.引包2.创建密钥并配置3.创建
minio
工具类代码4.创建
Minio
StorageService5
落魄实习生
·
2023-07-25 16:24
java
前端
java
docker-compose启动
minio
一、创建文件夹mkdir-p/docker/stand-alone-
minio
/datamkdir-p/docker/stand-alone-
minio
/configchmod777-R/docker/
qq_41369135
·
2023-07-25 15:42
docker
容器
minio
docker-compose
MinIO
响应 img 标签图片请求示例
依赖io.
minio
minio
8.1.0commons-iocommons-io2.7
Minio
配置@Componentpublicclass
Minio
Config{@Beanpublic
Minio
Client
minio
东方fan
·
2023-07-25 11:57
Web
MinIO
base64 编码转png上传
minio
publicstaticInputStreambase64ConvertPNG(Stringbase64){BASE64Decoderdecoder=newBASE64Decoder();//解码base64=base64.replaceAll("","+");try{byte[]buffer=decoder.decodeBuffer(base64.replace("data:image/png;
会写BUG的鱼
·
2023-07-25 10:36
java
开发语言
docker of
minio
解决浏览器无法访问的问题
1、拉取镜像dockerpull
minio
/
minio
2、启动
minio
,动态端口云服务器会改变dockerrun-p9090:9000--name
minio
-v/mydata/
minio
/data:/
@我不是大鹏
·
2023-07-25 08:06
docker
minio
Hadoop (一) Hadoop学习
1.1单独的Hadoop软件Hadoop是Apache软件基金会开源的一款开源Java软件,用户编写简单的编程模型实现跨机器对海量数据分布式计算处理的框架Hadoop的核心组件有HadoopHDFS:
分布式文件系统
大数据存储
C0oOder
·
2023-07-25 07:52
大数据之路
hadoop
mapreduce
大数据
minio
使用docker部署
minio
使用docker部署参考链接:https://blog.csdn.net/u011831527/article/details/103254723https://docs.min.io/docs
Roger_punk
·
2023-07-25 06:58
分布式文件存储与数据缓存 FastDFS
一、FastDFS概述1.1什么是
分布式文件系统
单机时代初创时期由于时间紧迫,在各种资源有限的情况下,通常就直接在项目目录下建立静态文件夹,用于用户存放项目中的文件资源。
拉一次撑死狗
·
2023-07-24 15:09
java后端
分布式
spring
boot
linux
运维
centos
Linux安装JDK、Redis、MySQL、RabbitMQ、
Minio
、Nginx.......
文章目录一、环境准备二、安装JDK三、安装MySQL四、安装Redis三、安装RabbitMQ四、安装
Minio
五、安装Nginx特殊情况处理Centos7挂载磁盘服务器时间同步MySQL数据库时间同步安装解压软件修改数据库
二拾三
·
2023-07-24 14:33
java-rabbitmq
linux
java
redis
mysql
rabbitmq
nginx
Kubernetes 使用 helm 部署 NFS Provisioner
文章目录1.介绍2.预备条件3.部署nfs4.部署NFSsubdirexternalprovisioner4.1集群配置containerd代理4.2配置代理堡垒机通过kubeconfig部署部署
MinIO
ghostwritten
·
2023-07-24 14:21
helm
kubernetes
kubernetes
容器
云原生
Hadoop笔记
Hadoop概念Hadoop是一个软件,这个软件包含三个模块HDFS:Hadoop
分布式文件系统
MapReduce:分布式计算系统Yarn:分布式资源调度系统资源网址apache的资源包下载https:
NQ31
·
2023-07-24 12:54
大数据
hadoop
笔记
大数据
Hadoop-
分布式文件系统
HDFS
HDFS特点HDFS相关概念1.块2.名称节点和数据节点HDFS体系结构1.HDFS体系结构概述2.HDFS命名空间管理3.通信协议4.HDFS体系结构的局限性HDFS常用的shell命令HDFS简介
分布式文件系统
Eureka_MAN
·
2023-07-23 14:43
BigData
hadoop
hdfs
大数据
big
data
Hadoop技术之HDFS
分布式文件系统
基础
Hadoop离线是大数据生态圈的核心与基石,是整个大数据开发的入门。本次分享内容让初学者能高效、快捷掌握Hadoop必备知识,大大缩短Hadoop离线阶段学习时间,下面一起开始今天的学习!▼往期内容汇总:大数据导论Linux操作系统概述VMwareWorkstation虚拟机使用Linux常用基础命令、系统命令ApacheHadoop概述ApacheHadoop集群搭建目录一、文件系统、分布式文件
黑马程序员官方
·
2023-07-23 14:13
hadoop
hdfs
大数据
Hadoop
分布式文件系统
——HDFS原理及示例(全)
文章目录1、HDFS简介1.1设计目标1.2HDFS的历史1.3HDFS的架构1.4HDFS文件副本和Block块存储1.4.1引入块机制的好处1.4.2块缓存1.4.3.HDFS文件权限验证1.5HDFS的元信息和SecondaryNameNode1.5.1FsImage和Edits详解1.5.2fsimage中的文件信息查看1.5.3edits中的文件信息查看1.5.4SecondaryNam
qqxhb
·
2023-07-23 14:13
数据库
hadoop
HDFS
JAVA
API
04Hadoop
分布式文件系统
HDFS(入门)
第1章Hadoop概述1.1Hadoop是什么1.2Hadoop发展历史(了解)1.3Hadoop三大发行版本(了解)Hadoop三大发行版本:Apache、Cloudera、Hortonworks。Apache版本最原始(最基础)的版本,对于入门学习最好。2006Cloudera内部集成了很多大数据框架,对应产品CDH。2008Hortonworks文档较好,对应产品HDP。2011Horton
香帅_WQW
·
2023-07-23 14:13
大数据
HIVE
hdfs
hadoop
big
data
Hadoop
分布式文件系统
HDFS
参考博客还不懂HDFS的工作原理?快来扫扫盲HDFS中的Namenode和DatanodeHDFS概述(2)————Block块大小设置HDFS详解目录HDFS体系结构的组成HDFS特点HDFS存储原理常用命令需要注意的问题HDFS结构的组成HDFS体系结构中有两类节点,一类是NameNode,又叫”元数据节点”;另一类是DataNode,又叫”数据节点”。这两类节点分别承担Master和Work
网瘾少年沐安涂
·
2023-07-23 14:42
大数据
分布式文件系统
hadoop
hdfs
namenode
hadoop
分布式文件系统
_Hadoop
分布式文件系统
简介
hadoop
分布式文件系统
HDFS是ApacheSoftwareFoundation项目和ApacheHadoop项目的子项目(请参阅参考资料)。
cuyi7076
·
2023-07-23 14:42
大数据
hadoop
数据库
python
linux
SeaweedFS基本介绍
SeaweedFS是一种简单的、高度可扩展的
分布式文件系统
。有两个目标:存储数十亿的文件!storagebillionsoffiles查看档案快!
风神修罗使
·
2023-07-23 01:50
分布式文件系统(FastDFS
SeaWeedFs)
上一页
30
31
32
33
34
35
36
37
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他