E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
分布式文件系统MinIO
HDFS详解
HDFS架构剖析HDFS,HadoopDistributeFileSystem(Hadoop
分布式文件系统
)的简称,它是Hadoop核心组件之一,是大数据生态圈最底层的分布式存储服务。
liuhanyuu
·
2023-11-30 20:09
hdfs
hadoop
大数据
【Hadoop】
分布式文件系统
HDFS
读过程3.HDFS故障类型和其检测方法故障类型和其检测方法读写故障的处理DataNode故障处理副本布局策略一、介绍HDFS(HadoopDistributedFileSystem)是Hadoop下的
分布式文件系统
和瑚
·
2023-11-30 20:06
#
Hadoop
hadoop
hdfs
大数据
Hyper-v虚拟机Hadoop集群搭建
Hadoop实现了一个
分布式文件系统
(HadoopDistributedFileSystem),简称HDFS。
真.电脑人
·
2023-11-30 16:16
hadoop
大数据
分布式
docker安装
minio
作为图床服务
minio
官网:
MinIO
|高性能分布式存储,私有云存储适用于AI的高性能分布式云存储,
MinIO
提供高性能、与S3兼容的对象存储系统,让你自己能够构建自己的私有云储存服务。
气拔星
·
2023-11-30 16:59
docker
容器
01数仓平台 Hadoop介绍与安装
HDFS架构概述HadoopDistributedFileSystem,简称HDFS,是一个
分布式文件系统
。包含
kk_io
·
2023-11-30 13:38
数据仓库
hadoop
大数据
分布式
Hadoop-HDFS角色工作机制
一、角色职责介绍 HadoopDistributedFileSystem(HDFS,
分布式文件系统
):HDFS是Hadoop应用程序使用分布式存储,HDFS集群主要由管理文件系统元数据的NameNode
H.S.T不想卷
·
2023-11-30 10:33
大数据
hadoop
hdfs
大数据
大数据-hadoop-hdfs
Hadoop
分布式文件系统
(HDFS)是指被设计成适合运行在通用硬件(commodityhardware)上的
分布式文件系统
(DistributedFileSystem)。
像影子追着光梦游_
·
2023-11-30 09:48
大数据
hadoop
hdfs
【物联网与大数据应用】Hadoop数据处理
Hadoop利用分而治之的思想为大数据提供了一整套解决方案,如
分布式文件系统
HDFS、分布式计算框架MapReduce、NoSQL数据库HBase、数据仓库工具Hive等。
Bosenya12
·
2023-11-30 09:06
大数据
hadoop
分布式
Linux脚本开机自启
/bin/bashnohup/usr/local/
minio
/
minio
server/data3/
minio
/data>/usr/local/
minio
/autostart.log2>&1&/usr/local
梦诺
·
2023-11-30 04:05
linux
运维
服务器
Docker 安装 FastDFS
简述FastDFS是一个开源的轻量级
分布式文件系统
,它的主要功能包括:文件存储、文件同步、文件访问(文件上传、文件下载)等,解决了大容量存储和负载均衡的问题。
虹猫日志
·
2023-11-29 23:50
大数据之HBase教程
Hadoop使用
分布式文件系统
,用于存储大数据,并使用MapReduce来处理。Hadoop擅长于存储各种格式的庞大的数据,任意的格式甚至非结构化的处理。
@轻流
·
2023-11-29 20:00
Hbase
大数据
就是些平时写的小工具
二、自动从指定
minIo
拉取图片到另外一台
minIO
三、目标检测画出中文框并且自动红底白字四、标注得到的xml自动转成txt五、使用yolo自动推理图片得到推理结果转换为训练所需xml一、自动从数据库从抽取数据
大气层煮月亮
·
2023-11-29 18:39
算法
oracle
数据库
Linux 安装
Minio
配置 HTTPS
安装创建目录[root@t2local]#mkdir
minio
[root@t2local]#cd
minio
[root@t2
minio
]#mkdirdata下载[root@t2
minio
]#wgethttps
tansci
·
2023-11-29 15:03
linux
工具
linux
https
fastdfs部署详解
创建存储文件目录拷贝配置文件修改配置文件启动检验上传三、添加nginx显示配置fastdfs-nginx-module安装nginx修改nginx配置文件启动nginx网页检验官方github支持官方解释:FastDFS是一个开源的高性能
分布式文件系统
(~ ̄▽ ̄)~凤凰涅槃
·
2023-11-29 14:31
linux
网络
FastDFS 部署
二、FastDFS官方介绍FastDFS是一款类GoogleFS的开源
分布式文件系统
,它用纯C语言实现,支持Linux、FreeBSD、AIX等UNIX系统。它只能通过专有API对文件进行存取访问,不
点滴Java
·
2023-11-29 14:59
JAVA
FastDFS部署
简介FastDFS是一个开源的轻量级
分布式文件系统
,它对文件进行管理,功能包括:文件存储、文件同步、文件访问(文件上传、文件下载)等,解决了大容量存储和负载均衡的问题。
一码归一码@
·
2023-11-29 14:54
分布式理论&中间件搭建
服务器
java
由ASP.NET Core根据路径下载文件异常引发的探究
由于项目中存在文件下载功能,没有使用类似
MinIO
[虚幻私塾】
·
2023-11-29 08:44
python
asp.net
flask
后端
计算机
Spark Streaming的基本数据流
在大数据环境中,尤其是使用Hadoop
分布式文件系统
(HDFS)时,数据通常被认为是静态的,这是因为HDFS被设计成适合一次写入和多次读取的场景
俺会hello我的
·
2023-11-29 07:55
spark
大数据
数据仓库
SpringBoot自动配置注入Bean工具autoconfigure
依赖org.springframework.bootspring-boot-autoconfigureyml配置student:red:com.ma.config.
MinIO
ConfigPropertiesspring.factoriesorg.springframework.boot.autoconfigure.EnableAutoConfiguration
春来我不先开口,哪个虫儿敢作声?
·
2023-11-28 22:20
SpringBoot
spring
boot
java
spring
SpringBoot yml配置文件打印值
配置student:red:douconfig类@Data@ConfigurationProperties(prefix="student")//文件上传配置前缀file.osspublicclass
MinIO
ConfigPropertiesimplementsSerial
春来我不先开口,哪个虫儿敢作声?
·
2023-11-28 22:50
SpringBoot
spring
boot
java
spring
分布式存储系统
Minio
简介
Minio
是一个基于Go语言的对象存储服务。
明算科
·
2023-11-28 22:16
运维
分布式
java
开发语言
minio
分布式存储系统
目录拉取docker镜像
minio
所需要的依赖文件存放的位置手动上传文件到
minio
中工具类上传yml配置config类service类启动类测试类图片视频删除
minio
服务器的文件下载
minio
服务器的文件拉取
春来我不先开口,哪个虫儿敢作声?
·
2023-11-28 22:45
java微服务
分布式
Docker compose启动服务遇到的问题
这是学长留的一个任务,用dockercompose启动三个服务,分别是
minio
、elasticsearch、nginx。话不多说,让我们看看有哪些错误。
农专猿
·
2023-11-28 21:09
编程错误
docker
jenkins
运维
大数据从入门到实战 - 第2章
分布式文件系统
HDFS
大数据从入门到实战-第2章
分布式文件系统
HDFS一、关于此次实践1、实战简介2、全部任务二、实践详解1、第1关:HDFS的基本操作2、第2关:HDFS-JAVA接口之读取文件3、实验三HDFS-JAVA
发芽ing的小啊呜
·
2023-11-28 16:42
#
大数据&云计算基础
大数据
hadoop
hdfs
HDFS-实验指导书 -更新
ApacheHadoop项目的一个子项目.Hadoop非常适于存储大型数据(比如TB和PB),其就是使用HDFS作为存储系统.HDFS使用多台计算机存储文件,并且提供统一的访问接口,像是访问一个普通文件系统一样使用
分布式文件系统
撒娇的猫
·
2023-11-28 16:42
hdfs
hadoop
big
data
HDFS与Hive实战 + 滴滴出行数据分析
HDFS与Hive实战+滴滴出行数据分析1.HDFS1.1
分布式文件系统
1.2HDFS的Shell命令行1.3启动Hadoop集群1.4大数据环境清单2.数据仓库2.1数据仓库与数据库区别3.Hive3.1
jialun0116
·
2023-11-28 16:41
大数据
Hive
数据仓库
数据库
数据仓库
数据挖掘
hadoop
大数据
利用kibana 快照备份es数据库
ambari-hadoop1192.168.10.101ambari-hadoop2192.168.10.102kibanaambari-hadoop3192.168.10.103es这里我们利用共享文件系统,存储快照,所以需要利用到nfs(NFS(NetworkFileSystem)是一种
分布式文件系统
协议
dogplays
·
2023-11-28 14:33
kibana
Elasticsearch
elasticsearch
大数据
搜索引擎
阿里云OSS服务
1.1、图片上传1.1.1、图片存储解决方案实现图片上传服务,需要有存储的支持,那么我们的解决方案将以下几种:直接将图片保存到服务的硬盘优点:开发便捷,成本低缺点:扩容困难使用
分布式文件系统
进行存储优点
方生方死
·
2023-11-28 07:28
阿里云
阿里云
云计算
kubernetes
第02章 CentOS7.x 搭建 Nginx+Keepalived+FastDFS
分布式文件系统
高可用负载均衡集群
搭建Nginx+Keepalived+FastDFS
分布式文件系统
高可用负载均衡集群文章目录1FastDFS概述1.1FastDFS介绍1.2FastDFS上传文件交互过程1.3FastDFS下载文件交互过程
KonyLi
·
2023-11-28 05:23
技术架构笔记
高可用技术架构
基于CentOS7.x技术实践
分布式
java
负载均衡
经验分享
nginx
(单机)FastDFS + Nginx 安装部署流程
FastDFS简介FastDFS是一个开源的轻量级
分布式文件系统
,它对文件进行管理,功能包括:文件存储、文件同步、文件访问(文件上传、文件下载)等,解决了大容量存储和负载均衡的问题。
IT界的一颗新星
·
2023-11-28 05:53
Linux
linux
centos
python开发之FastDFS分布式存储系统整合Nginx部署重写Django项目文件传输行为
FastDFS业务场景概述部署FastDFS整合FastDFS和NginxFastDFS与Python交互重写Django项目文件传输行为FastDFS业务场景概述基于C语言开发的FastDFS是一项开源轻量级
分布式文件系统
Pythonicc
·
2023-11-28 05:52
unix运维
WEB后端开发
分布式
nginx
linux
centos
python
Java游戏之王者荣耀
GameFrame类所需图片:GameObject类Turret类所需图片:TurretBlue类TurretRed类Champion类所需图片:单个:move包:ChampionDaji类所需图片:
Minio
n
溺在温柔ʚ海ɞ
·
2023-11-27 21:02
java
Linux下使用Docker部署
MinIO
存储服务实现远程上传
前言本文主要是Linux下通过Docker部署
MinIO
存储服务实现远程上传的文章,如果有什么需要改进的地方还请大佬指出⛺️作者简介:大家好,我是青衿☁️博客首页:CSDN主页放风讲故事每日一句:努力一点
放风讲故事
·
2023-11-27 15:27
linux
docker
运维
minio
操作手册
minio
文章目录
minio
1.基础介绍1.1简介1.2基础概念1.3纠删码EC1.4存储形式2.
minio
部署non-erasurecodemode**erasurecodemode**2.1用户名密码设置
水落大海
·
2023-11-27 12:47
笔记
java
开发语言
MinIO
基本使用(实现上传、下载功能)
MinIO
基本使用(实现上传、下载功能)1.简介2.下载和安装3.启动服务端4.创建User和Bucket4.1创建User4.1.1生成accessKey和secretKey4.2创建Bucket5.
mikey桑
·
2023-11-27 12:15
MinIO
Java
SpringBoot
java
MinIO
对象存储服务
php 操作
minio
分享一个用php写的操作
minio
客户端的脚本,提供一些针对
minio
的基本操作。
拒绝内卷
·
2023-11-27 12:45
php
php
minio
的基本使用——java
第一步:下载
minio
服务安装包去官网下载:
MinIO
|用于创建高性能对象存储的代码和下载内容
minio
的使用文档:
MinIO
ObjectStorageforKubernetes—
MinIO
ObjectStorageforKubernetes
MinIo
寒夜憨憨
·
2023-11-27 12:44
Java各类实现
java
开发语言
MinIO
客户端安装教程(Window版)
MinIO
客户端安装教程简介:本文讲解如何安装
MinIO
客户端。
极客李华
·
2023-11-27 12:44
MinIO
数据库
minio
用法
1
Minio
是在ApacheLicensev2.0下发布的对象存储服务器。它与AmazonS3云存储服务兼容。它最适合存储非结构化数据,如照片,视频,日志文件,备份和容器/VM映像。
鲍飞大剑
·
2023-11-27 12:14
大数据
MinIO
Client客户端使用
安装文档地址:https://docs.min.io/基本上
MinIO
服务器和客户端支持在很多系统上安装,比如Windows、macOS等,这里主要说Linux系统。
夏天秃头之路
·
2023-11-27 12:14
linux
云原生分布式文件存储
MinIO
保姆级中文教程
--《创业公司生存指南》
MinIO
提供开源、高性能、兼容s3的对象存储,为每个公共云、每个Kubernetes发行版、私有云和边缘云中无缝运行,使其成为混合云和多云对象存储的领导者。
运维之美
·
2023-11-27 12:11
分布式
大数据
linux
java
python
安装
MinIO
和使用
MinIO
Java SDK实现对文件的基本操作
文章目录一、
MinIO
简介二、安装
MinIO
1.使用Docker安装
MinIO
2.进入到
MinIO
的控制台页面3.创建Bucket4.修改Bucket的AccessPolicy三、使用
MinIO
JavaSDK
cn_ljr
·
2023-11-27 12:40
java
运维
linux
minio
安装配置和使用(二)客户端安装
安装
minio
客户端mcli命令如下:dnfinstallhttps://dl.
minio
.org.cn/client/mc/release/linux-amd64/mcli-20230128202938.0.0
乐大师
·
2023-11-27 12:39
centos
linux
minio
minio
客户端基本操作
minio
客户端基本操作桶创建桶如果要创建新的桶输入名称,点击创建即可,默认权限就行删除桶点击要删除的桶点击删除修改桶如果哪天需要修改桶的权限或者其他信息,还是先点击这个桶进入详情然后点击要修改的属性,
小花皮猪
·
2023-11-27 12:07
常用开发工具设置以及小技巧
java
分布式存储ceph---ceph概念及原理(1)
一、Ceph简介:Ceph是一种为优秀的性能、可靠性和可扩展性而设计的统一的、
分布式文件系统
。ceph的统一体现在可以提供文件系统、块存储和对象存储,分布式体现在可以动态扩展。
om林mo
·
2023-11-27 10:14
ceph
ceph
基于helm的方式在k8s集群中部署gitlab - 备份恢复(二)
gitlab-部署(一),本篇重点介绍在k8s集群中备份gitlab的数据,并在虚拟机上部署相同版本的gitlab,然后将备份的数据进行还原恢复文章目录1.备份2.恢复到虚拟机上的gitlab2.1将
minio
最美dee时光
·
2023-11-26 21:08
gitlab
k8s
kubernetes
gitlab
gitlab备份恢复
fastdfs+nginx搭建
分布式文件系统
-2
环境准备:1,nginx-1.13.7.tar.gz2,openssl-1.1.0g.tar.gz3,pcre-8.41.tar.gz4,zlib-1.2.11.tar.gz5,fastdfs-nginx-module-1.20.tar.gz搭建过程:安装包2,3,4简单点可直接用yum安装,安装过程此处不再赘述。解压安装包1,5。如下修改解压后文件夹fastdfs-nginx-module-1.
HandsomeDad
·
2023-11-26 20:29
K3s 集群
minio
客户端使用手册
minio
参数
MinIO
Client(mc)为ls,cat,cp,mirror,diff,find等UNIX命令提供了一种替代方案。
流雨声
·
2023-11-26 14:38
多集群thanos sidecar+
MinIO
监控告警实践
环境简介项目环境为保障业务高可用,业务使用了多个网络运营商的机房线路,每个机房均部署一套k8s环境,故而有多个k8s集群,每个k8s集群环境上运行的服务基本一致。原来监控体系存在以下问题:配置管理混乱先前使用Prometheus-operator部署管理监控告警,但是每个集群存在个别差异,导致每次调整告警时需要逐个修改集群配置,创建ServiceMonitor对象,才能完成Prometheus监控
崔亮的博客
·
2023-11-26 14:38
云计算
『亚马逊云科技产品测评』活动征文|基于亚马逊云科技EC2构建
MinIO
对象存储
授权声明:本篇文章授权活动官方亚马逊云科技文章转发、改写权,包括不限于在DeveloperCentre,知乎,自媒体平台,第三方开发者媒体等亚马逊云科技官方渠道文章目录前言一、
MinIO
简介二、AWSEC2
从本质学开发
·
2023-11-26 08:21
科技
上一页
8
9
10
11
12
13
14
15
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他