分布式文件系统MinIO

ssh 批量停止 systemctl 服务

master01scripts]#mkdirlog[root@master01scripts]#catconfig.txt192.168.206.5|nginxtomcat192.168.206.6|minio
Jerry00713·2023-08-15 22:38

打造自己的分布式MinIO对象存储

MinIO是一个对象存储解决方案，它提供了一个与AmazonWebServicesS3兼容的API，并支持所有核心S3特性。
张冲andy·2023-08-15 20:22

大数据传输的定义与大数据传输解决方案的选择

常用的大数据传输技术有Hadoop分布式文件系统（HDFS）、基于TCP/IP协议的传输控制协议（TCP）、用户数据报协议（UDP）、文件传输协议（FTP）和远程复制协议（rsync）等。
镭速·2023-08-15 18:14

Springboot实现文件上传

实现图片上传服务，需要有存储的支持，那么我们的解决方案有以下几种：1.直接将图片保存到服务的硬盘优点：开发便捷，成本低缺点：扩容困难2.使用分布式文件系统进行存储(MinioFastDFS)优点：容易实现扩容缺点
·2023-08-15 16:16

Hadoop组件

HDFS（hadoop分布式文件系统）是hadoop体系中数据存储管理的基础。他是一个高度容错的系统，能检测和应对硬件故障。
叱咤少帅（少帅）·2023-08-15 08:20

minio日经问题

docker部署minio后，上传图片报错java.net.NoRouteToHostException:Hostisunreachable(Hostunreachable)原因：firewalld的没有信任
平面小狮子·2023-08-15 04:30

C++ 网络编程项目fastDFS分布式文件系统（二）-redis部分

目录1.数据库类型1.1基本概念1.2关系/非关系型数据库搭配使用2.Redis2.1基本知识点2.2redis常用命令-String类型-List类型-Set类型-SortedSet类型-Hash类型Key相关的命令2.3redis配置文件2.4redis数据持久化3hiredis的使用1.数据库类型1.1基本概念1.关系型数据库-sql-操作数据必须要使用sql语句-数据存储在磁盘-存储的数据
cat_fish_rain·2023-08-15 03:41

C++ 网络编程项目fastDFS分布式文件系统（一）

目录1.项目架构图1.1一些概念1.2项目架构图2.分布式文件系统2.1传统文件系统2.2分布式文件系统3.FastDFS3.1fastDFS介绍3.2fastDFS安装3.3fastDFS配置文件3.4fastDFS
cat_fish_rain·2023-08-15 03:10

大数据面试题：介绍下Hadoop

2、说下Hadoop核心组件Hadoop自诞生以来，主要有Hadoop1.x、2.x、3.x三个系列多个版本；Hadoop1.x组成：HDFS（具有高可靠性、高吞吐量的分布式文件系统，用于数据存储），MapReduce
蓦然_·2023-08-15 01:06

minio启动后访问不到api地址

本地docker安装minio（23版）后界面能访问到，项目中api地址访问失败执行下面命令dockerrun-d-p9000:9000-p9001:9001--nameminio1-v/home/minio
qq_41808386·2023-08-14 20:17

vue 大文件视频切片上传处理方法

我这个切片功能是基于minion的，后端会把文件放在minion服务器上。
小破孩呦·2023-08-14 19:42

Flink on Native Kubernetes with Minio

Kubernetes：容器编排引擎Flink：分布式流数据流引擎minio：开源的对象存储服务器(类似阿里OSS),兼容亚马逊的S3协议,对Kubernetes能够友好的支持1.MiniKube环境准备
JokerRun·2023-08-14 16:46

SpringCloud的新闻资讯项目02--- app端文章查看，静态化freemarker，分布式文件系统minIO

app端文章查看，静态化freemarker,分布式文件系统minIO说明：此文章项目为黑马教程，本人只是作为学习使用1)文章列表加载1.1)需求分析文章布局展示1.2)表结构分析ap_article文章基本信息表
@烟雨倾城ゝ·2023-08-14 14:24

黑马头条项目学习--Day2: app端文章查看,静态化freemarker,分布式文件系统minIO

app端文章Day02:app端文章查看，静态化freemarker,分布式文件系统minIOa.app端文章列表查询1)需求分析2)实现思路b.app端文章详细1)需求分析2)Freemarker概述
中二Espresso·2023-08-14 14:23

谁能讲清楚Spark之Spark逻辑处理流程

一.spark处理流程概览spark典型的逻辑处理流程包括四部分：1数据源：数据源表示的是原始数据，数据可以存放在本地文件系统和分布式文件系统中，如HDFS、分布式Key-Value数据（HBase）等
数据咩·2023-08-14 14:39

Ceph分布式存储系统

它使用分布式文件系统、块存储和对象存储来满足不同的存储需求。可扩展性：Ceph可以轻松地扩展
summer_west_fish·2023-08-14 11:18

Python 使用Hadoop 3 之HDFS 总结

Hadoop实现一个分布式文件系统（HadoopDistributedFileSystem,HDFS）。
在奋斗的大道·2023-08-14 08:31

Cenos7 搭建Minio集群部署服务器(一)

------>道|法|术|器|势<------多台服务器间免密登录|免密拷贝Cenos7搭建Minio集群部署服务器(一)企业级开源对象存储(看看官网吹的牛B)开源为云提供动力。开源为企业提供动力。
蜗牛杨哥·2023-08-14 07:07

如何让你的图片服务也有类似OSS的图片处理功能

原文链接前言有自己机房的公司一般都有一套存储系统用于存储公司的图片、视频、音频、文件等数据，常见的存储系统有以NAS、FASTDFS为代表的传统文件存储，和以Minio为代表的对象存储系统，随着云服务的兴起很多公司逐渐将数据迁移到以阿里云
赵侠客·2023-08-14 06:11

minio 上传文件失败报错信息： The difference between the request time and the server‘s time is too large.

问题描述：MINIO上传失败后台控制器报错，错误信息如下：Thedifferencebetweentherequesttimeandtheserver'stimeistoolarge.原因分析：系统时区与硬件时区不一致导致的解决方案
@解忧杂货铺·2023-08-13 16:56

GFS分布式文件系统

文章目录GFS分布式文件系统一、GFS概述：1.简介：2.特点：3.GFS术语：4.GFS的工作流程：5.弹性HASH算法：二、GlusterFS的卷类型：1.分布式卷（Distributevolume
三年健将计划·2023-08-13 16:22

云服务弹性网卡引发的docker网络访问问题

项目场景：项目场景：使用docker部署mysql,minio,redis,nacos等基础服务问题描述为了方便，我是用腾讯云的服务器自定义的镜像创建了一台新的服务器，然后重启里面的容器，本地连接发现mysql
樊帅zZZ·2023-08-13 12:08

1.阿里云对象存储OSS

实现文件上传服务，需要有存储的支持，解决方案有以下几种：存储方式优点缺点直接保存到硬盘开发便捷，成本低扩容困难分布式文件系统容易实现扩容开发复杂，需要成熟产品支持第三方存储服务开发简单，强大功能，免维护付费
LB_bei·2023-08-13 12:08

SpringBoot 整合 Minio

MinIO是一个基于Go实现的高性能、兼容S3协议的对象存储。它采用GNUAGPLv3开源协议，项目地址是https://github.com/minio/minio。
晒干的老咸鱼·2023-08-13 05:34

hadoop之HDFS

HDFS基础：分布式文件系统，适合一次写入，多次读出的场景，适合用来做数据分析HDFS的组成架构：Namenode:是master，存储元数据信息，配置副本策略，处理客户端的请求，DataNode：是slave
USTC_IT·2023-08-12 04:26

Linux 搭建Minio

第一步：创建：/xxx/xxx/minio第二步：在创建：/xxx/xxx/data第三步：Minio下载网址:https://min.io/download#/linux然后将这个文件放入你刚刚创建的文件夹第四步
长而不宰·2023-08-12 04:14

docker安装minio

Docker安装(完整详细版)Docker日常命令大全(完整详细版)简介：Minio是一个基于ApacheLicensev2.0开源协议的对象存储服务，虽然轻量，却拥有着不错的性能。
你的小伙伴啊·2023-08-12 02:48

Minio：基本使用

简介：MinIO是基于ApacheLicensev2.0开源协议的对象存储服务，可以作为云存储的解决方案来存储海量的图片，视频，文件等数据。
Success___·2023-08-12 02:47

FileSystem类的方法使用

所属的包：org.apache.hadoop.fsFileSystem-->通用文件系统的抽象基类，可以作为一个分布式文件系统的实现，也可以作为连接本地磁盘的文件系统本地版存在于小型的hadoop实例和测试中
天心有情·2023-08-12 01:48

MinIO在Linux环境下单机安装部署

1、MinIO是什么？MinIO是一个基于Go语言实现的高性能对象存储。它采用AGPL（GNUAfferoGeneralPublicLicense）开源协议并兼容S3协议。
欧阳啸天·2023-08-11 19:28

linux安装minio宝妈级教程（配置开机自启，启动程序脚本，minio桶永久访问权限设置）

linux安装minio宝妈级教程（配置开机自启，启动程序脚本，minio桶永久访问权限设置）1、安装准备（下载）下载地址创建minio目录进入minio目录开始下载2、开始安装授权设置控制台登录密码设置控制台登录账号设置控制台登录密码
叶虽·2023-08-11 14:00

Hbase伪分布式搭建与完全分布式搭建

也就是将来hbase文件被flush成文件的存放地址，区别于hdfs分布式文件系统。
南宫萧言·2023-08-11 08:23

nginx 反向代理minio错误排查

错误1在使用预签名时出现以下错误：SignatureDoesNotMatchTherequestsignaturewecalculateddoesnotmatchthesignatureyouprovided.Checkyourkeyandsigningmethod.25ddd455-0f47-414c-8f32-40a4f9dab2ad.jpgobject-images/object-image
llc的足迹·2023-08-11 08:28

vite项目中无法使用minio的解决方案

如果自己实现相对比较麻烦，但好消息是正好我们的后台文件服务使用了开源的minio作为对象存储服务，minio也提供了JavaScriptClientSDK，但当我看到文档正准备一顿操作时就遇到了问题：问题分析分析报错后发现原因是我们的项目使用的
Maco_wang·2023-08-10 22:51

阿里云服务器搭建FTP图片服务器[图文详解]

FastDFS是用c语言编写的一款开源的分布式文件系统。
油炸小波·2023-08-10 19:46

Minio使用及整合起步依赖

说明：Minio是开源的对象存储服务器，相当于免费版的OSS，本文介绍在Linux环境下部署Minio服务器，并在SpringBoot中使用，最后将Minio的代码打包成一个起步依赖。
何中应·2023-08-10 19:15

小說網站篇-第一章

vue2+element-ui+VueMarkdown（mkdown数据解析）+mavon-editor(保存markdown数据)后端框架node16.0数据库mysql8+mongodb6.06+minio
bug制造生产者·2023-08-10 18:40

web kettle 数据采集

最好要放在分布式文件系统中。因为这些文件在web模式下是找不到的。
屌屌的程序猿·2023-08-10 18:57

Kubernetes使用GlusterFS实现数据持久化

介绍GlusterFS系统是一个可扩展的网络文件系统，相比其他分布式文件系统，GlusterFS具有高扩展性、高可用性、高性能、可横向扩展等特点，并且其没有元数据服务器的设
程序员同行者·2023-08-10 14:06

MinIO部署&简单使用

前言前面我们做了分布式文件存储系统FastDFS的部署应用，其安装还是比较繁琐的，而且实际生产的应用限制较大，下面，介绍一款开源的文件系统——MinIO，它是一种对象存储解决方案，提供与AmazonWebServicesS3
雅俗共赏zyyyyyy·2023-08-10 11:49

Hadoop 三大组件之HDFS

HDFS存储原理2.1分布式文件存储2.2NameNode元数据管理3.HDFS读写流程3.1HDFS写入流程3.2HDFS数据读取HDFS（HadoopDistributedFiledSystem）分布式文件系统是
不忘初欣丶·2023-08-10 09:49

Hadoop2学习路程-HDFS

Hadoop分布式文件系统是世界上最可靠的文件系统。HDFS可以再大量硬件组成的集群中存储大文件。它的设计原则是趋向于存储少量的大文件，而不是存储大量的小文件。
Q75999·2023-08-10 09:48

MapReducer之Map输入

在整个MapReducer阶段中，Map输入的文件，Reducer输出的文件都是存储在分布式文件系统中，但是Map任务处理的中间结果需要保存在本地磁盘，所以Map阶段需要考虑数据的局限性（即计算向数据靠拢
末央酒·2023-08-09 22:47

ancos注册中心、网关和静态化freemarker、对象存储服务MinIO

1、docker安装ancosNacos分布式注册中心①：docker拉取镜像dockerpullnacos/nacos-server:1.2.0②：创建容器dockerrun--envMODE=standalone--namenacos--restart=always-d-p8848:8848nacos/nacos-server:1.2.0③：访问地址：http://192.168.200.13
草莓味的狮子座leo·2023-08-09 21:24

将图片存入数据湖Hudi

将图片存入ApacheHudi（HadoopUpserts,Deletes,andIncrementals）可以将图片数据转化为二进制数据存储，也可以将图片存储到分布式文件系统（如HDFS）或对象存储（
贾斯汀玛尔斯·2023-08-09 20:45

Spark使用parquet文件存储格式能带来哪些好处

1)如果说HDFS是大数据时代分布式文件系统首选标准，那么parquet则是整个大数据时代文件存储格式实时首选标准2)速度更快：从使用sparksql操作普通文件CSV和parquet文件速度对比上看，
小癫僧·2023-08-09 16:17

Beegfs分布式文件系统安装实践

环境在HPC高性能计算中，存储需要增加容量，尝试基于beegfs搭建一套分布式存储。以下节点都是CentOS7系统A节点作为beegfs客户端B节点ALL-In-One服务节点由于部署环境中没有外网，因而采用rpm包的形式进行安装，到此站点https://www.beegfs.io/release/beegfs_7_1/dists/rhel7/x86_64/下载相关rpm包各包定义如下：Manag
wolfwolfgod·2023-08-09 16:26

GFS分布式文件系统

特点扩展性和高性能高可用性全局统一命名空间弹性卷管理基于标准协议3.术语Brick(存储块)Volume(逻辑卷)FUSEVFSGlusterd4.工作流程5.卷类型6.部署GFS群集1.简介GFS(GlusterFS)是一个开源的分布式文件系统由存储服务器
dark_ones·2023-08-09 15:00

MinIO：微服务中上传图片流程

1、在nacos中配置minio参数2、controller层packagecom.heima.wemedia.controller.v1;importcom.heima.model.common.dtos.ResponseResult
moreCalm·2023-08-09 13:00

大数据学习笔记：Hadoop之HDFS（上）

HDFS（HadoopDistributedFileSystem）Hadoop分布式文件系统。是根据google发表的论文翻版的。
值得一看的喵·2023-08-09 08:35
上一页 27 28 29 30 31 32 33 34 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他