分布式文件系统MinIO 第29页

minio入门

1介绍Minio是个基于Golang编写的开源对象存储套件，虽然轻量，却拥有着不错的性能。

Tony.Cheng·2023-08-31 19:01

Minio架构简介

简介 Minio是一个go编写基于ApacheLicensev2.0开源协议的对象存储系统,是为海量数据存储、人工智能、大数据分析而设计，它完全兼容AmazonS3接口，十分符合存储大容量的非结构化数据从几十

东风微鸣·2023-08-31 19:30

Hive-安装与配置（1）

持续更新中，感谢各位前辈朋友们支持学习~文章目录1.Hive环境介绍2.搭建环境准备3.建立Hive元数据库4.安装配置Hive1.Hive环境介绍Hive在Hadoop生态系统中运行，依赖Hadoop分布式文件系统

beixi@·2023-08-31 09:01

Minio-异常

java.lang.IllegalArgumentException:sourcetestbucket/chunk/0:size1048576mustbegreaterthan5242880解疑：Minio

超超～～·2023-08-31 05:31

阿里云矢量图标透明背景转换/展示时变为黑色解决方法

下载了一个矢量图标，背景是透明的上传到minio然后在前端展示，发现透明（白色）的地方变成黑色了处理方法：去除透明的底色。使用window的画图程序打开保存一遍，将透明色转为白色OK

→_→BéLieve·2023-08-31 04:40

自建minio实现doris的快速备份与恢复

为了保险起见，而且能够达到快速的备份恢复，我们实现自主搭建一套minio对象存储。二.目的1.当FE元数据发生损坏无法恢复时，我们能快速的从minio恢复，内网带

spark大数据玩家·2023-08-31 03:47

MinIO框架安装使用+实现上传需求

MinIO框架什么是MinIO框架如何安装（Docker版）安装步骤1.查询MinIO的服务版本2.拉取MinIO3.启动报错在docker中没有操作文件的权限4.访问简单配置1.找到创建用户界面2.设置用户信息

左灯右行的爱情·2023-08-31 03:34

在 Spring Boot 中集成 MinIO 对象存储

MinIO是一个开源的对象存储服务器，专注于高性能、分布式和兼容S3API的存储解决方案。本文将介绍如何在SpringBoot应用程序中集成MinIO，以便您可以轻松地将对象存储集成到您的应用中。

编码行者·2023-08-31 02:14

vulhub之MinIO信息泄露漏洞(CVE-2023-28432)

0x02漏洞描述MinIO是一款高性能、分布式的对象存储系统.它是一款软件产品,可以100%的运行在标准硬件。即X86等低成本机器也能够很好的运行MinIO。兼容亚马逊S3云存储服务接口，非常适合于

gaynell·2023-08-31 01:10

hadoop异常： org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path does not exit

其次是集群获取分布式文件系统没有做配置，默认是本地（你电脑下的路径）所以分布式系统找不到路径。设置如下图：以WordCount为例最终结果如下

缘不易·2023-08-31 01:35

OpenShift 4 - 可观测性之用 OpenTelemetry+Tempo 实现 Distributed Tracing

《OpenShift/RHEL/DevSecOps汇总目录》说明：本文已经在支持OpenShift4.13的环境中验证文章目录技术架构部署DistributedTracing运行环境安装minio环境安装

dawnsky.liu·2023-08-30 22:24

OpenShift 4 - 基于 MinIO 安装 Red Hat Quay 镜像仓库

《OpenShift/RHEL/DevSecOps汇总目录》说明：本文已经在OpenShift4.13+Quay3.9的环境中验证本文适合在单机OpenShift环境安装RedHatQuay镜像仓库。另外《OpenShift4-安装ODF并部署红帽Quay(1Worker)》也可以在单节点部署。而《OpenShift4-安装ODF并部署红帽Quay(3Worker)》可以在3节点的集群上部署。文章

dawnsky.liu·2023-08-30 22:24

基于Docker部署Spark和MinIO Server

介绍使用Docker搭建Spark集群和MinIO云存储服务，并通过Spark访问MinIO，实现读写功能。

_吹灭读书灯_·2023-08-30 21:48

Hadoop学习笔记（六）——分布式文件系统

二体系结构和基本概念1特点：可拓展容错：有备份高可用：对于多个Master高吞吐：多台机器并发读2设计分布式文件系统思路1系统架构HDFS有多

L先生_c77f·2023-08-30 18:47

4、大数据系统组件

大数据生态圈首先是Hadoop，它是大数据系统的基础组件，很多其他组件都依赖它分布式存储、计算，它是Apache旗下一套开源软件平台，在这个平台之下还包括了HDFS（分布式文件系统

朗如行玉山_5b30·2023-08-30 16:08

Fastdfs集群搭建

一、简单介绍：FastDFS是一个开源的高性能分布式文件系统（DFS）。它的主要功能包括：文件存储，文件同步和文件访问，以及高容量和负载平衡。

LuMaman·2023-08-30 15:05

大数据Flink简介与架构剖析并搭建基础运行环境

Flink基础运行环境搭建Docker安装docker-compose文件编写创建并运行容器访问Flinkweb界面前言前面我们分别介绍了大数据计算框架Hadoop与Spark,虽然他们有的有着良好的分布式文件系统和分布式计算引擎

小沈同学呀·2023-08-30 13:28

springboot整合MinIO实现视频的分片上传/断点续传

目录1、前言2、数据库结构3、后端实现3.1、根据MD5获取是否存在相同文件Controller层Service层3.2、初始化一个上传任务Controller层Service层3.3、获取每个分片的预签名上传地址Controller层Service层3.4、合并分片Controller层Service层4、分片文件清理问题5、Demo地址1、前言之前做了一个慕课网上的仿短视频开发，里面有很多比较

Robinsyn_L·2023-08-30 11:21

CVE-2023-28432 MinIO 信息泄露漏洞--漏洞复现10

文章目录CVE-2023-28432MinIO信息泄露漏洞1.MinIO简介2.漏洞描述3.影响版本4.fofa查询语句5.漏洞复现6.POC&EXP7.整改意见CVE-2023-28432MinIO信息泄露漏洞

sublime88·2023-08-30 03:42

hive搭建

一：简介Hive是基于Hadoop构建的一套数据仓库分析系统，它提供了丰富的SQL查询方式来分析存储在Hadoop分布式文件系统中的数据。

Gavin_hello·2023-08-29 18:46

hadoop-HDFS

1.HDFS简介2.1Hadoop分布式文件系统-HDFS架构2.2HDFS组成角色及其功能（1）Client：客户端（2）NameNode(NN)：元数据节点管理文件系统的Namespace元数据一个

不吃香菜lw·2023-08-29 10:31

1 简介

#从韩顺平的B站引入GO能做什么1如上图，可以分为区块链，后端，分布式文件系统等应用对于区块链，核心要求分布式数据库账目，公开透明对于服务端开发，要求排序、搜索、推荐的效率，提供负载均衡等等，对效率有较高的要求

ca8519be679b·2023-08-29 10:19

【分布式技术专题】「OSS中间件系列」Minio的文件服务的存储模型及整合Java客户端访问的实战指南

Minio的元数据数据存储MinIO对象存储系统没有元数据数据库，所有的操作都是对象级别的粒度的，这种做法的优势是:个别对象的失效，不会溢出为更大级别的系统失效。便于实现"强一致性"这个特性。

夏壹-10分分享·2023-08-29 08:13

minion在ubuntu上的搭建步骤

在Ubuntu上搭建MinIO可以按照以下步骤进行：下载MinIO服务器二进制文件：通过浏览器访问https://min.io/download或使用以下命令获取最新的MinIO二进制文件：wgethttps

一颗大樱桃·2023-08-29 03:27

分布式系统和大数据处理架构的设计与实现

作者：禅与计算机程序设计艺术1.简介ApacheHadoop(TM)是由Apache基金会推出的开源分布式文件系统（HadoopDistributedFileSystem），它是一个基于Java开发的一个框架

禅与计算机程序设计艺术·2023-08-29 02:44

MinIO返回error

ThisXMLfiledoesnotappeartohaveanystyleinformationassociatedwithit.Thedocumenttreeisshownbelow.AccessDeniedAccessDenied.2023/06/29/1383827888816836609.htmlleadnews/leadnews/2023/06/29/13838278888168366

佳索·2023-08-28 13:10

面向服务的架构SOA（转）

mysql通过binlog去同步数据反向代理和CDN加速：应用于静态资源，较少后端压力分布式文件系统和分布式数据库：分库分表技术使用nosql：非关系式数据库业务抽象与拆分：分而治之，共用数据库。

木以行舟·2023-08-28 09:49

C++ 网络编程项目fastDFS分布式文件系统（九）总结

1.Location语法1.语法规则location[=|~|~*|^~]/uri/{…}正则表达式中的特殊字符:-.(){}[]*+?2.Location优先级说明在nginx的location和配置中location的顺序没有太大关系。与location表达式的类型有关。相同类型的表达式，字符串长的会优先匹配。3.location表达式类型~表示执行一个正则匹配，区分大小写~*表示执行一个正则

cat_fish_rain·2023-08-28 02:48

初识MINIO及springboot整合minio

一、minio简介minio是一款高性能、分布式的对象存储系统。

Alex_Drag·2023-08-28 00:01

springboot集成minio客户端

springboot集成minio客户端文章目录springboot集成minio客户端1配置文件桶权限2引入minio客户端依赖3配置文件修改4定义minio配置类5封装MinioClient6HTTP

壹零仓·2023-08-28 00:01

MinIO【部署 01】MinIO安装及SpringBoot集成简单测试

MinIO安装及SpringBoot集成测试1.下载安装1.1InstalltheMinIOServer1.2LaunchtheMinIOServer1.3ConnectYourBrowsertotheMinIOServer2

シ風箏·2023-08-28 00:31

C++ 网络编程项目fastDFS分布式文件系统（八）--

cat_fish_rain·2023-08-27 18:51

数据湖：解锁数据价值的新时代

数据湖采用扁平化存储结构，将数据以原始格式保存在大型分布式文件系统中，通常使用Hadoop或AWSS3等开源或云存储技术。

Walter Sun·2023-08-27 17:11

Hbase-技术文档-spring-boot整合使用hbase--简单操作增删改查--提供封装高可用的模版类

HBase是一个分布式、可扩展的大数据存储系统，它基于Google的Bigtable模型，并使用了Hadoop分布式文件系统作为底层存储。HBase客户端库是用于与HBase数据库进行交互的工具库，

一单成·2023-08-27 12:47

Hadoop：HDFS读写流程详解

目录1HDFS写数据流程2HDFS读数据流程HDFS写数据流程1）客户端通过分布式文件系统模块向namenode请求上传某个数据（2）namenode根据客户端请求，先查看该用户是否有权限上传数据，再查看客户端所请求的目录是否存在

小M姐姐呀~·2023-08-27 10:17

Hadoop笔记 HDFS读写流程

HDFS读写流程一、写流程二、读流程三、总结一、写流程（1）客户端通过DistributedFileSystem（我翻译成分布式文件系统？）

程序员的账号·2023-08-27 10:47

实战：大数据Spark简介与docker-compose搭建独立集群

和docker-composedocker-compose编排docker-compose编排并运行容器Spark集群官方案例测试写在最后前言很多同学都使用过经典的大数据分布式计算框架hadoop，其分布式文件系统

小沈同学呀·2023-08-27 09:28

minio的安装及使用

目录一、概述二、下载二进制文件安装minio三、springboot整合使用minio1、使用maven引入minio依赖2、在`application.yml`中定义连接`minio`的参数3、定义一个

惜鸟·2023-08-27 07:11

minio文件系统集群安装以及注意事项和常见问题

准备工作名称ip时间同步服务器10.119.123.163minio110.119.123.156minio210.119.123.157minio310.119.123.158minio410.119.123.1591

相濡逸墨·2023-08-27 03:33

Minio如何禁止桶遍历

说明：Minio是文件资源服务器，相当于免费的OSS，安装参考：Minio使用及整合起步依赖；如果你的桶（Bucket）权限设置的是“Private”，那么可能会有数据泄露的风险。

特立独行的程序员·2023-08-26 21:14

分布式文件系统（FastDFS）

简介：java系列技术分享(持续更新中…)初衷:一起学习、一起进步、坚持不懈如果文章内容有误与您的想法不一致,欢迎大家在评论区指正希望这篇文章对你有所帮助,欢迎点赞收藏⭐留言更多文章请点击文章目录一、FastDFS简介二、FastDFS内部结构三、FastDFS存储策略四、工作原理4.1上传流程4.2下载流程五、收成文件名解读六、使用步骤6.1引入依赖6.2配置文件application.yml6

Dream_sky分享·2023-08-26 17:31

C++ 网络编程项目fastDFS分布式文件系统（六）--qt(client)+login

目录1.登录和注册协议1.1注册协议1.2登录协议2.单例模式1.登录和注册协议1.1注册协议#URLhttp://192.168.1.100:80/reg#post数据格式{userName:xxxx,nickName:xxx,firstPwd:xxx,phone:xxx,email:xxx}2.服务器端-Nginx服务器端的配置。location/reg{#转发数据fastcgi_passlo

cat_fish_rain·2023-08-26 14:13

C++ 网络编程项目fastDFS分布式文件系统（七）--qss样式表，项目文件的上传和下载。

目录1单例模式2.如何在单例类中存储数据?3.QSS样式表3.1选择器类型3.2QSS的使用步骤3.3登录窗口设置4.客户端post方式上传数据4.1常用的四种方式5.上传协议1单例模式#include#include#include#include#includeusingnamespacestd;//饿汉式//classSingleton{//public://staticSingleton*

cat_fish_rain·2023-08-26 14:11

《大数据导论》读书笔记——Chapter 7（1）

磁盘存储可应用于分布式文件系统或数据库中。1）分布式文件系统分布式文件系统提供的是一种无预定义结构的存储，由于可将数据复制到多个存储地点，其具有高可用性。

玉小灵灵七·2023-08-26 14:33

腾讯云下一代CDN -- EdgeOne加速MinIO对象存储

省流使用MinIO作为EdgeOne的源站。

YangtzeCoder·2023-08-26 13:26

【分布式技术专题】「OSS中间件系列」从0到1的介绍一下开源对象存储MinIO技术架构

MinIO背景介绍MinIO创始者是AnandBabuPeriasamy,Harshavardhana（戒日王）等人，Anand是GlusterFS的初始开发者、Gluster公司的创始人与CTO，Harshavardhana

夏壹-10分分享·2023-08-26 09:52

Idea Intellij 远程开发调试

一、背景在构建MiniOB开发环境时需要Linux环境，另外结合分布式系统，利用较好的通信，萌发了远程开发的想法；实际上远程部署、开发在很久之前有过想法（大约刚开始学SpringBoot进行部署软件时，

adventure.Li·2023-08-25 20:58

nginx修改上传文件大小限制

minio本身没有看到有上传文件大小限制，但通过nginx代理后，出现大文件无法上传问题。

方木杉·2023-08-25 19:06

Promethes+grafana 监控Minio集群

exportMINIO_PROMETHEUS_AUTH_TYPE=publictarget:[]中间要有空格grafana模板12063,11148,13502https://grafana.com/grafana