分布式文件系统MinIO 第20页

云原生 | 从零开始，Minio 高性能分布式对象存储快速入手指南

全栈工程师修炼指南·2023-10-24 00:49

go-fastdfs安装（国产分布式文件系统）

开源协议：Unlicense官网地址：https://sjqzhang.github.io/go-fastdfs/#vision安装:wget--no-check-certificatehttps://github.com/sjqzhang/go-fastdfs/releases/download/v1.3.1/fileserver-Ofileserver&&chmod+xfileserver&&

bj_wasin·2023-10-24 00:48

fastdfs和minio托管文件、支付宝支付二次封装、支付相关表分析、下单接口、前端支付功能、支付成功前台(配置路由和支付宝回调地址)、支付成功回调接口(两个)

0fastdfs和minio托管文件0.1fastdfs0.2minio1支付宝支付二次封装1.1普通测试1.2二次封装2支付相关表分析3下单接口4前端支付功能5支付成功前台(配置路由和支付宝回调地址)

我可以将你更新哟·2023-10-23 11:46

kubeflow 1.6.1 单机搭建

kubeflow1.6.1单机搭建manifest形式搭建（失败）先决条件安装kubeflowk8s1.25以上升级istio遇到的问题解决MySQL和minio的Pending状态CrashLoopBackOff

jaffe—fly·2023-10-23 08:47

Redis学习笔记——NoSQL

商品的图片：采用分布式文件系统，如淘宝的TFS、Hadoop的HDFS、Google的GFS等。商品的关键字（搜索引擎）：淘宝内用ISearch。商品的波段性的热点高频信息：内存数据库

从程序猿到程序员·2023-10-23 06:51

Hadoop HDFS分布式文件系统（介绍以及基础操作命令）

目录一、为什么需要分布式存储？二、分布式的基础架构分析三、HDFS基础架构1.HDFS简介四、HDFS集群启停命令1.一键启停脚本2.单进程启停五、HDFS基本操作命令1.创建文件夹2.查看指定目录下内容3.上传文件到HDFS指定目录下4.查看HDFS文件内容5.下载HDFS文件6.拷贝HDFS文件7.追加数据到HDFS文件中8.HDFS数据移动操作9.HDFS数据删除操作六、HDFS权限不足解决

菜鸟一千零八十六号·2023-10-23 05:25

173SaltStack 运维通关手册--SaltStack State 框架

States状态存储在master上的文本文件中，并通过master文件服务器按需传送到minions。状态文件的集合即构成StateTree。

Jachin111·2023-10-23 01:12

高效存储大规模数据

分布式文件系统分布式文件系统是一种将数据分布在多个节点上的存储系统。它提供了高可用性、可扩展性和容错性。

心之所向，或千或百·2023-10-23 01:47

【对象存储】MINIO概述与搭建之道

今天以开源对象存储工具MINIO为例，简要介绍对象存储的前世今生。01、为什么引入对象存储在谈对象存储之前，我们先看看一直占据存储市场的两种主要存储方式：块存储和文件存储。

zhzh980·2023-10-22 22:30

minio 高性能 Kubernetes 原生对象存储

阿里云协同办公工具Teambition0元试用>>>minio高性能Kubernetes原生对象存储[toc]MinIO是一个基于ApacheLicensev2.0开源协议的对象存储服务。

运维技术·2023-10-22 22:58

分布式文件系统介绍与minio介绍与使用（附minio java client 使用）

分布式文件系统-minio：第一章：分布式文件系统介绍与minio介绍与使用（附miniojavaclient使用）第二章：minio&前后端分离上传视频/上传大文件——前后端分离断点续传&minio分片上传实现文章目录

是谢添啊·2023-10-22 21:24

MinIO分布式专题（第二章、MinIO分布式部署）

本章节我们就讲述以下几个内容：1、MinIO如何进行纠删码部署2、MinIO分布式部署场景实战3、分布式场景扩容方案如何落地1、MinIO如何进行纠删码部署上个章节我介绍了下纠删码模式的特点，本节重点介绍下纠删码的部署和使用

风清扬逍遥子·2023-10-22 21:53

常用分布式文件系统(对象存储)对比-SeaweedFS、Minio

振宅的博客·2023-10-22 21:20

使用 MinIO 构建高性能云原生对象存储

MinIO提供开源、高性能、兼容s3的对象存储，为每个公共云、每个Kubernetes发行版、私有云和边缘云中无缝运行，使其成为混合云和多云对象存储的领导者。

米开朗基杨·2023-10-22 21:19

minio元数据实现单独存储

一.前言选择minio的原因，1.简单。2.我司存储达到50T的存储，要降低第三方成本，无专业人员维护，所以需要商业公司支持。需要改造元数据的原因是LOSF问题，造成minio访问毛刺过多。

symop·2023-10-22 21:18

FastDFS（分布式文件系统）

Tracker：标准服务端口22122、HTTP端口8080Storage：标准服务端口23000、HTTP端口8888文章目录一、架构二、文件上传、下载、删除1时序图2流程说明3代码实现一、架构架构图：Client：客户端。使用java语言编写的项目属于客户端。TrackerServer：跟踪服务器，主要做调度工作，在访问上起负载均衡的作用。在内存中记录集群中group和storageserve

AloneDrifters·2023-10-22 18:08

hadoop完全分布式搭建与集群测试

Hadoop实现了一个分布式文件系统（DistributedFileSystem），其中一个组件是HDFS（HadoopDistributed

青春的样子1·2023-10-21 19:39

分布式文件系统FastDFS实战

1.分布式文件系统应用场景互联网海量非结构化数据的存储需求：电商网站：海量商品图片视频网站：海量视频文件网盘：海量文件社交网站：海量图片2.FastDFS介绍https://github.com/happyfish100

小鱼儿&·2023-10-21 17:34

DFS（分布式文件系统）与 DFSR（分布式文件系统复制）的区别

DFS（分布式文件系统）和DFSR（分布式文件系统复制）是两种不同的技术，尽管它们在名称上有一些相似之处，但它们的用途和功能有所不同。

Par@ish·2023-10-20 14:04

Sqoop技术文档笔记

它可以将结构化数据从关系型数据库（如MySQL、Oracle、SQLServer等）导入到Hadoop的分布式文件系统（HDFS）或hive中，并且可以将数据从HDFS、hive导出到关系型数据库中。

小辉懂编程·2023-10-20 11:30

必看的11个开源项目

SagooIOT-轻量级的物联网平台管理系统Mars3D-三维地球平台软件系统JuiceFS-为云环境设计，兼容POSIX、HDFS和S3协议的分布式文件系统fsr-集资产管理系统+监控系统+简单自愈系统为一体的运维管理故障自愈系统

少壮不努力老大敲代码·2023-10-20 06:46

【云原生之Docker实战】使用Docker部署MinIO对象存储

【云原生之Docker实战】使用Docker部署MinIO对象存储一、MinIO介绍1.MinIO简介2MinIO功能二、检查本地Docker环境1.宿主机系统版本2.检查Docker版本3.检查docker

江湖有缘·2023-10-20 05:14

hive数据仓库安装与使用

hive的元数据存放在mysql（或者derby）中，真正的数据存放在dfs分布式文件系统内，hive底层封装了很多mapreduce的任务，通过sql语句调度相应的任务。

rose and war·2023-10-20 01:24

Minio 文件上传（后端处理同文件判断，同一文件秒传）

记录minio文件上传MinIO提供多个语言版本SDK的支持，下边找到java版本的文档：地址：https://docs.min.io/docs/java-client-quickstart-guide.htmlmaven

2629352674·2023-10-20 00:35

MapReduce面试题+详解

“MapReduce”框架中用户需要指定的主要配置参数有：分布式文件系统中作业的输入位置作业在分布式文件系统中的输出位置数据输入格式数据输出格式包含地图功能的类包含reduce函数的类包含映射器、减速器和驱动程序类的

Young_IT·2023-10-19 22:13

Hive篇面试题+详解

Hive的主要功能是将结构化数据映射到Hadoop的分布式文件系统（HDFS）上，并提供高级查询和分析功能。2.Hive与传统关系型数据库的区别是什么？

Young_IT·2023-10-19 22:39

湖仓一体架构的特性

湖仓一体架构是一种数据架构模式，具有以下特性：统一存储：湖仓一体架构将数据湖和数据仓库合并为一个整体，将结构化数据和非结构化数据存储在同一个存储系统中，如Hadoop分布式文件系统（HDFS）或云存储服务

abckingaa·2023-10-19 17:55

Vue使用AWS S3 sdk，通过STS上传文件至OSS/MINIO

一、背景采用客户端直传方式，直接上传文件到存储器（OSS/MINIO），这里是通过临时认证（STS）来连接存储器二、vuedemo1.引入awssdkimportAWSfrom'aws-sdk';2.获取连接存储器参数

行走在脱发的边缘·2023-10-19 15:31

FastDFS、pojo

FastDFSdistributedfilesystem分布式文件系统pojoplainordinaryjavaobject简单的Java对象

Tree27th·2023-10-19 12:29

使用MinIO Client客户端实现MySQL数据库跨机备份

安装Minio客户端下载Linux版客户端文件wgethttps://dl.min.io/client/mc/release/linux-amd64/mc-P/usr/local/bin/chmod+x

火烈鸟·2023-10-19 11:08

MinIO 设置桶策略

工具类写法/****权限设置为读权限*@parambucketName存储bucket名称*@returnBoolean*/publicvoidupdateBucketPolicy(StringbucketName,Stringpolicy)throwsException{if(!checkBucket(bucketName)){thrownewException("bucket不存在");}if

Long long ago.·2023-10-19 04:20

解决minio服务器Non-XML response from server. Response code: 404, Content-Type: text/html, body: Sorry

1、使用本地的minio一直没问题，使用linux服务器，上传的时候发现报Non-XMLresponsefromserver.Responsecode:404,Content-Type:text/html

Long long ago.·2023-10-19 04:20

minio安装与上传文件

目录1.安装（linux）1.1下载1.2创建目录1.3赋予权限1.4指定端口号后台启动2.访问2.1创建桶2.2修改权限3.springboot整合minio3.1上传文件1.安装（linux）1.1

雾喔·2023-10-19 04:30

大规模数据处理中心：构建高效的数据处理架构

以下是一个示例的Python代码，用于演示如何使用Hadoop分布式文件系统（HDFS）进行数据存储和管理。

抱紧大佬大腿不松开·2023-10-19 02:57

hadoop和hive、spark、presto、tez是什么关系

它由许多组件组成，包括HDFS(分布式文件系统)和MapReduce(分布式计算引擎)。Hive是一个基于Hadoop的数据仓库系统，它允许用户使用SQL语言来查询和分析大型数据集。

草履虫稽亚娜·2023-10-19 02:55

minio-prometheus-grafana实现minio服务器的监控

使用minio-prometheus-grafana监控minio，minio用作上传服务器，通过可视化界面监控minio多个维度的特征，包括集群状态，磁盘使用率，数据传输等指标。

多啦哀梦·2023-10-18 18:16

常见的八种分布式文件系统介绍

常见的分布式文件系统有，GFS、HDFS、Lustre、Ceph、GridFS、mogileFS、TFS、FastDFS等。各自适用于不同的领域。

小小哭包·2023-10-18 13:32

hadoop详解

HDFS:1.HDFS文件系统:HDFS是大数据开源框架hadoop的组件之一，全称（HadoopDistributedFileSystem），它是一个分布式文件系统，由多台服务器联合起来实现文件存储功能

不吃饭的猪·2023-10-18 10:49

springboot整合minio，实现文件上传与下载，且支持链接永久访问

1、minio部署1.1拉取镜像dockerpullminio/minio1.2创建数据目录mkdir-p/home/guanz/miniomkdir-p/home/guanz/minio/midata1.3

曼昱的小蓝毛巾·2023-10-17 22:06

hadoop分布式文件系统(HDFS)

1.HDFS系统介绍Hadoop分布式文件系统HDFS(HadoopDistributedFileSystem)是一个能够兼容普通硬件环境的分布式文件系统，和现有的分布式文件系统不同的地方是，Hadoop

旺仔Lhh·2023-10-17 20:03

Hadoop分布式文件系统-HDFS

1.介绍HDFS（HadoopDistributedFileSystem）是Hadoop下的分布式文件系统，具有高容错、高吞吐量等特性，可以部署在低成本的硬件上。

shangjg3·2023-10-17 19:53

Python+Pickle/Parquet/HDF5...不同文件格式存储模式下的量化因子计算性能对比

为了应对这一挑战，一部分用户选择了分布式文件系统，并使用Pickle、Feather、Npz、Hdf5、以及Parquet等格式来存储数据，并结合Python进行量化金融计算。

DolphinDB智臾科技·2023-10-17 16:26

Hadoop原理及部署初探

Hadoop实现了一个分布式文件系统（HadoopDistributedFileSystem），简称HDFS。

weixin_34010949·2023-10-17 15:21

Hadoop原理及部署初探(转)

Hadoop实现了一个分布式文件系统（HadoopDistributedFileSystem），简称HDFS。

wbj0110·2023-10-17 15:51

2.3 初探Hadoop世界

Google处理大数据三大技术2、Hadoop如何诞生3、Hadoop主要发展历程（二）Hadoop的优势1、扩容能力强2、成本低3、高效率4、可靠性5、高容错性（三）Hadoop的生态体系1、HDFS分布式文件系统

howard2005·2023-10-17 14:15

GFS分布式文件系统&实验

GFS概念Gluster是一个开源的分布式文件系统它是一个C/S架构由存储服务器、客户端以及NFS/Samba存储网关组成没有元数据服务器组件，这有助于提升整个系统的性能，可靠性和稳定性文件系统定义负责实现数据存储方式

五彩斑斓的黑@·2023-10-17 10:14

ceph 代码分析读_Ceph代码分析

Ceph分布式文件系统的代码分析的文章网上是比较少的，本团队成员对ceph做过详细的代码阅读，包括mds、osd、client等模块，但是缺少条理清晰的文档总结。

一只快乐的小柠檬·2023-10-17 07:54

分布式文件系统元数据服务方式总结(HDFS、CephFS、CurveFS)

上一篇文章https://blog.csdn.net/qq_58034031/article/details/129518612分享了一篇20222论文，讲述在大型分布式文件系统中高效元数据服务，以此为启发总结了目前主流分布式文件系统它们是如何管理元数据的

兜兜不是豆·2023-10-17 07:22

minio笔记3--基于k8s搭建minio集群

minio笔记3--基于k8s搭建minio集群介绍安装单个节点安装minio集群注意事项说明介绍笔者在minio笔记01–部署与测试minio和minio笔记02–基于swarm搭建minio集群中介绍了

昕光xg·2023-10-17 06:42

MinIO （一）安装并生成windows服务

最近公司要搞文件服务器，所以就研究了下MinIO，在这里做个笔记，研究的不深，记录一下基本使用功能，用到了哪些功能就研究哪些，里面的很多功能没用到。

一个程序员_zhangzhen·2023-10-17 06:27

推荐频道

分布式文件系统MinIO