分布式文件系统MinIO

HBase简介：高效分布式数据存储和处理

HBase的核心特点包括：分布式存储：HBase使用Hadoop分布式文件系统（HDFS）作为底层存储，数据被分布在集
代码指四方·2025-02-18 03:07

minio Non-XML response from server

1.使用docker安装minio详见(3条消息)docker安装minio_西瓜-CSDN博客2.出错此错误原因2.1.启动镜像参数--console-address":9000"-address":
xgjj68163·2025-02-16 00:39

Vulhub靶机 MinIO信息泄露漏洞（CVE-2023-28432）（渗透测试详解）

开启vulhub环境docker-composeup-d启动dockerps查看开放的端口二、访问靶机IP9001端口1、漏洞复现这个漏洞的节点存在于这个路径：http://your-ip:9000/minio
芜丶湖·2025-02-14 12:25

从0到1带大家搭建spring cloud alibaba 微服务大型应用框架（九）文件服务篇（1）：minio 单机与集群搭建

为什么需分布式文件服务单机时代初创时期由于时间紧迫，在各种资源有限的情况下，通常就直接在项目目录下建立静态文件夹，用于用户存放项目中的文件资源。如果按不同类型再细分，可以在项目目录下再建立不同的子目录来区分。例如：resources\static\file、resources\static\image等。优点：这样做比较便利，项目直接引用就行，实现起来也简单，无需任何复杂技术，保存数据库记录和访问
峡谷电光马仔·2025-02-14 10:43

使用亚马逊针对 PyTorch 和 MinIO 的 S3 连接器进行模型检查点处理

2023年11月，Amazon宣布推出适用于PyTorch的S3连接器。适用于PyTorch的AmazonS3连接器提供了专为S3对象存储构建的PyTorch数据集基元（数据集和数据加载器）的实现。它支持用于随机数据访问模式的地图样式数据集和用于流式处理顺序数据访问模式的可迭代样式数据集。适用于PyTorch的S3连接器还包括一个检查点接口，用于将检查点直接保存和加载到S3存储桶，而无需先保存到本
MinIO分布式存储·2025-02-13 11:37

hadoop 1.0 基本概念了解

Map函数负责将输入数据转化为中间值,中间值再通过Reduce函数转化成输出数据HDFS：HDFS是一个分布式文件系统。通过一次写入，多次读出来实现。Chukwa：Chukw
fenggfa·2025-02-12 07:48

深入理解Hadoop 1.0.0源码架构及组件实现

该版本包含核心分布式文件系统HDFS、MapReduce计算模型、Common工具库等关键组件。通过分析源码，可深入理解这些组件的设计和实现细节，包括数据复制、任务调度、容错机制以及系统配置管理。
隔壁王医生·2025-02-12 07:14

云存储 （OSS、CPFS 和 NAS）

在云存储领域，对象存储服务（OSS）、云分布式文件系统（CPFS）和网络附加存储（NAS）是三种常见的存储解决方案。它们各自具备不同的技术特点和适用场景，选择合适的存储方案能够更好地满足不同业务需求。
HaoHao_010·2025-02-11 18:09

minio在文件服务器上显示的是文件夹和xl.meta的文件形式

在linux上安装好minio之后，上传文件测试，文件存储目录下显示的文件是xl.meta形式的，并不是与预想中的实体文件形式，原因是因为新安装的minio的版本比较新，貌似2022年6月份之后的版本就改成这种形式的文件了
筱小虾米·2025-02-11 16:20

HiveQL命令（三）- Hive函数

ApacheHive作为一种流行的数据仓库工具，提供了丰富的内置函数，帮助用户高效地处理和分析存储在Hadoop分布式文件系统（HDFS）中的数据。这些内置函数涵盖了数值计算、字符
BigDataMagician·2025-02-11 12:00

掌握大数据--Hive全面指南

HiveSQL语法--DDL操作数据库1.Hive简介ApacheHive是建立在Hadoop之上的一个数据仓库工具，它提供了一种类似于SQL的查询语言，称为HiveQL，用于查询和分析存储在Hadoop分布式文件系统
纪祥_ee1·2025-02-10 22:40

java文件上传粗糙版

粗糙版图片上传1.导入依赖io.miniominio8.5.22.配置minio地址跟对应的桶业务层实现类importio.minio.MinioClient;//导入MinioClient，用于与MinIO
ok！不当人·2025-02-10 14:33

深度剖析分布式存储架构

【摘要】本文介绍了分布式存储的架构类型、分布式理论、不同的分布式文件系统和分布式键值系统等，较为系统详尽。全文约2万字，可收藏。
罗伯特之技术屋·2025-02-09 07:28

Kubernetes备份方案：Velero+Minio

Kubernetes备份方案：Velero+Minio背景Velero1.Velero是什么2.应用场景3.支持的目标存储4.与k8s版本对应关系5.Velero工作流程备份与恢复实践Velero客户端
登高··2025-02-08 17:19

MinIO

一、三种部署方式单节点单硬盘测试环境使用，不提供任何超出底层存储卷实现的额外可靠性或可用性（RAID、LVM等）单节点多硬盘提供了驱动器级别的可靠性以及故障转移、恢复功能，可以配置容忍损失高达一半所有驱动器的能力。多节点多硬盘（推荐）提供了企业级别的性能、可用性和扩展性，支持纠删码配置，可以容忍多达一半的节点或者驱动器的丢失，同时继续提供读操作。二、检查清单1、存储要求使用本地存储：不建议使用sa
*老工具人了*·2025-02-07 06:47

如何处理大规模数据集中的数据处理：Spark和ApacheFlink

DataProcessing）任务调度（TaskScheduling）HadoopApacheSparkApacheFlink3.核心算法原理和具体操作步骤以及数学公式讲解1.MapReduce（1）概述（2）算法原理分布式文件系统
AI天才研究院·2025-02-07 01:43

HIVE常见面试题

通过将结构化的数据文件映射成表，并提供类SQL的查询功能，使得用户可以通过编写SQL语句来进行数据分析，而不需要编写复杂的MapReduce程序2.简述hive读写文件机制Hive读写文件机制主要依赖Hadoop的HDFS（分布式文件系统
兔子宇航员0301·2025-02-06 18:59

使用python实现Hadoop中MapReduce

Hadoop包含HDFS(分布式文件系统)、YARN（资源管理器）、MapReduce（编程模型）。
qq_44801116·2025-02-06 06:10

Hadoop1.0-HDFS介绍

Hadoop是Apache软件基金会所开发的并行计算框架与分布式文件系统。最核心的模块包括HadoopCommon、HDFS与MapReduce。
szjianzr·2025-02-06 03:13

物联网架构之Hadoop

其核心架构包括以下几个关键组件：1.HadoopDistributedFileSystem(HDFS)HDFS是Hadoop的分布式文件系统，用于存储大数据集。
moluxiangfenglo·2025-02-06 01:54

【Docker项目实战】使用Docker部署MinIO对象存储（详细教程）

【Docker项目实战】使用Docker部署MinIO对象存储前言一、MinIO介绍1.1MinIO简介1.2主要特点1.3主要使用场景二、本次实践规划2.1本地环境规划2.2本次实践介绍三、本地环境检查
江湖有缘·2025-02-04 10:38

Spark3.1.2单机安装部署

Spark专注于数据的处理分析，而数据的存储还是要借助于Hadoop分布式文件系统HDFS等来实现。大数据问题场景包含以下三种：复杂的批量数据处理基于历史数据的交
花菜回锅肉·2025-02-04 07:43

Python结合pyhdfs模块操作HDFS分布式文件系统

使用python操作hdfs本身并不难，只不过是把对应的shell功能“翻译”成高级语言，我这里选用的是hdfs，下边的实例都是基于hdfs包进行的。1：安装由于我的是windows环境（linux其实也一样），只要有pip或者setup_install安装起来都是很方便的pipinstallhdfs2：Client——创建集群连接​fromhdfsimport*client=Client("ht
唐僧不爱八戒·2025-02-04 00:50

Hive 分区和分桶总结

分区表实际上就是对应一个在HDFS(或者是其他分布式文件系统)文
Stray_Lambs·2025-02-03 14:23

HDFS分布式文件系统3-2 shell定期采集数据到HDFS

1、准备工作创建目录：/export/data/logs/log/export/data/logs/toupload2、在/export/data/logs目录下创建upload2HDFS.sh内容如下：#!/bin/bashexportJAVA_HOME=/export/servers/jdkexportJRE_HOME=$JAVA_HOME/jreexportCLASSPATH=.:JAVA_
诺特兰德·2025-02-02 03:38

Python连接MinIO进阶教程：文件类型指定、上传与获取预览链接

文章目录概要1.指定文件内容类型2.获取文件的预览链接（PresignedURL）使用fput_object上传文件4.完整示例与总结概要在上一篇文章中，我们介绍了如何使用Python连接MinIO服务器
北海yy·2025-02-01 07:34

Python实现链接MinIO，并将文件数据从MinIO批量下载并保存到本地

MinIO是一个高性能的对象存储服务，它兼容亚马逊S3云存储服务接口，非常适合于存储大容量非结构化的数据，比如说“图片、视频、日志文件、备份数据和容器/虚拟机镜像”等。
写python的鑫哥·2025-02-01 07:30

Hive存储系统全面测试报告

Hive的设计初衷是为了简化大数据集的查询和管理，它允许用户通过简单的SQL语句来操作存储在Hadoop分布式文件系统（HDFS）上的大规模数据集。
蚂蚁质量·2025-01-29 13:27

系统设计面试题

文章目录**设计一个短网址服务**：如何将长网址转换为短网址，并支持短网址的生成、存储、解析和重定向等功能**设计一个分布式文件系统**：考虑如何实现文件的存储、访问、备份、容错等功能，以及如何处理大规模数据和高并发访问
慢慢慢时光·2025-01-28 03:14

解决Python中libhdfs.so的共享库找不到的问题

这个错误通常发生在使用Python访问Hadoop分布式文件系统（HadoopDistributedFileSystem，简称HDFS）时，由于缺少libhdfs.so共享库文件而
code_welike·2025-01-26 16:34

“大模型横扫千军”背后的大数据挖掘--浅谈MapReduce

文章目录O背景知识1数据挖掘2邦费罗尼原则3TF.IDF4哈希函数5分布式文件系统一、MapReduce基本介绍1.Map任务2.按键分组3.Reduce任务4.节点失效处理5.小测验：在一个大型语料库上有
绒绒毛毛雨·2025-01-26 01:35

MinIO

简介Golang语言实现兼容亚马逊S3云存储服务接口，适合存储大量非结构化数据官方文档：MinIODocker安装MinIO创建并运行容器dockerrun-d\--nameminio\-p9000:9000
xiaolin0333·2025-01-25 10:15

十分钟精通MinIO：minio的原理、部署、操作

一、认识MinIOMinio是一个简单易用的云存储服务，就像是一个放在网络上的大文件柜。想象一下，你有一间放满了各种文件的房间，有时候你需要把这些文件分享给朋友或者在不同地方访问它们。
周盛欢·2025-01-24 10:43

Minio容器启动配置https

不建议这样使用，建议使用nginx做反向代理，建议使用内网url作为上传文件api的endpoint1、公钥和私钥配置根据官网描述（HowtosecureaccesstoMinIOserverwithTLS
非ban必选·2025-01-23 16:51

Linux系统下minio设置SSL证书进行HTTPS远程连接访问

文章目录1.配置SSL证书使用HTTPS访问2.MINIOSDK忽略证书验证3.使用受信任的证书1.配置SSL证书使用HTTPS访问生成域名对应的SSL证书，下载Apache版本，我目前只发现Apache
薄荷街的兔比先生·2025-01-23 15:16

Hadoop分布式文件系统-HDFS架构

一、HDFS的简介HDFS全称HadoopDistributedFileSystem，是分布式文件管理系统。主要是为了解决大数据如何存储的问题，跟一般文件系统不同的是，它可以通过扩展服务器结点来扩充存储量，可以用低成本的硬件构建出支持高吞吐量的文件系统。二、HDFS的特点高容错性：一个HDFS集群会包含非常多的结点，HDFS将文件分块存储，并且会保存多个副本到不同的机器节点上以保证数据的安全，而且
Fancs2024·2025-01-23 09:37

Java与AWS S3的文件操作

AWSS3的特点AWSS3的应用场景二、Java整合S3方法使用MinIO客户端操作S3使用AWSSDK操作S3（推荐使用）三、总结一、什么是AWSS3？
老友@·2025-01-23 09:03

SpringBoot+Minio实现多文件下载和批量下载

文章目录SpringBoot+minio实现多文件下载1、SpringBoot+minio实现多文件打成一个压缩包下载1.添加依赖2.配置MinIO客户端3.创建下载和压缩逻辑4.创建控制器方法来触发下载
北执南念·2025-01-23 07:14

python--对象存储服务器

Object）桶（Bucket）终端节点（Endpoint）访问域名知名的对象存储服务器提供商微软云Azure：MicrosoftAzureBlobStorage华为云OBS:阿里云OSS:腾讯云COSMinIO
赵钱孙李的赵·2025-01-23 03:44

Hadoop是什么，怎么部署安装？

它包括两个核心组件：Hadoop分布式文件系统（HDFS）和HadoopYARN（YetAnotherResourceNegotiator）。
狮歌~资深攻城狮·2025-01-22 15:01

Docker部署minio-arm64版本，阿里官方推荐

一、下载minio下载地址：https://dl.min.io/server/minio/release/linux-arm64/二、创建minio目录//启动目录mkdir/data/minio//bin
m0_60721649·2025-01-22 12:07

Docker部署minio-arm64版本

一、下载minio下载地址：https://dl.min.io/server/minio/release/linux-arm64/二、创建minio目录//启动目录mkdir/data/minio//bin
GSL_566·2025-01-22 11:33

分布式存储的技术选型之HDFS、Ceph、MinIO对比

分布式存储的技术选型比：HDFS、Ceph、MinIO对比一文读懂分布式存储在当今数字化时代，数据呈爆炸式增长，分布式存储技术应运而生，成为大数据存储与管理的得力助手。
Linux运维老纪·2025-01-22 00:40

minio免费文件管理器（windows版本），若依RuoYi-Vue-Plus框架使用，有需要的可以下载，因为官网下载特别慢

MinIO是一款开源的对象存储系统，它提供类似AmazonS3的云存储服务，适用于各种规模的企业。
程序员WANG·2025-01-20 10:43

Spring Boot 集成 MinIO 实现文件上传

SpringBoot集成MinIO实现文件上传一、Minio服务准备MinIO的搭建过程参考Docker搭建MinIO对象存储。登录MinIO控制台，新建一个Bucket，修改Bucket权限为公开。
Flobby529·2025-01-19 16:47

多云架构下JuiceFS实现一致性与低延迟数据分发的深度解析

多云架构下JuiceFS实现一致性与低延迟数据分发的深度解析一、JuiceFS在多云架构中的角色与优势1.JuiceFS简介JuiceFS是一个高性能的分布式文件系统，专为云原生环境设计，支持多种公有云和私有云的对象存储服务
GZM888888·2025-01-17 07:37

Hadoop

Hadoop核心由四个主要模块组成，分别是HDFS（分布式文件系统）、MapReduce（分布式计算框架）、YARN（资源管理）和HadoopCommon（公共工具和库）。
傲雪凌霜，松柏长青·2024-09-16 00:16

linux挂载文件夹

1.使用NFS（NetworkFileSystem）NFS是一种分布式文件系统协议，允许一个系统将其文件系统的一部分共享给其他系统。
小码快撩·2024-09-15 19:58

nfs服务搭建

基哥度娘网络文件系统(NFS)是sun微系统最初开发的分布式文件系统协议,[1]允许客户端计算机上的用户通过计算机网络访问文件很像本地存储被访问。
GHope·2024-09-15 13:41

【Java将File完美转为MultipartFile】:亲测有效

由于multipartFile有很多有用的api,但是有时候我们接收到前台的参数是文件名和文件内容,而不是文件,此时不能使用multipartFile接收,导致处理起来很不方便,比如我用minio上传文件
阿火~·2024-09-15 07:26
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他