分布式文件系统MinIO

Hadoop

Hadoop核心由四个主要模块组成，分别是HDFS（分布式文件系统）、MapReduce（分布式计算框架）、YARN（资源管理）和HadoopCommon（公共工具和库）。

傲雪凌霜，松柏长青·2024-09-16 00:16

linux挂载文件夹

1.使用NFS（NetworkFileSystem）NFS是一种分布式文件系统协议，允许一个系统将其文件系统的一部分共享给其他系统。

小码快撩·2024-09-15 19:58

nfs服务搭建

基哥度娘网络文件系统(NFS)是sun微系统最初开发的分布式文件系统协议,[1]允许客户端计算机上的用户通过计算机网络访问文件很像本地存储被访问。

GHope·2024-09-15 13:41

【Java将File完美转为MultipartFile】:亲测有效

由于multipartFile有很多有用的api,但是有时候我们接收到前台的参数是文件名和文件内容,而不是文件,此时不能使用multipartFile接收,导致处理起来很不方便,比如我用minio上传文件

阿火~·2024-09-15 07:26

Docker-compose minio集群部署

docker-compose离线安装docker及docker-compose_docker-compose离线安装-CSDN博客三、docker-compose.yml文件按docker-compose文件启动，minio

有点菜的运维·2024-09-14 19:04

docker-compose部署minio分布式集群

1、节点情况建议：minio节点数最好4节点以上，nginx独立部署在其他服务器。

伏案惊涛·2024-09-14 19:32

Linux+Docker：3分钟实现MinIO在线部署与Java集成

Linux下使用Docker安装MinIO1.拉取MinIO镜像dockerpullminio/minio2.创建挂载目录mkdir-p/opt/minio/datamkdir-p/optl/minio

码龄23年·2024-09-14 14:29

掌握检索技术：构建高效知识检索系统的架构与算法23

这可以通过将索引数据分片存储在不同的节点上，并使用分布式文件系统或对象存储来存储大规模的索引数据。任务分配：设计任务调度器，负责将查询请求分配到空闲的节点上进

是小旭啊·2024-09-14 13:50

掌握检索技术：构建高效知识检索系统的架构与算法21

这可以通过将索引数据分片存储在不同的节点上，并使用分布式文件系统或对象存储来存储大规模的索引数据。任务分配：设计任务调度器，负责将查询请求分配到空闲的节点上进

是小旭啊·2024-09-14 12:18

使用minio给存储的对象添加过期时间

在一些场景中，储存的对象需要定时清理保证留出足够的磁盘空间，如果时linux的本地文件，需要采取定时任务清理，但是minio提供了这样的能力环境软件版本docker24.0.4minioRELEASE.2023

[奸笑]这个不是斜眼笑[奸笑]·2024-09-11 21:31

大数据分析与安全分析

海量的数据规模、快速的数据流转、多样的数据类型和价值密度低等大数据的种类和来源非常多，包括结构化、半结构化和非结构化数据有关大数据的新兴网络信息技术应用不断出现，主要包括大规模数据分析处理、数据挖掘、分布式文件系统

Zh&&Li·2024-09-11 03:21

使用ansible的剧本制作salt-master与salt-minion的安装与启动服务过程

虚拟机版本：RockyLinuxrelease8.6(GreenObsidian)准备几台虚拟机ipv4地址主机名192.168.137.13center192.168.137.14sp-1192.168.137.15sp-2192.168.137.16sp-3一、center主机的配置1.vim/etc/hosts127.0.0.1localhostlocalhost.localdomainlo

qq_42750608·2024-09-10 23:57

千万级规模高性能、高并发的网络架构经验分享

INTO100沙龙时间：2015年11月21日下午地点：梦想加联合办公空间分享人：卫向军（毕业于北京邮电大学，现任微博平台架构师，先后在微软、金山云、新浪微博从事技术研发工作，专注于系统架构设计、音视频通讯系统、分布式文件系统和数据挖掘等领域

搬砖养女人·2024-09-10 20:35

深入解析HDFS：定义、架构、原理、应用场景及常用命令

引言Hadoop分布式文件系统（HDFS，HadoopDistributedFileSystem）是Hadoop框架的核心组件之一，它提供了高可靠性、高可用性和高吞吐量的大规模数据存储和管理能力。

CloudJourney·2024-09-10 12:39

Hadoop HDFS中的NameNode、SecondaryNameNode和DataNode

HadoopHDFS中的NameNode、SecondaryNameNode和DataNode目录1.定义2.主要作用3.官方链接1.定义在HadoopHDFS（Hadoop分布式文件系统）中，有三个关键的组件

BigDataMLApplication·2024-09-10 00:38

分布式文件系统FastDFS动态扩容

当用户量越来越大，则集群中某个group总会到达其极限，这时就得扩展集群的容量了。FastDFS的扩容分为对group纵向扩容和横向扩容纵向扩容指在同一个group组中增加服务器，实现数据冗余，数据备份。同一个group中最大容量取决于最小的storage的存储容量。因此如果还想继续使用此group，则需要对此group对应的所有服务器挂载同样容量的磁盘，指定store_path1……，但这样做的

欢醉·2024-09-08 18:38

HBase

ApacheHBase是一个基于Hadoop分布式文件系统（HDFS）构建的分布式、面向列的NoSQL数据库，主要用于处理大规模、稀疏的表结构数据。

傲雪凌霜，松柏长青·2024-09-08 17:07

Hive的优势与使用场景

以下是Hive的主要优势：1.与Hadoop生态系统的紧密集成Hive构建在Hadoop分布式文件系统(HDFS)之上，能够处理海量数据并进行分布式计算。

傲雪凌霜，松柏长青·2024-09-08 17:07

大数据面试题：说下为什么要使用Hive？Hive的优缺点？Hive的作用是什么？

Hive是Hadoop生态系统中比不可少的一个工具，它提供了一种SQL(结构化查询语言)方言，可以查询存储在Hadoop分布式文件系统（HDFS）中的数据或其他和Hadoop集成的文件系统，如MapR-FS

蓦然_·2024-09-08 15:50

2024年Linux最新快速入门SaltStack_saltstack基本使用

install salt-masterservice salt-master start注：需要iptables开启master端4505、4506端口安装被管理端yum -y install salt-minionsed

前端核心技术·2024-09-08 14:19

linux 上安装及配置 salt-minion

下面是salt-minion的安装记录########################################################################在centos6或centos7

anbusha·2024-09-08 14:46

linux下salt的安装及使用

apt-getinstallpython-software-propertiesadd-apt-repositoryppa:saltstack/saltapt-getupdateapt-getinstallsalt-master#服务端apt-getinstallsalt-minion

LEE_JINGING·2024-09-08 14:15

Spring Boot + MinIO 实现文件的分片上传、秒传、续传功能

MinIO：一个高性能的对象存储服务器，支持S3协议。分片上传、秒传和续传原理说明分片上传：原理：将大文件分割成多个较小的片段（称为分片），

雨轩智能·2024-09-06 22:43

JuiceFS 社区版 v1.2 发布，新增企业级权限管理、平滑升级功能

JuiceFS是为云环境设计的分布式文件系统，支持超过10种元数据引擎和30种以上的数据存储引擎。

Juicedata·2024-09-06 01:24

实现多云对象存储支持：Go 语言实践

本文将介绍如何在Go语言中实现一个灵活的对象存储系统，支持多个主流云服务提供商，包括AWSS3、GoogleCloudStorage、MinIO和阿里云OSS。

microrain·2024-09-05 22:57

大数据学习｜理解和对比 Apache Hive 和 Apache Iceberg

文章目录数据模型与存储事务支持性能优化使用场景总结数据模型与存储Hive:Hive使用的是传统的关系型数据模型，数据存储在Hadoop分布式文件系统(HDFS)中，通常是以文本格式（如CSV或TSV）或者二进制格式

进击的小白菜·2024-09-04 16:50

第十二章节 xxjob, seata, zk, minio,activeMQ进行 helm化

要将你提供的Docker命令转换为HelmChart，你需要将相关的配置转化为Kubernetes资源文件，并使用Helm的模板语法进行参数化配置。以下是一个基本的HelmChart示例，包括Deployment、Service和Values.yaml文件。helmcreatexxl-job-admin1.values.yaml这是HelmChart中用于定义默认值的文件。你可以在这里配置镜像、端

Wade_Crab·2024-09-04 07:44

SpringBoot整合MinIO

一、MinIo的安装及启动1、ubuntu系统（使用docker，安装更简单）#1、搜索minio镜像dockersearchminio#2、拉取镜像dockerpullminio/minio#3、创建

白菜馅·2024-09-02 12:22

minio的联邦扩容

#1.需要先部署etcd服务自行解决#2.docker运行命令###单机部署dockerrun-itd--nameminio--restart=always--net=host\-e"MINIO_ROOT_USER

睡不醒的双眼皮·2024-09-01 23:32

Sealos搭建K8S

Sealos的特性管理集群生命周期快速安装高可用Kubernetes集群添加/删除节点清理集群、备份与自动恢复等下载和使用完全兼容OCI标准的分布式应用OpenEBS,MinIO,Ingress,PostgreSQL

约定-今生·2024-09-01 00:08

基于Spring的Uniapp自动更新实现方法

结合minio和网址下载地址两种方式，计算版本号大小后，可选是否强制更新。

星月梦瑾·2024-08-31 04:54

Linux 使用 docker 安装 MinIO 分布式对象存储系统

文章目录个人知识库MinIO简介环境要求一.新建文件目录1.1.新建docker-compose.yml1.2.编写docker-compose.yml二.文件赋权限三.启动容器3.1.启动并下载镜像3.2

liupeng_blog·2024-08-30 23:53

Docker安装minio

一、获取镜像方式一：离线装载镜像（minio.tar）上传mioio.tar到服务器cd/home/data/install_pkg/minio/dockerload-iminio.tar方式二：下载Minio

五月高高·2024-08-30 23:22

docker安装minio

避坑指南单机参考文档：https://blog.csdn.net/BThinker/article/details/125412751#账号：miniouser#密码：miniopassword#docker

无区新手·2024-08-30 23:51

minio 大视频观看，下载

在线观看/***下载视频文件fileName文件路径名称文件路径BacketName/video/1111.mp4需要截取桶名后面的路径video/1111.mp4video前面不要带/**@paramfileName*@paramrequest*@paramresponse*/publicvoidplay(StringfileName,HttpServletRequestrequest,Http

zhou周大哥·2024-08-30 06:59

虚拟机安装hadoop，hbase（单机伪集群模式）

就像当初做爬虫一样（虽然很简单），在数据爆发的现在，传统的数据库mysql，oracle显然在处理大数据量级的数据时显得力不从心，所以有些特定的业务需要引进能够处理大数据量的数据库，hadoop提供了分布式文件系统

流~星~雨·2024-08-29 21:31

Hdfs的机架感知与副本放置策略

1.介绍Apachehadoop机架感知Hadoop分布式文件系统(Hdfs)作为ApacheHadoop生态系统的的核心组件之一,通过机架感知和副本放置策略来优化数据的可靠性,可用和性能.Hdfs的机架感知和副本放置策略是其设计的关键组成部分

sheansavage·2024-08-29 01:42

SpringBoot+Vue实现各种文件预览（附源码）

继上篇介绍了minio的文件上传，本文将介绍如何实现文件预览功能。大家如果没看过上篇文章建议大家先看下。

Java学长小李·2024-08-28 18:59

Django 后端架构开发：存储层调优策略解析

Django后端架构开发：存储层调优策略解析目录数据库读写分离实现与优化分布式文件系统在Django中的应用与优化Elasticsearch存储层优化策略前端页面静态化处理数据库读写分离实现与优化数据库读写分离是一种优化数据库性能的常见手段

Switch616·2024-08-27 02:13

vue2上传大文件到minio分片上传

项目中使用到的类库：spark-md5、axios、element-ui；npminstallspark-md5--Snpminstallaxios--S页面上传示例文件上传任务数：{{taskQueueRunningNum}}选择文件上传清空{{isPaused?'继续':'暂停'}}{{item.name}}{{transformByte(item.size)||item.size}}{{`$

zhou周大哥·2024-08-25 17:35

Kubernetes进阶之应用与持久化数据卷备份迁移实践

0x00前言简述1.Velero基础概述2.Velero工作原理3.Provider插件供应商4.补充说明0x01环境部署1.先决条件2.下载部署Velero3.设置Minio服务器0x02备份迁移实践

全栈工程师修炼指南·2024-08-25 15:50

HDFS的编程

HDFS是一个分布式文件系统，以流式数据访问模式存储超大文件，将数据分块存储到一个商业硬件集群内的不同机器上

卍king卐然·2024-08-25 07:02

Hadoop 的基本 shell 命令

Hadoop的基本shell命令主要用于与Hadoop分布式文件系统（HDFS）和MapReduce进行交互。

难以触及的高度·2024-08-24 14:22

【RH134知识点问答题】第9章访问网络附加存储

NFS是一种分布式文件系统协议，主要功能包括：①允许远程计算机通过网络访问共享文件。②实现文件系统在客户端和服务器之间的透明访问。③支持文件的共享、读取和写入，使得多个计算机可以共享相同的文件

是芽芽哩！·2024-08-24 03:38

RAG与LLM原理及实践（14）---- Python + MinIO + Kafka进阶

目录背景根因分析配置构造创建network构造zookeeper构造kafka参数构造原理解析图解全过程解析工具使用kafkacat查看brokerpython实现pythonsend+kafkarecvpython代码kafkarecv运行效果pythonrecv+kafkasendpython代码kafkasend运行效果思考pythonsend+pythonrecv原理运行效果背景如果你已经

PhoenixAI8·2024-08-21 20:59

Minio设置文件链接永久有效

Minio设置文件链接永久有效一、问题描述minio分享文件的链接，最多支持分享七天。而我们正常的文件需要永久有效，此时需要设置文件链接永久有效。二、解决方法minio提供了一个客户端工具。

jackob-94·2024-03-24 09:57

服务器虚拟化和云平台,云平台和服务器虚拟化区别

云平台和服务器虚拟化区别内容精选换一换云硬盘(ElasticVolumeService,EVS)可以为云服务器提供高可靠、高性能、规格丰富并且可弹性扩展的块存储服务，可满足不同场景的业务需求，适用于分布式文件系统

木子Hui·2024-03-20 05:14

Java实战：Spring Boot利用MinIO实现文件切片上传

本文将详细介绍如何在SpringBoot应用程序中使用MinIO实现文件切片极速上传技术。

拥抱AI·2024-03-15 14:15

HDFS

HDFS是一个分布式文件系统，以流式数据访问模式存储超大文件，将数据分块存储到一个商业硬件

weixin_51987187·2024-03-12 14:32

SeaweedFS部署

SeaweedFS介绍SeaweedFS是一个分布式文件系统应用场景：主要用于存储处理小文件、大文件分块成小文件上传Githup地址：https://github.com/chrislusf/seaweedfs

仙女陈·2024-03-02 04:46

推荐频道