分布式文件系统MinIO

架构设计内容分享(五十二)：亿级短视频，如何架构？

InstagramReels,YouTubeShorts）的宏观业务架构1）与用户相关的子系统2）与视频发布相关的子系统3）点赞和评论相关子系统4）推荐子系统技术选型：常见的NOSQL存储框架选型基于MinIO
之乎者也··2023-12-27 14:44

Spark与Hadoop的关系和区别

它包括两个核心组件：Hadoop分布式文件系统（HDFS）：用于存储大规模数据的分布式文件系统。H
晓之以理的喵~~·2023-12-27 12:13

基于hostpath的k8s pod日志持久化

基于hostpath的k8spod日志持久化前置条件：step1：修改服务的yaml文件step2：推送日志到minio版保存step3：优化附加：简单了解前置条件：考虑到pod的多副本，但同时需要将日志集中收集起来
最美dee时光·2023-12-27 11:33

Minio文件服务器（上传文件）

官网：https://www.minio.org.cn/开源的分布式对象存储服务器Window安装用户名和密码相同创建bucket，并且将策略改成public一、添加依赖二、代码publicclassFileUploadTest
A尘埃·2023-12-27 09:05

下载minio

1.下载windowminiohttps://dl.minio.io/client/mc/release/windows-amd64/mc.exe2.启动miniosetMINIO_ROOT_USER=
东隅北海·2023-12-27 08:26

[spark] DataFrame 的 checkpoint

在ApacheSpark中，DataFrame的checkpoint方法用于强制执行一个物理计划并将结果缓存到分布式文件系统，以防止在计算过程中临时数据丢失。
言之。·2023-12-27 06:29

【大数据HA】HAProxy实现thrift协议HMS服务的高可用-附Chatgpt协助截图

【大数据】Docker部署HMS(HiveMetastoreService)并使用Trino访问Minio-CSDN博客本来想到的是Nginx，但是在进一步分析，HMS发布的是thrift协议，一种tcp
秦拿希·2023-12-27 05:08

基于Cloudflare内网穿透实现自建图床

基于Cloudflare内网穿透实现自建图床图床的选择自建图床的选择安装MinIO基于dockercompose安装启动MinIO测试MinIO功能结合Cloudflare内网穿透功能，实现外网访问准备一个域名
入秋的大橘·2023-12-26 22:09

Hadoop大数据实战系列文章之HDFS文件系统

Hadoop附带了一个名为HDFS(Hadoop分布式文件系统)的分布式文件系统，专门存储超大数据文件，为整个Hadoop生态圈提供了基础的存储服务。
测试帮日记·2023-12-26 21:39

vue2、vue3实现用aws s3协议操作minio进行文件存储和读取

亚马逊s3API文档最开始安装了@aws-sdk/client-s3，但是不知道为什么一直报错，所以用了aws-sdk准备工作：需要已经搭建好minio、创建好桶1.vue2安装插件yarnaddaws-sdks3
查查茶茶丸·2023-12-26 19:09

docker安装入门及redis,minio,rabbitmq应用安装

部分笔记来自黑马课堂：【黑马程序员Docker快速入门到项目部署，MySQL部署+Nginx部署+docker自定义镜像+DockerCompose项目实战一套搞定-哔哩哔哩】https://b23.tv/niWEhEF一、什么是docker：快速构建、运行、管理应用的工具。--帮助我们快速部署提高开发效率。二、Docker是做什么的Docker可以帮助我们下载应用镜像，创建并运行镜像的容器，从而
小瞿码上有·2023-12-26 13:03

修改nfs服务的依赖服务rpcbind的111端口

NFS和rpcbind的关系NFS（NetworkFileSystem）是一种分布式文件系统，它允许在不同的计算机之间共享文件。在进行NFS共享之前，需要先启动RPCbind服务。
花蹦蹦精他哥·2023-12-26 13:32

SpringBoot整合阿里云OSS、天翼云OSS、MinIO对象存储

大家好！我是sum墨，一个一线的底层码农，平时喜欢研究和思考一些技术相关的问题并整理成文，限于本人水平，如果文章和代码有表述不当之处，还请不吝赐教。以下是正文！对象存储是什么？对象存储是一种数据存储方式，它将数据分割成不同的对象，并为每个对象分配一个唯一的标识符，用于访问和操作数据。这些对象被存储在多个服务器上，以确保数据的可靠性和可用性。对象存储适合存储大量数据，具有可扩展性、低成本和高安全性等
sum墨·2023-12-26 11:37

iceberg1.4.2+spark3.4.2+minio

在idea里面编写iceberg的数据写入和创建表动作，虽然简单，但是官网没有给出完整例子，包括jar包的依赖。最大的坑就是版本不兼容。通过下面完整例子，编写Iceberg的完整代码。pom.xml文件需要引入的包org.scala-langscala-library${scala.version}junitjunit4.4testorg.specsspecs1.2.5testorg.apache
smileyboy2009·2023-12-26 10:25

idea开发delta.io数据湖

通过idea的spark操作delta.ideamaven的pom.xmlio.miniominio8.5.7org.apache.sparkspark-core_2.123.5.0o
smileyboy2009·2023-12-26 10:52

iceberg1.4.2 +minio通过spark创建表，插入数据

iceberg是一种开放的表格式管理，解决大数据数据中结构化，非结构化和半结构化不统一的问题。主要是通过对表的管理实现增删改查，同时支持历史回滚（版本旅行）等操作。下层支持hadoop，s3,对象存储，上层支持hive，spark，flink等应用。实现在中间把两部分隔离开来，实现一种对接和数据管理的标准。有这个标准，不管是谁建的表，都可以操作和访问。比如我用spark创建表，flink去读取的时
smileyboy2009·2023-12-26 06:39

如何准备系统设计面试？

2：设计一个框架比如RPC框架、消息队列、缓存框架、分布式文件系统等等。3：设计某某系统中的一个功能比如哔哩哔哩的点赞功能。
_River_·2023-12-26 04:16

大数据技术——处理架构Hadoop

软件基金会旗下的一个开源分布式计算平台，为用户提供了系统底层细节透明的分布式基础架构•Hadoop是基于Java语言开发的，具有很好的跨平台特性，并且可以部署在廉价的计算机集群中•Hadoop的核心是分布式文件系统
Imrea·2023-12-26 01:55

架构设计内容分享(七十六)：分布式存储架构分析

目录一、集中存储结构二、分布式存储三、分布式理论浅析四、分布式文件系统五、分布式键值系统一、集中存储结构说到分布式存储，我们先来看一下传统的存储是怎么个样子。
之乎者也··2023-12-25 20:01

4.3 媒资管理模块 - Minio系统上传图片与视频

文章目录一、上传图片1.1需求分析1.2数据模型1.2.1media_files媒资信息表1.3准备Minio环境1.3.1桶环境1.3.2连接Minio参数1.3.3Minio配置类1.4接口定义1.4.1
我爱布朗熊·2023-12-25 08:59

4.2 媒资管理模块 - 项目搭建、minio文件系统

文章目录一、搭建媒资服务工程1.1media-api工程1.1.1bootstrap.yaml1.1.2Maven1.1.3Nacos1.2media-service工程1.2.1bootstrap.yaml1.2.2Maven1.2.3Nacos1.2.4分页插件1.3media-model工程1.3.1QueryMediaParamsDto1.3.2MediaFiles1.3.3MediaPr
我爱布朗熊·2023-12-25 08:25

【Hadoop】HDFS shell操作与管理工具

HDFSshell操作HDFS管理工具dfsadminfsck均衡器HDFSshell操作HDFS是存取数据的分布式文件系统，对HDFS的操作就是文件系统的基本操作，如文件的创建、修改、删除、修改权限，
不怕娜·2023-12-24 18:41

【Hadoop】HDFS简介——是什么/优缺点/适用场景

HDFS不适用场景HDFS是什么源自Google的GFS论文Google于2003年10月发表HDFS是GFS的一个克隆版HDFS(HadoopDistributedFileSystem)是易于扩展的分布式文件系统
不怕娜·2023-12-24 18:11

使用minio实现大文件断点续传

部署minio拉取镜像dockerpullminio/miniodockerimages新建映射目录新建下面图片里的俩个目录data(存放对象-实际的数据)config存放配置开放对应端口我使用的是腾讯服务器所以在腾讯的安全页面开启
康世行·2023-12-24 17:39

文章分享-1周-怎么理解分布式、高并发、多线程？

涉及领域非常多，例如分布式文件系统（例如fast
庄泽锐·2023-12-24 16:07

Hadoop学习笔记（一）分布式文件存储系统 —— HDFS

概念HDFS（HadoopDistributedFileSystem），Hadoop分布式文件系统，用来存超大文件的。
zhang35·2023-12-24 08:54

Hadoop学习之HDFS——小白入门笔记

一、分布式文件系统1.分布式文件系统解决问题：海量数据的高效存储2.分布式文件系统是将文件分布存储到多个计算机节点上。
cainiao22222·2023-12-24 08:52

linux 搭建自己的 OSS 服务器 minio 搭建OSS服务器 springboot整合minio 文件服务器 设置minio bucket的策略 policy

目录1.minio官网地址2.需要环境一台可以上网的Linux服务器3.在minion官网找到如图4.访问地址：http://ip:9000/5.设置minio后台启动添加访问连接minio获取的连接默认
笨小孩编程·2023-12-24 00:55

linux下载minio

一、概述中文官网：MinIO|高性能，对Kubernetes友好的对象存储英文官网：MinIO|HighPerformance,KubernetesNativeObjectStorage二、Minio是什么
开心是星星·2023-12-24 00:25

通过python脚本上传本地/远程服务器文件到minio

前言将文件上传到MinIO对象存储后，MinIO会将文件存储为对象(.meta文件)，并为每个对象生成相应的元数据。元数据是描述对象的属性和信息的数据。通常，元数据包括对象的名称、大小、创建日期等。
publicman_·2023-12-24 00:23

Minio文件服务器的搭建

1.下载安装包#创建文件夹（自定义）mkdir-p/usr/local/minioFilemkdir-p/usr/local/minioFile/datatouch/usr/local/minioFile
搬砖爱好者.·2023-12-24 00:23

Minio快速入门(Linux)

什么是Minio?MinIO是在GNUAffero通用公共许可证v3.0下发布的高性能对象存储。它与AmazonS3云存储服务API兼容。
Lixu-·2023-12-24 00:22

kkfileview与minio整合实现文件上传与预览

kkfileview与minio整合实现文件上传与预览1.概叙kkfileview比较火热的在线预览工具，giteestat10K+。点击这里跳转kkfileview官网。
吃坨西红柿·2023-12-24 00:52

在Linux下探索MinIO存储服务如何远程上传文件

文章目录前言一.创建Buckets和AccessKeys二.Linux安装Cpolar三.创建连接MinIO服务公网地址四.远程调用MinIO服务小结五.固定连接TCP公网地址六.固定地址连接测试结语前言
聆风吟_·2023-12-24 00:22

Java从入门到入坑（架构篇）

Dubbo服务注册、服务发现，服务治理http://dubbo.apache.org/zh-cn/3：分布式数据库怎样打造一个分布式数据库、什么时候需要分布式数据库、mycat、otter、HBase4：分布式文件系统
小小弓长张·2023-12-23 15:07

MINIO在java中的使用

引言MinIO是全球领先的对象存储先锋，目前在全世界有数百万的用户.在标准硬件上，读/写速度上高达183GB/秒和171GB/秒。
IT小学僧·2023-12-23 14:48

minio 分布式对象存储

分布式文件系统应用1.1、Minlo介绍Minlo是一个基于ApacheLicensev2.0开源协议的对象存储服务。
锅锅嗨·2023-12-23 09:55

在CentOS 7上使用普通用户`minio`安装和配置MinIO

当然，以下是在CentOS7上使用普通用户minio安装和配置MinIO的完整步骤，包括设置密码、设置开机自启动，以及使用minio用户启动和关闭服务的过程：创建MinIO用户:sudouseradd-mminiosudopasswdminio
ascarl2010·2023-12-23 09:54

【分布式技术专题】「OSS中间件系列」Minio的文件服务的存储模型及整合Java客户端访问的实战指南

Minio的元数据数据存储MinIO对象存储系统没有元数据数据库，所有的操作都是对象级别的粒度的，这种做法的优势是:个别对象的失效，不会溢出为更大级别的系统失效。便于实现“强一致性”这个特性。
洛神灬殇·2023-12-23 08:39

SpringBoot中常见配置配置，MySQL、Redis、MinIO等

SpringBoot中配置启动端口号server:port:8501spring:application:name:server-managerprofiles:active:dev#当前使用的配置文件servlet:multipart:max-file-size:20MB#最大文件max-request-size:20MB##最大请求数据库相关MySQLspring:datasource:typ
Bunny0212·2023-12-23 08:07

Kubernetes的基本概念和术语--node

除了Master，Kubernetes集群中的其他机器被称为Node，在较早的版本中也被称为Minion。与Master一样，Node可以是一台物理主机，也可以是一台虚拟机。
%九思%·2023-12-23 03:28

文件上传存储工具

x-file-storagex-file-storage:一行代码将文件存储到本地、FTP、SFTP、WebDAV、谷歌云、阿里云OSS、华为云OBS、七牛云Kodo、腾讯云COS、百度云BOS、又拍云USS、MinIO
程序员小刚·2023-12-22 21:23

k8s搭建minio集群

1.stsMINIO_ROOT_PASSWORD不得少于8位,minio新版本把可视化独立出来,需要--console-address":5000"自己设置端口apiVersion:apps/v1kind
MoonSoin·2023-12-22 18:36

大数据指标中台构建核心技术解析

主要围绕以下四个方面展开：1.网易数帆大数据产品介绍2.网易数帆指标中台3.指标中台核心技术解析4.未来规划及展望01网易数帆大数据产品介绍1.网易数据分析的发展历史网易自2006年开始使用大数据技术组件，如分布式数据库、分布式文件系统
王知无(import_bigdata)·2023-12-22 11:56

Rocky Linux 9.3 安装 MinIO 最新版本 （超级详细版本）

安装步骤MinIO官网文件目录运行以下curl命令将MinIO的二进制文件下载到“/usr/local/bin/minio”curl-o/usr/local/bin/miniohttps://dl.min.io
Gosse0405·2023-12-22 10:52

linux 上安装 minio

第一步，下载wgethttps://dl.minio.org.cn/server/minio/release/linux-amd64/minio第二步，修改权限chmod+xminio第三步，设置Pathmvminio
BatmanWayne·2023-12-22 06:26

本地MinIO存储服务如何创建Buckets并实现公网访问上传文件

文章目录前言1.创建Buckets和AccessKeys2.Linux安装Cpolar3.创建连接MinIO服务公网地址4.远程调用MinIO服务小结5.固定连接TCP公网地址6.固定地址连接测试前言MinIO
日出等日落·2023-12-21 19:51

大数据---33.HBase数据结构

一、HBase简介HBase是一个开源的、分布式的、版本化的NoSQL数据库（即非关系型数据库），依托Hadoop分布式文件系统HDFS提供分布式数据存储，利用MapReduce来处理海量数据，用Zookeeper
学无止境的大象·2023-12-21 19:07

计算机毕业设计hadoop+spark+hive直播可视化分析大屏 直播推荐系统 数据仓库 体育赛事分析 足球分析 推荐系统 体育赛事推荐系统 大数据毕业设计

spark、hadoop、scala、hive、sqoop、Flask、echarts、mysql分析流程：python爬取直播数据存到.csv文件、mysql数据库(备份数据集)，上传CSV到hdfs分布式文件系统上
计算机毕业设计大神·2023-12-21 19:26

Flume多路复用模式把接收数据注入kafka 的同时，将数据备份到HDFS目录

示例配置如下：fs.defaultFShdfs://localhost:9000hdfs-site.xml：设置HDFS（Hadoop分布式文件系统）的参数，例如数据块复制因子、NameNode的存储路径等
HaveAGoodDay.·2023-12-21 17:52
上一页 5 6 7 8 9 10 11 12 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他