minio分布式存储

大数据开发：HDFS Erasure Coding机制

提到大规模数据存储，Hadoop的分布式存储，作为主流的技术方案，实力也是得到市场认可的。Hadoop的分布式文件系统HDFS，其冗余备份机制，确保了数据存储的容错，但是同时也增加了冗余存储成本。
成都加米谷大数据·2023-12-03 14:29

一致性hash

应用领域（数据分布式存储）数据缓存集群（redis、memcache）hadoopESearch分布式数据库演进产生的问题1.本地缓存image.png由于用户访问量的上升，DB的并发数增加，对数据库造成巨大压力
半数的年·2023-12-03 10:32

【开源存储】minio对象存储部署实践

文章目录一、前言1、介绍说明2、部署方式3、冗余模式4、约束限制4.1、规格参数4.2、API支持a、minio不支持的AmazonS3BucketAPIb、minio不支持的AmazonS3ObjectAPI
Luxf0·2023-12-03 05:52

基于hadoop下的hbase安装

简介HBase是一个分布式的、面向列的开源数据库，该技术来源于FayChang所撰写的Google论文“Bigtable：一个结构化数据的分布式存储系统”。
necessary653·2023-12-03 05:45

BigTable：结构化数据的分布式存储系统

文章目录摘要1.简介2.数据模型2.1行2.2列族2.3时间戳3.API4.构成模块5.实现5.1分片位置5.2片分配5.3片服务器5.4压缩6.改进6.1位置分组6.2压缩6.3为读取性能缓存6.4布隆过滤器6.5提交日志实现6.6加快分片的恢复速度6.7利用不变性7.性能评估7.1单个片服务器性能7.2扩展性8.实际应用8.1GoogleAnalytics8.2GoogleEarth8.3Pe
涛声依旧（竞涛）·2023-12-03 03:10

区块链，他的特性你知道吗？这篇文章告诉你

基于分布式存储及P2P技术,区块链上每一个节点的信息传递都是点到点、都是平等的,都可以根据共识机制做到对数据的存储、记录和更新。
心态区块链·2023-12-02 22:19

php前端如何输出图片流,后端返回数据图片流，前端解析展示

RequestMapping(value="/baseinfo")publicvoidinfoHe(HttpServletResponseresponse){InputStreamin=null;try{//从minio
陈舟医生·2023-12-02 21:05

Hadoop进阶学习---HDFS分布式文件存储系统

1.hdfs分布式文件存储的特点分布式存储:一次写入,多次读取HDFS文件系统可存储超大文件,时效性较差.HDFS基友硬件故障检测和自动快速恢复功能.HDFS为数据存储提供很强的扩展能力.HDFS存储一般为一次写入
Yan_bigdata·2023-12-02 19:59

minio安装及使用

文章目录前言minio安装下载并赋予读写权限执行新建文件目录启动查看日志minio使用（java+springboot使用）pom配置文件config类controller类前言前几天弄一个报告文件生成和下载的功能
qq_36532060·2023-12-02 19:19

大厂学院分布式存储极致性能Redis6

Shell变量定义变量时，变量名不加美元符号（$，PHP语言中变量需要），如：your_name="runoob.com"注意，变量名和等号之间不能有空格，这可能和你熟悉的所有编程语言都不一样。同时，变量名的命名须遵循如下规则：命名只能使用英文字母，数字和下划线，首个字符不能以数字开头。中间不能有空格，可以使用下划线_。不能使用标点符号。不能使用bash里的关键字（可用help命令查看保留关键字）
沃威2268731·2023-12-02 00:53

IPFS：下一代分布式文件系统(filenet)

在某些方面，IPFS类似于web,但web是中心化的，而IPFS是一个单一的Bittorrent群集，用git仓库分布式存储。
壹五叁说IPFS·2023-12-01 19:24

WebX实验室对话 Crust：波卡生态的分布式存储之路

今天带大家认识的是**波卡生态中第一个分布式存储赛道“选手”——CrustNetwork。
Crust分布式云·2023-12-01 18:28

SpringCloud微服务实战——搭建企业级开发框架（二十九）：集成对象存储服务MinIO+七牛云+阿里云+腾讯云

  微服务应用中图片、文件等存储区别于单体应用，单体应用可以放到本地读写磁盘文件，微服务应用必需用到分布式存储，将图片、文件等存储到服务稳定的分布式存储服务器。
全栈程序猿·2023-12-01 11:55

Flink on Kubernetes 计算和存储分离落地实践

在这种架构下，将计算和存储解耦，计算部分运行在Kubernetes上，而存储则使用HDFS等分布式存储系统。这样的架构优势在于可以根据实际情况独立调整计算和存储资源，从而提高整体的效率和弹性。
1661616sjsjsk·2023-12-01 07:51

HDFS详解

HDFS架构剖析HDFS，HadoopDistributeFileSystem（Hadoop分布式文件系统）的简称，它是Hadoop核心组件之一，是大数据生态圈最底层的分布式存储服务。
liuhanyuu·2023-11-30 20:09

docker安装minio作为图床服务

minio官网：MinIO|高性能分布式存储，私有云存储适用于AI的高性能分布式云存储，MinIO提供高性能、与S3兼容的对象存储系统，让你自己能够构建自己的私有云储存服务。
气拔星·2023-11-30 16:59

【大数据学习笔记-1】大数据hadoop平台基本组件

行业描述：开源的分布式存储和计算框架，广泛用户海量数据的存储和处理，比如淘宝网的商品推送，爱奇艺视频的首页电影推送。Hadoop的主要组件：htt
工匠小能手·2023-11-30 15:19

Hadoop-HDFS角色工作机制

一、角色职责介绍  HadoopDistributedFileSystem(HDFS,分布式文件系统):HDFS是Hadoop应用程序使用分布式存储，HDFS集群主要由管理文件系统元数据的NameNode
H.S.T不想卷·2023-11-30 10:33

论分布式存储系统架构设计

摘要2019年6月，我所在的公司中标某集团全国保险大数据平台搭建项目，该项目周期为2年，总投资为5000万人民币，通过该项目，搭建该集团大数据建设项目，实现该集团所有业务以及用户行为数据入库并解析，为集团提供精准营销、挖掘潜在客户等提供业务支撑，帮助集团实现快速的业务增长。我有幸作为此次项目的负责人以及架构师参与了项目的搭建以及开发过程。该项目时间紧任务重、涉及人员组织多，直接相关集团保险公司内部
mischen520·2023-11-30 08:36

redis-cluster集群

redis-cluster集群是redis3.0引入的分布式存储方案集群由多个noede节点组成，redis数据分布在节点之中在进群中也分主节点和从节点集群模式中，主从一一对应，数据写入和读取与主从模式一样
91888888·2023-11-30 05:52

ELK日志分析系统

ELK是一套完整的日志集中处理方案，由三个开源的软件简称组成E【ElasticSearch（ES）】开源的分布式存储检索引擎。索引型的非关系型数据库。存储日志。Java代码开发。
91888888·2023-11-30 05:52

Hadoop入门学习笔记-第三天（Yarn高可用集群配置及计算案例）

什么是mapreduce首先让我们来重温一下hadoop的四大组件：HDFS：分布式存储系统MapReduce：分布式计算系统YARN：hadoop的资源调度系统Common：以上三大组件的底层支撑组件
渣男程序员007·2023-11-30 05:13

Linux脚本开机自启

/bin/bashnohup/usr/local/minio/minioserver/data3/minio/data>/usr/local/minio/autostart.log2>&1&/usr/local
梦诺·2023-11-30 04:05

redis 集群

redis-cluster集群：redis3.0引入的分布式存储方案集群由多个node节点组成，redis数据是分布在这写节点之中。在集群之中分为主节点和从节点。
weixin_51694382·2023-11-30 00:28

分布式存储ceph视频教程

└─视频容器-III-Storage-02-1-ceph-basic.mp4容器-III-Storage-02-2-ceph-installation.mp4容器-III-Storage-02-3-ceph-installation.mp4容器-III-Storage-02-4-ceph-internal.mp4容器-III-Storage-02-5-ceph-crushmap.mp4容器-III
CodeistheLaw·2023-11-29 22:51

大数据之Hbase（心得）

（2）HBase是一个高可靠性、高性能、面向列、可伸缩（可扩展）的分布式存储系统，利用HBASE技术可在廉价PCServer上搭建起大规模结构化存储集群。
宝宝不哭^_^·2023-11-29 20:30

就是些平时写的小工具

二、自动从指定minIo拉取图片到另外一台minIO三、目标检测画出中文框并且自动红底白字四、标注得到的xml自动转成txt五、使用yolo自动推理图片得到推理结果转换为训练所需xml一、自动从数据库从抽取数据
大气层煮月亮·2023-11-29 18:39

Linux 安装 Minio 配置 HTTPS

安装创建目录[root@t2local]#mkdirminio[root@t2local]#cdminio[root@t2minio]#mkdirdata下载[root@t2minio]#wgethttps
tansci·2023-11-29 15:03

Hbase的一点个人总结

Hbase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用Hbase技术可在廉价PCServer上搭建起大规模结构化存储集群。
vthinkwen·2023-11-29 15:33

hadoop安装

简介Hadoop是一个开源的分布式存储和计算框架，最初由Apache软件基金会开发。
necessary653·2023-11-29 14:11

ELK企业级日志分析系统

2.ELK组件ElasticSearch是基于Lucene（一个全文检索引擎的架构）开发的分布式存储检索引擎，用来存储各类日志。
pupcarrot·2023-11-29 09:46

由ASP.NET Core根据路径下载文件异常引发的探究

由于项目中存在文件下载功能，没有使用类似MinIO
[虚幻私塾】·2023-11-29 08:44

Vsan数据恢复—Vsan分布式存储数据恢复案例

vSAN故障：一台存储采用了VSAN分布式存储架构，存储内共有24块硬盘存储数据。这台vSAN存储设备关机重启。
北亚数据恢复·2023-11-29 08:56

redis之cluster集群

1、redis-cluster集群：redis3.0引入的分布式存储方案2、集群：由多个node节点组成，redis数据分布在这些节点之中（1）在集群之中也分主节点和从节点（2）自带哨兵模式3、redis-cluster
海德Hyde·2023-11-29 07:01

分布式运用之ELK企业级日志分析系统

ElasticSearch：是基于Lucene（一个全文检索引擎的架构）开发的分布式存储检索引擎，用来存储各类日志。
Lachewuxian·2023-11-29 05:10

搭建ELK-B日志收集

FileBeat，是一个轻量型的日志收集处理工具，FileBeat占用的资源少，适合在各个服务器上搜集日志后传输给Logstash；Elasticsearch简称ES，是一个基于Lucene的、支持全文索引的分布式存储和索引引擎
争不恣游狂荡·2023-11-29 05:08

redis-cluster集群

redis-cluster集群redis3.0引入分布式存储方案集群是由多个node节点组成，redis的数据分布在这些节点当中。在集群当中也分为主节点和从节点。
Lad1129·2023-11-29 05:31

elk日志分析系统

ELK的概论elk是一套完整的日志集中处理方案，有三个开源的软件简称组成：E:ElasticSearchES是一个开源的，分布式存储检索引擎（索引型的非关系型数据库），存储日志。
Lad1129·2023-11-29 05:31

SpringBoot自动配置注入Bean工具autoconfigure

依赖org.springframework.bootspring-boot-autoconfigureyml配置student:red:com.ma.config.MinIOConfigPropertiesspring.factoriesorg.springframework.boot.autoconfigure.EnableAutoConfiguration
春来我不先开口，哪个虫儿敢作声?·2023-11-28 22:20

SpringBoot yml配置文件打印值

配置student:red:douconfig类@Data@ConfigurationProperties(prefix="student")//文件上传配置前缀file.osspublicclassMinIOConfigPropertiesimplementsSerial
春来我不先开口，哪个虫儿敢作声?·2023-11-28 22:50

分布式存储系统Minio简介

Minio是一个基于Go语言的对象存储服务。
明算科·2023-11-28 22:16

minio分布式存储系统

目录拉取docker镜像minio所需要的依赖文件存放的位置手动上传文件到minio中工具类上传yml配置config类service类启动类测试类图片视频删除minio服务器的文件下载minio服务器的文件拉取
春来我不先开口，哪个虫儿敢作声?·2023-11-28 22:45

Docker compose启动服务遇到的问题

这是学长留的一个任务，用dockercompose启动三个服务，分别是minio、elasticsearch、nginx。话不多说，让我们看看有哪些错误。
农专猿·2023-11-28 21:09

hive总结

当处理的数据量非常大时，单一的MySQL数据库无法满足需求，需要使用分布式存储和处理工具，如Hadoop和Hive。
墨苏玩电脑·2023-11-28 18:26

校招专场 | 这些热招职位尚有「余票」，快上车！

云和恩墨在数据承载（分布式存储、数据持续保护）、管理（数据库基础软件、数据库云管平台、数据技术服务）、加工（应用开发质量管控、数据模型管控、数字化转型咨询）和应用（数据服务化管理平台、数据智能分析处理、
云和恩墨·2023-11-28 16:03

zData X 数据库一体机V3震撼上新，一张图读懂五大新体验

云和恩墨在数据承载（分布式存储、数据持续保护）、管理（数据库基础软件、数据库云管平台、数据技术服务）、加工（应用开发质量管控、数据模型管控、数字化转型咨询）和应用（数据服务化管理平台、数据智能分析处理、
云和恩墨·2023-11-28 16:32

Web3.0 技术介绍：从区块链到人工智能

前言Web3.0技术是互联网发展的重要趋势之一，它将互联网从中心化向去中心化转变，使用区块链、智能合约、加密货币、分布式存储和人工智能等前沿技术，实现更加安全、可靠、自由、创新的互联网体验。
Ai_robots·2023-11-28 12:02

StarRocks企业级数据库

第1章StarRocks简介1.1StarRocks介绍StarRocks是新一代极速全场景MPP数据库StraRocks充分吸收关系型OLAP数据库和分布式存储系统在大数据时代的优秀研究成果，在业界实践的基础上
AllenGd·2023-11-28 11:30

python开发之FastDFS分布式存储系统整合Nginx部署重写Django项目文件传输行为

目录FastDFS业务场景概述部署FastDFS整合FastDFS和NginxFastDFS与Python交互重写Django项目文件传输行为FastDFS业务场景概述基于C语言开发的FastDFS是一项开源轻量级分布式文件系统，主要用于海量数据存储，有方便的可拓展性，记录文件指纹防止重复文件上传占用容量，主要用于电商平台等文件数据量大的系统部署FastDFS第一步，安装FastDFS依赖包#下载
Pythonicc·2023-11-28 05:52

ELK日志分析系统

ElasticSearch：是基于Lucene（一个全文检索引擎的架构）开发的分布式存储检索引擎，用来存储各类日志。
相遇蟹堡王，尽享蟹黄堡·2023-11-28 02:01
上一页 9 10 11 12 13 14 15 16 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他