GridFS分布式存储

K8S部署MinIo

一、集群方式：分布式存储方案MinIO的离线k8s容器化部署，超简单!!!
zhangjunli·2023-09-12 15:45

SpringBoot MongoDB GridFsTemplate实现文件管理

1.添加mavenorg.springframework.bootspring-boot-starter-data-mongodb2.配置文件GridFsTemplate实现临时文件和正式文件存储桶分离
张志翔的博客·2023-09-12 10:17

Kubernetes（K8s）上使用分布式存储（Distributed Storage）

摘要在Kubernetes（K8s）上使用分布式存储（DistributedStorage）是一种常见的方案，它可以为集群中的应用程序提供持久性和可扩展性。
卢延吉·2023-09-12 08:58

K8S集群中部署NFS之四：使用StorageClass创建PV

而持久化存储，NFS(NetworkFileSystem）是一个使用比较常用的分布式存储技术，在本系列中，我将详细演进如
乱七八糟谈技术·2023-09-12 05:07

[译] [论文] Bigtable: A Distributed Storage System for Structured Data

译者序本文翻译自2006年Google的分布式存储经典论文：Bigtable:ADistributedStorageSystemforStructuredData(PDF)。
东京的雨不会淋湿首尔·2023-09-10 17:20

大数据导论 笔记

一、大数据方向1、技术发展计算机网络云计算大数据时代人工智能（本科：使用，研究生：推导，博士：创新）2023年大数据模型人工智能元年2、基础课程hadoop大数据基础三大件：HDFS分布式存储、MapReduce
暗托涅瓦·2023-09-10 02:12

ceph分布式存储-增加/删除 Monitor

1.介绍一个集群可以只有一个monitor，我们推荐生产环境至少部署3个。Ceph使用Paxos算法的一个变种对各种map、以及其它对集群来说至关重要的信息达成共识。建议（但不是强制）部署奇数个monitor。Ceph需要mon中的大多数在运行并能够互相通信，比如单个mon，或2个中的2个，3个中的2个，4个中的3个等。初始部署时，建议部署3个monitor。后续如果要增加，请一次增加2个。2.增
lihanglucien·2023-09-10 01:02

一致性hash

问题分布式存储的系统设计中，有一个问题一直困扰着我：方式1.集群中所有的机器，都存储完整的数据，然后所有的机器都可以提供完整服务；方式2.集群中的所有机器，都只存储数据的一部分，然后根据实际情况选择合适的机器进行服务
空即是色即是色即是空·2023-09-09 23:21

es的数据存储结构；近实时查询原因

概述es存储中大体可以看成index(表)+document（行记录）组成es支持分布式存储，一个index会产生多个分片，保存在不同的实例上。其中分为若干个主分片和副分片。
好大的月亮·2023-09-09 15:52

直播 | SDS 容灾方案，让制品数据更安全

近日，腾讯CODINGWePack制品管理系统V1以及腾讯CODINGDevOps研发效能管理平台V7与XSKY星辰天合的统一数据平台XEDP及天合翔宇分布式存储系统完成互相兼容认证，在数据层面满足了共同客户敏捷开发的高可用建设合规要求
·2023-09-09 09:15

k8s安装elasticsearch集群

StatefulSet控制器创建的Pod适合用于分布式存储系统，它最大的特点是各个Pod的数据不一样，各个Pod无法使用同一个存储卷。
MasonYyp·2023-09-09 05:25

Hadoop集群搭建

Hadoop集群搭建Hadoop集群简介Hadoop集群包括两个集群：HDFS集群、YARN集群两个集群逻辑上分离、通常物理上在一起两个集群都是标准的主从架构集群HDFS集群（分布式存储）主角色：NameNode
藤藤菜丶·2023-09-09 05:45

大数据技术之Hadoop：MapReduce与Yarn概述（六）

目录一、分布式计算二、分布式资源调度2.1什么是分布式资源调度2.2yarn的架构2.2.1核心架构2.2.2辅助架构前面我们提到了Hadoop的三大核心功能：分布式存储、分布式计算和资源调度，分别由Hadoop
何苏三月·2023-09-09 04:17

什么是对象存储

这些对象被存储在分布式存储系统中，通常由多个物理设备或服务器组成，以提供高可用性、冗余和可伸缩性。以下是对象存储的一些关键特点和优点：弹性扩展性：对象存储系统可以
贾斯汀玛尔斯·2023-09-08 13:19

【软考】系统架构设计师-历年论文题目（2013-2022）

2013-2022年系统架构设计师历年论文题目如下：时间题目20131.论软件架构建模技术与应用；2.论企业应用系统的分层架构风格；3.论软件可靠性设计技术的应用；4.论分布式存储系统架构设计20141
Jackilina_Stone·2023-09-08 01:32

FastDFS 原理篇

分布式存储选型这里主要说下按需求选取和使用在这之前使用过glusterfs分布式存储,使用过程中部署比较简单,也容易上手.但是存在如下几个问题:使用glusterfs主要走的是网络带宽,内网使用率问题.
凯撒公猿·2023-09-07 23:58

Docker之自动化性能监控系统Prometheus&Grafana附实例（三）

成为继kubernetes之后的第二个托管项目，官方网站Prometheus特点多维数据模型：由度量名称和键值对标识的时间序列数据PromSQL:—种灵活的查询语言，可以利用多维数据完成复杂的查询不依赖分布式存储
30岁老阿姨·2023-09-07 10:48

自动化监控系统Prometheus&Grafana

，数据采集→数据处理→数据存储→数据展示→告警Prometheus特点展开目录多维数据模型：由度量名称和键值对标识的时间序列数据PromSQL:—种灵活的查询语言，可以利用多维数据完成复杂的查询不依赖分布式存储
渔阳节度使·2023-09-07 10:11

Ceph：一个 Linux PB 级分布式文件系统

本文探讨了Ceph文件系统及其独有的功能，这些功能让它成为可扩展分布式存储的最有吸引力
天狐云通讯八度·2023-09-07 08:50

说说度宇宙

“度宇宙”，是百度基于区块链技术开发的一款分布式存储网络，用户可以自愿按照规则，依法在该网络贡献信用数据、注意力、踪迹、知识储备、时间及其它数据，从而共同提升该网络的总价值！
Toplayer·2023-09-06 13:03

HPE MSA存储的高性能连接解决方案

近几年，中小型企业需求的增加以及大型企业存储架构的改变——尤其是从数据集中存储到分布式存储的演进，使入门级存储在市场中所占份额越来越高，市场的需求必然促使相关产品的大量涌现，而这种天然的竞争态势，则驱动着各厂商不断对自身产品进行改进
虹科网络基础设施·2023-09-06 10:29

解读MapReduce程序实例

Hadoop的四大组件：（1）HDFS：分布式存储系统；（2）MapRedu
大禹编程扛把子·2023-09-05 14:03

数据库学习笔记（一）

基于传数据库并区别于传统单节点数据库，支持多节点分布式存储和计算。·OLTP是传统的关系型数据库的主要应用，主要是基本的、
PILIPAPALA·2023-09-05 14:17

etcd分布式存储

etcd分布式存储etcd简介etcd下载安装etcd常用命令etcd配置参数etcd集群golang操作etcd
hixiaoyang·2023-09-05 13:22

【ceph】分布式存储一些知识点梳理

前一段时间由于一些原因工作变动，面了一些分布式存储的相关岗位，感觉市面上相关经验分享较少，因此拿出来和大家分享一下。
bandaoyu·2023-09-05 00:19

docker 笔记5：redis 集群分布式存储案例

尚硅谷Docker实战教程（docker教程天花板）_哔哩哔哩_bilibili目录1.cluster(集群)模式-docker版哈希槽分区进行亿级数据存储1.1面试题1.1.1方案1哈希取余分区1.1.2方案2一致性哈希算法分区原理优点一致性哈希算法的容错性一致性哈希算法的扩展性缺点一致性哈希算法的数据倾斜问题总结1.1.3方案3哈希槽分区3多少个hash槽哈希槽计算2.3主3从redis集群扩
Rsingstarzengjx·2023-09-04 20:21

Redis-Cluster集群搭建

：reids集群原理：其实它的原理不是三两句话能说明白的，redis3.0版本之前是不支持集群的，官方推荐最大的节点数量为1000，至少需要3(Master)+3(Slave)才能建立集群，是无中心的分布式存储架构
apt_fz·2023-09-04 19:04

谈谈Hadoop MapReduce和Spark MR实现

抽象了map和reduce的计算流程，对于分布式存储的数据可以并行的进行map处理，之后在reduce端对map结果进行汇总。移动计算而非移动数据。数据的计算传输需要大量
码农峰·2023-09-04 10:40

python——spark入门

2003和2004年，两个来自Google的观点使Hadoop成为可能：一个分布式存储框架(Google文件系统)，在Hadoop中被实现为HDFS；一个
代码输入中...·2023-09-04 04:43

Web3的新商业综合体——SMT震撼来袭!

SMT生态综合一体化，运用区块链+大数据技术，打造去中心化分布式存储的可信数据平台，SMT生态体系内产
Joker时代·2023-09-04 02:43

分布式计算在云计算中的作用

云计算基于分布式计算技术，它离不开Google的三大核心技术，GFS（GoogleFileSystem，Google文件系统）分布式存储系统，MapReduce分布式处理技术和BigTable分布式数据库
EmmauelZ·2023-09-03 22:54

数据库事务

所有需要保证数据一致性的场景，包括但不限于数据库、事务内存、缓存、消息队列、分布式存储等，都有可能用到事务。
Bai_Yin·2023-09-03 18:14

酷克数据与华为合作更进一步 携手推出云数仓联合解决方案

在本次论坛上，华为发布了分布式存储全闪新品OceanStorPacific9920。酷克数据核心产品HashData云数仓通过与华为OceanStorPacifi
HashData酷克数据·2023-09-03 08:45

入门ElasticSearch ：为什么选择ES作为搜索引擎？

简单的说：ElasticSearch是一个实时的分布式存储、搜索、分析的引擎在我看来ES最强的其实是它的模糊搜索功能。那有的人就会问了：我
ss无所事事·2023-09-03 06:56

NewSQL

最近几年，将关系型数据库和分布式存储的技术结合后产生的新型分布式关系型数据库正在全球兴起，如业界熟知的GoogleF1和GoogleSpanner。
nightwish夜愿·2023-09-03 06:51

千万级并发架构下，关系型数据库应该如何优化？大厂是如何做分库分表的！

在互联网电商行业，或者一些O2O平台，每天也能产生上千万的订单数据，这些量级的数据在传统的关系型数据库中已经无法支撑了，那么如何解决海量数据存储和计算等问题，在业内引入了分布式存储和分布式计算等解决方案
跟着Mic学架构·2023-09-02 23:28

酷克数据与华为合作更进一步 携手推出云数仓联合解决方案

在本次论坛上，华为发布了分布式存储全闪新品OceanStorPacific9920。酷克数据核心产品HashData云数仓通过与华为OceanStorPacifi
·2023-09-02 18:43

简析Elasticsearch-简介、安装、配合Kibana使用、SpringBoot整合

什么是Elasticsearch参考参考Elasticsearch是一个实时的分布式存储、搜索、分析的引擎。
张正栋·2023-09-02 11:21

Ceph BlueStore 和双写问题

论开源分布式存储，Ceph大名鼎鼎。用同一个存储池融合提供块存储、对象存储、集群文件系统。在国内有近年使用量迅速攀升。
大隐隐于野·2023-09-02 07:57

大数据之hadoop入门

目前单台主机一般只能存放1T左右的数据，所以要进行计算首先要进行分布式存储，分开到10台电脑中进行存储。然后后面的计算也必须基于分布式的存储结构来进行分布式运
十七✧ᐦ̤·2023-09-02 07:02

什么是 LSM 思想？它的优缺点都那些？

它最初由闪存文件系统（FlashFileSystem）和大规模分布式存储系统（如Bigtable和HBase）采用，并在键值存储引擎中广泛应用，如LevelDB和RocksDB。
VicRestart·2023-09-01 22:56

FastDFS分布式存储服务器安装

分布式图片服务器FastDFS1.什么是FastDFSFastDFS是用c语言编写的一款开源的分布式文件系统。FastDFS为互联网量身定制，充分考虑了冗余备份、负载均衡、线性扩容等机制，并注重高可用、高性能等指标，使用FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。FastDFS架构包括Trackerserver和Storageserver。客户端请求Trackers
敲代码的令狐葱·2023-09-01 13:26

Erasure-Code(纠删码) 最佳实践

典型如Google新一代分布式存储系统colossus系统的Reed-solomon算法、WindowAzureStorage的LRC算法等等。EC(Erasure-Code)算法的最底层
大隐隐于野·2023-09-01 10:44

Ceph基础知识和基础架构认识

1Ceph基础介绍Ceph是一个可靠地、自动重均衡、自动恢复的分布式存储系统，根据场景划分可以将Ceph分为三大块，分别是对象存储、块设备存储和文件系统服务。
大隐隐于野·2023-09-01 10:11

短视频矩阵系统独立技术运行--云端开发储存

云数据库将数据存储在云端，通过互联网实现全球访问，具有高可靠性和高可扩展性；云存储是一种云服务，可用于存储任何类型的数据，包括文档、音频、视频等；对象存储是一种分布式存储系统，可存储大量非结构化数据，如图像
云罗互动yx898978·2023-09-01 08:23

非常详细的 Ceph 介绍、原理、架构

非常详细的Ceph介绍、原理、架构1.Ceph架构简介及使用场景介绍1.1Ceph简介Ceph是一个统一的分布式存储系统，设计初衷是提供较好的性能、可靠性和可扩展性。
大隐隐于野·2023-09-01 07:30

腾讯云-对象存储服务（COS）的使用总结-JavaScript篇

简介对象存储（CloudObjectStorage，COS）是腾讯云提供的一种存储海量文件的分布式存储服务，具有高扩展性、低成本、可靠安全等优点。
流子·2023-09-01 06:38

Minio分布式存储系统

Minio分布式存储系统Minio简介分布式系统高可用设计分布式设计数据保护高可用限制一致性安全Minio纠删码Minio如何使用纠删码Minio优点位衰减bitrot保护应用场景Minio简介Minio
m0_67403073·2023-08-31 19:32

Minio架构简介

是一个小而美的开源分布式存储软件。特点 简单、可靠：Minio采用简单可靠的集群方案，摒弃复杂的大规模的集群调度管理，减少风险与性能瓶颈，聚焦产品的核心功能，打造高可用的集
东风微鸣·2023-08-31 19:30

谈谈对OceanBase单机分布式一体化的思考

同时，他也主导了两次OceanBaseTPC-C测试并打破世界纪录，著有《大规模分布式存储系统：原理与实践》。
OceanBase数据库官方博客·2023-08-31 15:40
上一页 11 12 13 14 15 16 17 18 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他