E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
分布式存储系统
分布式存储Ceph RBD-Mirror 灾备实践
1.说明介绍继上次分享的《
分布式存储系统
Ceph架构及使用场景解析》和《分布式存储Ceph之PG状态详解》,这次分享《分布式存储Ceph块存储灾备方案》。
糖糖糖糖糖糖糖糖糖糖糖糖糖糖糖糖糖糖
·
2023-04-04 03:13
分布式文件与
分布式存储系统
学习总结(持续更新)
存储系统知识WriteAheadLog问题引入存储系统在运行过程中,每时每刻都在发生数据更新。如对文件数据的CRUD.对于中心控制节点来说,这些都会涉及到metadata的更新操作。为了保持元数据和文件数据的状态一致性,系统所有对数据的操作对应的元数据变更都应该要持久化到元数据db中。那假如这个metadatadb是在外存的,那么是否意味着高频的io操作?是否可以引入延时写入的方法?WriteAh
小凯Alex
·
2023-04-04 02:56
分布式系统
分布式存储
分布式存储
ElasticSearch让人叹为观止的分布式系统架构设计
这篇文章中,重点会讨论下分布式数据系统的设计,比如
分布式存储系统
,分布式搜索系统,分布式分析系统等。我们先来简单看下Elasticsearch的架构。
xhmj12
·
2023-04-03 19:22
分布式
大数据
hadoop
数据库
python
全闪分布式,如何深度性能POC?
全闪存储已经成为当前存储的新贵,从存储架构的演变角度,软件定义的
分布式存储系统
替代传统控制器架构的磁盘阵列已是大势所趋。
大道云行TaoCloud
·
2023-04-03 16:58
分布式
性能优化
科普|从硬件角度讲解——分布式存储是什么?
什么是
分布式存储系统
?分布式存储又称去中心化存储,要理解它,首先我们需要了解中心化存储。
「已注销」
·
2023-04-03 16:18
Ceph OSD简介
相较于其他
分布式存储系统
,效率更高。Ceph的核心功能包括高可靠、自
ZHANGJNWEI
·
2023-04-03 03:11
ceph
基于 Ceph 的 Kubernetes 数据持久化
Ceph是一个可扩展的
分布式存储系统
,性能卓越,安全可靠,面向对象、块与文件存储。Ceph是加州大学SantaCruz分校的SageWeil(DreamHost的联合创始人)
Docker_
·
2023-04-03 03:10
Hadoop HBase概念学习系列之什么是HBase? (一)
HBase–HadoopDatabase,是一个高可靠性、高性能、面向列、可伸缩的
分布式存储系统
,利用HBase技术可在廉价PCServer上搭建起大规模结构化存储集群。
weixin_33835103
·
2023-04-02 19:25
大数据
数据库
组件分享之后端组件——一个简单且高度可扩展的分布式文件系统seaweedfs
组件基本信息组件:seaweedfs开源协议:Apache-2.0License内容本节我们分享一个
分布式存储系统
seaweedfs,它是一个用于bl
CN華少
·
2023-04-02 08:16
组件分享之后端
分布式
java
数据库
大数据
hadoop
Hadoop - HDFS文件系统
3、
分布式存储系统
的核心属性及功能含义一、分布式存储的优点二、元数据记录的功能三、分块存储好处四、副本机制的作用4、HDFS简介HDFS适用场景5、HDFS主从架构分块存储副本机制元数据管理数据块存储6
Wangsh@
·
2023-04-02 03:54
大数据
hdfs
大数据
hadoop
强一致、高可用、高性能分布式Log存储系统的设计与实现
在
分布式存储系统
的设计研发和工程化实践方面,有较丰富经验。摘要:本次分享将从实战经验出发,详细介绍从0开始开发一个强
cuichun6294
·
2023-04-01 23:30
小滴课堂-项目大课学习笔记(2)海量数据存储-分布式文件存储系统
在不同的互联网公司中,会根据自己的需求来设置出合适自己的方案,而分布式系统底层起支撑作用就是
分布式存储系统
。分布式存储的四大特征扩展性:分布式
小滴课堂
·
2023-04-01 17:22
java
TiDB学习笔记(一)-PCTA
一、
分布式存储系统
TiDB使用LSMTree数据结构。
404Rapper..
·
2023-04-01 11:54
TiDB
数据库
dba
使用Rook+Ceph在Kubernetes上作持久存储
Ceph是一个
分布式存储系统
,提供对象、文件
王伯爵
·
2023-04-01 10:52
云原生存储
kubernetes
持久化
数据持久化
分布式数据库Hbase
HBase来源Hbase是BigTable的开源实现BigTable:
分布式存储系统
,最初是为了解决在大量数据下互联网的搜索问题特点:(1)架构在GFS上,使用GFS作为底层数据存储;(2)利用谷歌的MapReduce
雨漪人
·
2023-03-31 22:26
HBase
大数据技术
分布式数据库
HDFS原理与应用
其中Client端通过协议访问层与Server端通讯
分布式存储系统
有对象存储、文件存储、块存储和数据库HDFS功能特性:分布式:受GFS启发,用Ja
Popcorn丶30
·
2023-03-31 09:10
hadoop
hdfs
大数据
ceph简介
ceph是⼀种
分布式存储系统
,可以将多台服务器组成⼀个超⼤集群,把这些机器中的磁盘资源整合到⼀块⼉,形成⼀个⼤的资源池(⽀持PB级别,大厂用得多),然后按需分配给客户端应⽤使⽤。
唏噗
·
2023-03-30 19:44
笔记
后端
分布式
连你女朋友都能看懂的分布式架构原理!
一、从一个新闻门户网站案例引入现在很多同学经常会看到一些名词,比如分布式服务框架,分布式系统,
分布式存储系统
,分布式消息系统。但是有些经验尚浅的同学,可能都很容易被这些名词给搞晕。
石杉的架构笔记
·
2023-03-30 15:56
面试求职
分布式
Java
分布式
架构
数据库
Alluxio安装部署
简介Alluxio是世界上第一个虚拟的
分布式存储系统
,以内存速度统一了数据访问。它为计算框架和存储系统构建了桥梁,使应用程序能够通过一个公共接口连接到许多存储系统。
weixin_47924795
·
2023-03-30 14:20
大数据
hdfs
flink
hadoop
数据仓库
Alluxio-基于内存的虚拟
分布式存储系统
什么是AlluxioAlluxio是世界上第一个虚拟的
分布式存储系统
,它为计算框架和存储系统构建了桥梁,使计算框架能够通过一个公共接口连接到多个独立的存储系统,使计算与存储隔离。
机器爱上学习
·
2023-03-30 13:53
数据库
hadoop
服务器
alluxio
分布式内存文件系统
hadoop
hdfs
hive
你不知道的开源
分布式存储系统
Alluxio 源码完整解析(下篇)
在《Alluxio-源码简述-上》主要讲述了Alluxio本地环境搭建,源码项目结构,服务进程的启动流程和服务间RPC调用。本篇将在上篇的基础上,继续为大家讲述Alluxio中重点类详解,Alluxio中Block底层读写流程,AlluxioClient调用流程和Alluxo内置的轻量级调度框架。PARTONE重点类详述1.1.JournaledJournaled接口定义可被Journaled持久
腾源会
·
2023-03-30 13:09
hadoop
linux
java
大数据
数据库
Alluxio架构、场景与部分配置参数详解
Alluxio架构、场景与部分配置参数Alluxio:架构及数据流-简书(jianshu.com)Alluxio-基于内存的虚拟
分布式存储系统
_机器爱上学习的博客-CSDN博客_alluxio1架构1.1
气运联盟
·
2023-03-30 13:59
Alluxio
架构
big
data
云计算
HBase基本概念与基本使用
1.HBase简介1.1什么是HBaseHBASE是一个高可靠性、高性能、面向列、可伸缩的
分布式存储系统
,利用HBASE技术可在廉价PCServer上搭建起大规模结构化存储集群。
Swordfall
·
2023-03-30 10:13
大数据(一) - hadoop生态系统及版本演化
大数据系列文章汇总链接-更新到15篇HDFS:
分布式存储系统
(HadoopDistributedFileSystem):提供了高可靠性、高扩展性和高吞吐率的数据存储服务HDFS源自于Google的GFS
will的成长之路
·
2023-03-29 20:46
大数据
hadoop
生态系统
大数据
hbase架构详解
2、Hbase是一个高可用、高性能、面向列、可伸缩的
分布式存储系统
。
秃头小宝贝儿i
·
2023-03-29 08:40
flink
HDFS架构原理
HDFS架构1、设计思想hdfs是一个很好的
分布式存储系统
,解决了一个系统盘存储不了大量数据的问题,故使用多台机器的磁盘空间作为文件的存储系统,并将一个文件切分成多个块,将切分后的多个块分散存储在多台机器上
大数据fighting
·
2023-03-28 19:39
hadoop
hdfs
大数据
一个数据仓库时代开始--Hive
换句话说,Hive是一个数据仓库基础设施,便于查询和管理驻留在
分布式存储系统
中的大型数据集。它提供了一种类SQL的查询语言HiveQL(HiveQueryL
隐峯
·
2023-03-28 17:37
浅谈Linux内核IO体系之磁盘IO
基本所有的技术栈都需要与IO打交道,
分布式存储系统
更是如此。本文主要简单分析一下磁盘IO,看看一个IO请求从发起到完成到底经历了哪些流程。
爱健身的兔子
·
2023-03-25 01:39
分布式系统
目录
分布式存储系统
分布式计算系统分布式消息队列系统分布式机器学习系统分布式框架分布式数据库
分布式存储系统
分布式存储系统
分为两大类中心化控制架构(HDFS)和完全无中心架构(Ceph)。
骆驼整理说
·
2023-03-24 19:28
分布式微服务框架
hadoop
大数据
分布式
spark
天合翔宇荣获“2022 科技赋能 金融业数字化转型突出贡献奖”
27日,由中国人民银行主管的《金融电子化》杂志社主办的“2022中国金融科技年会暨第十三届金融科技应用创新奖颁奖典礼”成功在线上举办,会上揭晓了2022年金融科技应用创新奖,XSKY星辰天合“天合翔宇
分布式存储系统
XSKY星辰天合
·
2023-03-24 02:43
云计算
Redis(一)CAP+BASE、数据类型和常用关键字
CAP的理论就是说在
分布式存储系统
中,最多只能实现上面的两点。而由于在分布式的项目下,不同的服务器之间的网络
布莱斯Bryce
·
2023-03-23 20:37
Redis
分布式
redis
java
云原生
分布式存储系统
FastCFS 安装简明教程
上一篇文章我们对余老师开发的
分布式存储系统
FastCFS做了一个简单的介绍,具体看这个链接:https://www.jianshu.com/p/f09953393b1e今天我讲自己部署FastCFS集群并和
jerry的技术与思维
·
2023-03-16 04:49
BlockManager
架构简介BlockManager是一个嵌入在spark中的key-value型
分布式存储系统
,是为spark量身打造的,BlockManager在一个spark应用中作为一个本地缓存运行在所有的节点上,
搞什么呀
·
2023-03-15 13:30
分布式存储glusterfs
如谷歌的分布式文件系统GFS、分布式表格系统googleBigtable,亚马逊的对象存储AWS,阿里的TFS等都是很好的代表,同时也催生了一大批优秀的开源
分布式存储系统
,包括ceph、swift、Lustre
唯爱熊
·
2023-03-10 07:37
谷歌三大论文中文版之一:Bigtable:一个分布式的结构化数据存储系统
修正了alex翻译版的几个欠妥之处Bigtable:一个分布式的结构化数据存储系统摘要Bigtable是一个管理结构化数据的
分布式存储系统
,它被设计用来处理海量数据:分布在数千台通用服务器上的PB级的数据
shijinupc
·
2023-03-09 16:03
云计算
存储系统
服务器
存储
google
mapreduce
集群
详解一致性哈希算法
在单机系统中,所有的数据都存储在同一个服务器下,当数据量越来越多的时候,超过了单机存储容量的上限,就需要使用
分布式存储系统
,在
分布式存储系统
重,数据会被拆分到不同的存储服务下,减少单机服务的压力。
小码code
·
2023-03-09 11:44
哈希算法
算法
数据结构
【图文详解】HBase 的数据模型与架构原理详解
HBase的设计思想,来源于FayChang所撰写的Google论文“Bigtable:一个结构化数据的
分布式存储系统
”。HBase使用HadoopHDFS作为其
禅与计算机程序设计艺术
·
2023-02-18 11:16
十三天精通超大规模
分布式存储系统
架构设计——浅谈B站对象存储(BOSS)实现(下)
背景BLOB(binarylargeobject)存储,通常也被称为对象存储(OSS,objectstorageservice)。一般用来存储文件,如视频文件、音频文件等。目前,各个云计算厂商都对外提供对象存储服务,其中以亚马逊的S3系统最著名,S3系统也成为行业的事实标准。各个云计算厂商推出的对象存储服务,也纷纷兼容S3标准。B站由于其内容的独特性(视频网站),对象存储也有着非常多的需求。下面我
webxiaohua
·
2023-02-17 00:03
Geo-replication: 从 Copysets 到 Tiered Replication
对于
分布式存储系统
,我们都会使用多副本的机制来保证数据的安全性。譬如对于TiKV来说,我们默认会使用3个副本,如果需要更高等级的安全性,譬如在银行领域,我们则会使用5个副本。
siddontang
·
2023-02-06 22:48
架构师训练营第6周作业
参考《海量
分布式存储系统
Doris的高可用架构设计分析.pdf》1.请简述CAP原理。
丿追灬
·
2023-02-06 17:56
Hbase工具介绍,安装,使用
1、HBase简介HBase是一个高可靠性、高性能、面向列、可伸缩的
分布式存储系统
,利用HBase技术可在廉价PCServer上搭建大规模结构化的存储集群。
longlong1
·
2023-02-06 03:42
原创保护伞,区块链+版权会带来哪些改变?
白皮书显示,版权内容信息将存储于百度
分布式存储系统
中,图腾的内容版权链将登记确权、维权线索、交易信息等存储在版权链上。图腾被内部人士称为区块链的“集团先锋”,并且“绝对不会是唯一
情已殤
·
2023-02-05 03:43
读书笔记——大数据浪潮
可访问性公有云,私有云,混合云云计算改变了IT架构,大数据影响业务决策,影响在业务层数据中心零拷贝技术硬件基础架构必须具备伸缩性和动态重新配置功能,以针对不同的应用环境存储系统应尽可能具备更多的接口功能
分布式存储系统
八月秋风早
·
2023-02-04 23:31
云计算期末考试知识点
答:Google云计算技术包括:Goge分布式文件系统GFS,分布式计算编程模型MapReduce,分布式锁服务Chubby,分布式结构化数据表Bigtable,
分布式存储系统
Megastore,分布式监控系统
Suzie_Xie
·
2023-02-04 19:10
读书笔记
一文章讲透分布式存储
为了简化用户端的使用,提供了一个分布式缓存系统来提供对此
分布式存储系统
的访问接口以及本地数据缓冲以降低网络压力。分布式存储简介
分布式存储系统
,是将数据分散存储在多台独立的设备上。
进击的程序猿呀
·
2023-02-04 05:26
网易数帆开源
分布式存储系统
Curve
作者|陈利鑫头图|CSDN下载自东方IC出品|CSDN(ID:CSDNnews)也许是厂家+“云”的后缀会让人产生这些厂商都是竞争关系的错觉,网易云最近宣布品牌全面升级为网易数帆。当然背后的真正原因,正如网易副总裁、网易杭州研究院执行院长兼网易数帆总经理汪源所说,还是在这个时刻,网易数帆积攒的基础软件能力,需要一次汇聚式的释放。他介绍到,品牌升级后,网易数帆下包含了四大模块:第一,云原生软件生产力
weixin_39690105
·
2023-02-03 14:05
四大开源分布式存储
网易数帆开源
分布式存储系统
Curve
作者|陈利鑫头图|CSDN下载自东方IC出品|CSDN(ID:CSDNnews)也许是厂家+“云”的后缀会让人产生这些厂商都是竞争关系的错觉,网易云最近宣布品牌全面升级为网易数帆。当然背后的真正原因,正如网易副总裁、网易杭州研究院执行院长兼网易数帆总经理汪源所说,还是在这个时刻,网易数帆积攒的基础软件能力,需要一次汇聚式的释放。他介绍到,品牌升级后,网易数帆下包含了四大模块:第一,云原生软件生产力
CrisAppleYan
·
2023-02-03 14:27
网易
数据库
分布式
大数据
编程语言
大数据入门知识总结
大数据入门知识总结一、大数据部门及流程二、数据仓库1、数据仓库的基本概念2、数据仓库的主要特征3、数据仓库与数据库区别5、数据仓库——ETL三、Hadoop——HDFS
分布式存储系统
1、Hadoop简介
长不大的大灰狼
·
2023-02-02 14:25
大数据
数据仓库
大数据
hadoop
数据库
k8s挂载使用ceph集群
我们都知道ceph集群是一个开源的
分布式存储系统
,支持对象存储,块存储,文件系统。本篇文章就是要讲解下k8s下如何挂载使用ceph的块存储系统。
Mr.Lilh
·
2023-02-01 12:50
ceph
docker
linux
kubernetes
云原生
从全链路优化设计单机存储引擎
另一方面,最近几年出现了非常多基于rocksdb构建的
分布式存储系统
,但在一些功能的衔接
bloody
·
2023-02-01 09:58
上一页
2
3
4
5
6
7
8
9
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他