E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
分布式存储系统
Hbase 是什么?
基于FayChang所撰写的Google论文“Bigtable:一个结构化数据结构的
分布式存储系统
”Hbase在hadoop之上提供了类似于Bigtable的能力。
数据僧
·
2021-02-20 03:10
DCache
分布式存储系统
|Key-Value 缓存模块的创建与使用
作者|Eaton导语|随着微服务与云的发展,分布式架构的需求变得越来越普遍,传统的SQL结构化存储方案已经跟不上脚步,于是NoSQL出现了。DCache作为基于TARS的分布式NoSQL缓存系统,完美支持TARS服务。在前一篇文章中,我们介绍了DCache的特性、如何在TARS上部署DCache并创建一个应用TestDemo。本文将继续介绍如何创建和使用DCache中的KV缓存模块。系列文章DCa
·
2021-02-03 15:02
CAP理论是皇帝的新装
1.pngCAP是由Brewer在90年代提出,其核心内容是:在一个
分布式存储系统
里,无法同时保证一致性、可用性、分区容忍性,只能三选二。不论面试官、还是研发人员,聊到分布式,必谈CAP理论。
志哥666
·
2021-01-25 10:44
看了 Google 大牛 Jeff Dean 的传说,我拜服了~
主要成就:MapReduce一个大规模数据处理系统BigTable一个结构化数据的
分布式存储系统
Spanner一个全球性的数据库系统参与谷歌的网络爬虫、索引、查询系统、AdSense、谷歌翻译的设计与实现
·
2021-01-24 11:40
java
DCache
分布式存储系统
|安装部署与应用创建
作者|Eaton导语|随着微服务与云的发展,分布式架构的需求变得越来越普遍,Web上的数据类型不再单一,数据量呈爆发式增长。传统的SQL结构化存储方案已经跟不上脚步,NoSQL便出现了。DCache作为基于TARS的分布式NoSQL缓存系统,完美支持TARS服务,能够方便地在TARS服务中使用,本系列文章将着重介绍DCache的安装与使用。那么如何拥有这套系统呢?本文将对DCache的安装和应用创
·
2021-01-22 20:44
Linux部署IPFS(
分布式存储系统
)私有网络
Linux部署IPFS(
分布式存储系统
)私有网络简介:星际文件系统是一个旨在创建持久且分布式存储和共享文件的网络传输协议。它是一种内容可寻址的对等超媒体分发协议。
灬倪先森_
·
2021-01-22 18:30
Linux的应用与维护
IPFS(星际文件系统)
linux
IPFS
分布式存储
区块链
Hadoop学习 (MapReduce 过程详解及其性能优化
Hadoop核心-MapReduce首先让我们来重温一下hadoop的四大组件:HDFS:
分布式存储系统
MapReduce:分布式计算系统YARN:hadoop的资源调度系统Com
Java.慈祥
·
2021-01-03 11:25
大数据
编程语言
hadoop
mapreduce
java
Spark的
分布式存储系统
BlockManager全解析
摘要:BlockManager是spark中至关重要的一个组件,在spark的运行过程中到处都有BlockManager的身影,只有搞清楚BlockManager的原理和机制,你才能更加深入的理解spark。§BlockManager是什么?BlockManager的作用?我理解是负责做RDD的存储,如何存下来给后续任务去使用。其内部模块图如下:图中看到有个memoryStore和DiskStor
华为云开发者社区
·
2020-12-21 17:58
spark
分布式
存储过程
Spark的
分布式存储系统
BlockManager全解析
摘要:BlockManager是spark中至关重要的一个组件,在spark的运行过程中到处都有BlockManager的身影,只有搞清楚BlockManager的原理和机制,你才能更加深入的理解spark。§BlockManager是什么?BlockManager的作用?我理解是负责做RDD的存储,如何存下来给后续任务去使用。其内部模块图如下:图中看到有个memoryStore和DiskStor
华为云开发者社区
·
2020-12-21 17:57
spark
分布式
存储过程
图文存储常识:单机、集中、分布式、云、云原生存储
背景本文主要对杨传辉(日照)《大规模
分布式存储系统
原理解析与架构实战》、大话存储、网络资源(具体参考文末链接)及个人理解进行整理,意在构建出存储发展基本轨迹和一些基本常识,让更多像我一样的初入者有个宏观上的认知
阿里云云栖号
·
2020-12-21 11:18
safari
【网易C计划重磅启动】参与开源分布式存储Curve,抢校招offer!
前言网易高性能
分布式存储系统
Curve已在github开源,开源以来受到了业界的广泛关注,现招募在校学生贡献者加入我们的开发。Who?任何对
分布式存储系统
,Curve感兴趣的在校生,不限年级不限专业。
NetEaseResearch
·
2020-12-21 09:36
Curve
开源
分布式存储
Curve
网易
hbase删除一行中的一列_hbase 删除一行数据库
数据库必知词汇:HBaseHBase是一个分布式的、面向列的开源数据库,也是高可靠性、高性能、面向列、可伸缩的
分布式存储系统
,该技术来源于FayChang所撰写的Google论文“Bigtable:一个结构化数据的
分布式存储系统
weixin_39607710
·
2020-12-18 23:59
hbase删除一行中的一列
开源分布式存储Curve ChunkServer CPU优化实践
CurveChunkServer的CPU瓶颈问题Curve是网易数帆开源的新一代
分布式存储系统
,具有高性能、高可用、高可靠的特点,可作为多种存储场景的底层存储,包括块存储、对象存储、云原生数据库、EC等
NetEaseResearch
·
2020-12-15 09:53
Curve
分布式存储
Curve
性能优化
开源
网易
《大规模
分布式存储系统
:原理解析与架构实战》.pdf
关注“Java后端技术全栈”回复“面试”获取全套面试资料
分布式存储系统
,将数据分散存储在多台独立的设备上。
田维常
·
2020-12-13 16:36
分布式
架构
HBase学习
HBase是一个高可靠性、高性能、面向列、可伸缩的
分布式存储系统
。
Z2Min_
·
2020-11-27 17:02
hbase-client
Raft算法在Curve中的实践
Curve作为高性能、高可用、高可靠的新一代
分布式存储系统
,对于多副本数据同步,负载均衡,容灾恢复方面都有较高的要求。
NetEaseResearch
·
2020-11-23 20:55
Curve
分布式
分布式存储
raft算法
分布式存储高可用方案探究
但此时会出现一些问题:客户端写入数据成功,系统各内节点的数据是否也都写入成功如果系统内一个节点挂掉,系统是否仍旧可用如果系统内由于网络故障发生分区,系统是否仍旧可用这些问题是多节点的
分布式存储系统
必须面对并解决的问题
吃水果毫不费力zz
·
2020-11-22 18:05
分布式系统
高可用
Curve技术解析之MDS元数据管理
curve简介curve是今年7月份开源的一个⾼性能、⾼可⽤、⾼可靠的
分布式存储系统
,主打⾼性能、低延迟。Curve设计可以作为多种存储场景的底层存储:例如块存储,对象存储,云原⽣数据库,EC等。
NetEaseResearch
·
2020-11-18 20:03
Curve
分布式存储
Ozone ReplicationManager工作原理
此类服务在
分布式存储系统
中扮演的功能为定期检查系统内所有数据的副本情况,并进行必要的修复工作或者其它类似操作。本文笔者来聊聊Ozo
Android路上的人
·
2020-11-18 00:10
Ozone
Ozone
RM
HBase学习(一)——入门
特性HBase是一个高可靠性、高性能、面向列、可伸缩的
分布式存储系统
,基于Hadoop,建立在HDFS上。
大数据阶梯之路
·
2020-11-05 20:26
Hbase表结构与常用操作命令
概念:HBase是一个分布式的、面向列的开源数据库,该技术来源于FayChang所撰写的Google论文“Bigtable:一个结构化数据的
分布式存储系统
”。就像Bigtable利用
顾辞嘤嘤怪
·
2020-11-04 11:28
大数据框架
大数据
hbase
【系列公开课】Curve核心团队深度解读:如何打造新一代超高性能
分布式存储系统
7月16日,网易数帆宣布开源性能1.84倍于Ceph的新一代高性能
分布式存储系统
Curve,3个多月低调开发时间过去之后,Curve项目又成熟了不少。那么,Curve又有哪些新的技术进展?
NetEaseResearch
·
2020-10-28 17:58
Curve
分布式存储
分布式
运维
Ceph分布式存储系列(一):Ceph工作原理及架构浅析梳理
一、Ceph简介众所周知,ceph是一种
分布式存储系统
,是有着“ceph之父”之称的SageWeil读博期间的研究课题,项目诞生于2004年,在2006年基于开源协议开源了Ceph的源代码,在经过了数年的发展之后
Echo&.
·
2020-10-15 17:01
Ceph
ceph
分布式存储
Etcd
分布式存储系统
应用场景与工作原理
1.ETCD是什么ETCD是用于共享配置和服务发现的分布式,一致性的KV存储系统。该项目目前最新稳定版本为2.3.0.具体信息请参考[项目首页]和[Github]。ETCD是CoreOS公司发起的一个开源项目,授权协议为Apache。提供配置共享和服务发现的系统比较多,其中最为大家熟知的是[Zookeeper](后文简称ZK),而ETCD可以算得上是后起之秀了。在项目实现,一致性协议易理解性,运维
韩先超
·
2020-10-15 07:00
运维
大数据
分布式
编程语言
python
Apache HBase Day1
ApacheHBase介绍HBase是一个分布式的、面向列的开源数据库,该技术来源于FayChang所撰写的Google论文“Bigtable:一个结构化数据的
分布式存储系统
”。
caijq_newid
·
2020-10-09 19:00
Apache
Hadoop
hbase
NSPCC宣布NEO
分布式存储系统
即将发布
11月30日,在俄罗斯圣彼得堡举办的Meetup上NEOStPetersburgCompetenceCenter(NSPCC)正式宣布成立,并透露了即将上线的分布式文件存储系统的相关细节。NSPCC是一个研发机构,旨在为NEO核心生态及更广阔的生态系统提供支持,该机构已获得俄罗斯区块链和加密协会(RACIB)的支持。NSPCC的成立得益于与NEO开发者社区CoZ联合创始人FabianWahle(N
NEO持有者
·
2020-10-09 16:56
To B 周周侃 | 阿里“云钉一体”战略落地;明源云在港交所上市
01巨头动态腾讯云主导的新一代
分布式存储系统
Ozone1.0.0在ApacheHadoop社区发布9月24日消息,腾讯云主导的新一代
分布式存储系统
Ozone1.0.0在ApacheHadoop社区正式发布
牛透社
·
2020-09-28 00:00
容器云平台No.6~企业级分布式存储Ceph
简介ceph作为一个统一的
分布式存储系统
,提供了高性能,高可用性,高扩展性。ceph的统一体现在其可以提供文件系统、块存储、对象存储,在云环境中,通常采用ceph作为后端存储来保证数据的高可用性。
scofieldDD
·
2020-09-22 13:33
ceph
kubernetes
docker
CloudNative
浅析
分布式存储系统
的架构之二
上一篇文章,我们罗列了传统的存储系纺的架构,为了解决数据量大的问题,进行系统拆分而引来的一系列问题,以及如何解决这些问题。新架构上文已说新架构主要分为:客户端masterservertrunkserver三部分,那么我们在些总结一下,由于系统进行拆分引入了一些问题,对于这些问题的在新架构中是如何解决如何归类,并进行系统化的。trunkserver,即真实存储业务数据的服务器。它与传统存储数据的se
zhurhyme
·
2020-09-17 08:04
大数据
浅谈大型web系统架构
动态应用系统通常与数据库系统、缓存系统、
分布式存储系统
等密不可分。大型动态应用系统平台主要是针对于大流量、高并发网站建立的底层系统架构。
weixin_33736832
·
2020-09-16 21:30
系统架构
数据库
前端
cassandra使用与介绍
1.cassandra简介Cassandra是一个高可靠的大规模
分布式存储系统
。
liu---shui
·
2020-09-16 18:17
cassandra
企业打开云HBase的正确方式,来自阿里云云数据库团队的解读
原文链接:点击打开链接摘要:一、HBase的历史由来HBase是一个开源的非关系型分布式数据库(NoSQL),基于谷歌的BigTable建模,是一个高可靠性、高性能、高伸缩的
分布式存储系统
,使用HBase
qq_42154484
·
2020-09-16 17:35
B站疯传!堪称最强!一整套架构实战资料,白拿不谢!
视频目录01-大规模
分布式存储系统
概述02-大规模高性能分布式存储之存储原理与设计03-
分布式存储系统
分析对比04-大规模高性能
分布式存储系统
之一致性篇05-大规模高性能
分布式存储系统
之高可用高可靠篇(
业余草
·
2020-09-16 17:30
分布式
数据库
mysql
java
编程语言
Redis 底层数据结构
1、概述相信使用过Redis的各位同学都很清楚,Redis是一个基于键值对(key-value)的
分布式存储系统
,与Memcached类似,却优于Memcached的一个高性能的key-value数据库
小齐哥博客
·
2020-09-16 13:16
Redis
Redis
底层数据结构
带着问题学习分布式系统之数据分片
在前文中,提出了分布式系统(尤其是
分布式存储系统
)需要解决的两个最主要的问题,即数据分片和数据冗余,下面这个图片(来源)形象生动的解释了其概念和区别:其中数据即A、B属于数据分片,原始数据被拆分成两个正交子集分布在两个节点上
weixin_34023982
·
2020-09-16 04:59
分布式文件系统(GFS和HDFS)概述
目录背景意义分布式存储相关概念
分布式存储系统
的分类复制副本CAP理论一致性GFS架构租约(lease)和变更顺序容错机制前言因为我研一下学期有一门分布式的课,老师要求我们选择一个课题做汇报,有GFS、Hadoop
Tyler_Zx
·
2020-09-16 03:07
分布式/大数据
分布式文件系统
GFS
HDFS
GFS一致性总结
一致性背景
分布式存储系统
中,不管是文件系统还是数据库,只要数据存在多个副本,都涉及一致性问题。其中一致性包括内部一致性和副本一致性,内部一致性即单机版数据库中的数据满足一定的约束条件。
铁头乔
·
2020-09-16 03:32
系统一致性
HDFS-硬盘文件分布式公链骤然崛起你知道吗?
分布式存储的兴起与互联网的发展密不可分,互联网公司由于其数据量大而资本积累少,而通常都使用大规模
分布式存储系统
。现阶段互联网技术以及硬件的发展,分布式系统的出现、演变一直未曾止步。
A小美
·
2020-09-16 01:23
HDFS常见功能及应用场景介绍
HDFS常见功能及应用场景介绍分布式存储的兴起与互联网的发展密不可分,互联网公司由于其大数据、轻资产的特点,通常使用大规模
分布式存储系统
。
A小美
·
2020-09-16 01:23
HDFS主要解决什么问题,与IPFS有什么不同?
分布式存储的兴起与互联网的发展密不可分,互联网公司由于其大数据、轻资产的特点,通常使用大规模
分布式存储系统
。
A小美
·
2020-09-16 01:17
分步式文件存储系统技术及实现
讲师介绍姚文辉,2009年加入阿里巴巴,从事阿里巴巴自主研发的云计算平台—飞天分布式操作系统中的
分布式存储系统
—盘古
weixin_34391445
·
2020-09-15 06:41
操作系统
Openstack 对象存储服务之争:Ceph或者Swift
CephCeph是一个基于伪随机算法的强一致性
分布式存储系统
,它主要提供块服务,能很好的支持顺序IO和随机IO。除了用作cinder后端给虚拟机提供卷服务,同时也可以作为glan
华为cloudos
·
2020-09-14 20:06
openstack
⑨ OpenStack高可用集群部署方案(train版)—CentOS8安装与配置Ceph集群
安装与配置CephOctopus版1.Ceph介绍https://www.cnblogs.com/kevingrace/p/8387999.html1.1为什么要用CephCeph是当前非常流行的开源
分布式存储系统
Linux丶晨星
·
2020-09-14 15:52
CAP定理
在这里,不打算提及目前火热的Cassandra、Voldemort等
分布式存储系统
,
iteye_5578
·
2020-09-14 12:20
分布式存储系统
设计的若干问题(二)
问题5:快照实现方案一个现代的存储系统,快照已经成为了必选项。快照除了直接用于保存系统的中间状态(比如VM的中间状态),还是其他功能包括克隆,备份,容灾功能的基础。快照就是的功能就是给存储拍一个照片,记住某个时刻的数据内容以备随时提取和回退。后面无论对数据再做读写操作,快照的内容总是保持不变。从这个原理上讲,如果在用户发出做快照命令时,迅速把某个volume的数据复制一份,这就是做了快照了,这个基
winux
·
2020-09-14 05:24
存储技术
分布式存储
分布式
分布式存储系统
设计的若干问题(一)
本文要讨论的
分布式存储系统
是指狭义存储系统,即提供块存储,文件存储和对象存储的分布式系统。进一步对分布式的限定,我们这里讨论的是部署在同一个机房内的,由商用服务器构成的
分布式存储系统
。
winux
·
2020-09-14 05:24
分布式
存储技术
分布式
大数据
分布式存储
HBase数据库安装配置
HBase简介HBase是一个分布式的、面向列的开源数据库,该技术来源于FayChang所撰写的Google论文“Bigtable:一个结构化数据的
分布式存储系统
”。
墨染烟华
·
2020-09-14 01:48
Alluxio介绍与作用
一、介绍AlluxioTachyon正式改名为alluxio,并发布v1.0.0版本,alluxio是内存高速虚拟
分布式存储系统
。
twj0823
·
2020-09-13 19:43
Java架构师 学习大纲
如果一定要给近些年的分布式系统研究做一个分类的话,我个人认为大概可以包括三大部分:
分布式存储系统
分布式计算系统分布式管理
峥嵘37
·
2020-09-13 05:59
Java
互联网
架构师
Java
后端
巨杉Tech | Hbase迁移至SequoiaDB 实战
HBase是一个高可靠性、高性能、面向列、可伸缩的
分布式存储系统
,善于处理大数据场景,具备
SequoiaDB_Official
·
2020-09-13 01:38
SequoiaDB巨杉数据库
入门
教程
上一页
6
7
8
9
10
11
12
13
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他