E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
分布式存储系统
正舵者科技Filecoin太空竞赛战报
正舵者是一家领先的区块链分布式存储技术和硬件创新型高科技公司,基于下一代互联网点对点传输协议IPFS构建
分布式存储系统
,结合软硬件制定完整的分布式存储服务解决方案,为边缘存储、边缘计算、人工智能、大数据等领域打造数据存储基石
链报
·
2020-09-13 00:36
正舵者太空竞赛奖励位居亚洲第一
正舵者是一家领先的区块链分布式存储技术和硬件创新型高科技公司,基于下一代互联网点对点传输协议IPFS构建
分布式存储系统
,结合软硬件制定完整的分布式存储服务解决方案,为边缘存储、边缘计
链报
·
2020-09-13 00:36
开源IndexR:如何对上千亿的数据进行秒级探索式分析
目前,行业中的大数据分析架构一般使用基于Hadoop体系的分布式计算引擎+
分布式存储系统
架构(如下图)。Hadoop体系的架构特点是上层解决计算问题,下层解决存储问题。
新之
·
2020-09-12 21:53
hadoop生态体系
浅谈大型网站动态应用系统架构(转)
动态应用系统通常与数据库系统、缓存系统、
分布式存储系统
等密不可分。大型动态应用系统平台主要是针对于大流量、高并发网站建立的底层系统架构。
cowge
·
2020-09-12 15:08
IT行业
分布式存储系统
Minio简介
区别于
分布式存储系统
,minio的特色在于简单、轻量级,对开发者友好,认为存储应该是一个开发问题而不是一个运维问题。存储架构Minio针对
秦岭熊猫
·
2020-09-12 07:55
大数据
分布式存储系统
MinIO
1.背景简介按照开发需求,亟需合适的文件系统对图片、点云(3dtile文件)等进行有效管理。满足以下要求:1)能实现分布式部署且方便进行拓展。2)可以做负载均衡处理。3)能够实现快速查询及存储。4)图片量级非常大且大小为4MB左右。5)能够存储目录结构文件,比如:3dtile。经过调研,目前MinIO能够满足我们的需求,下面为MinIO的相关概念。2.适用范围3.术语定义无4.参考文档无5.Min
yuezheyue123
·
2020-09-12 05:05
高精地图
消息队列-ZeroMQ的安装以及使用
当时为了做一些有关分布式应用使用的一段时间,ZeroMQ给我的感觉就是这个库在搭建一些基于消息的分布式架构很实用,它的最大的特点就是只需要使用几个函数调用,就能够实现一个简单的分布式系统,我当时实现了一个简单的
分布式存储系统
zmyer
·
2020-09-11 23:12
分布式消息队列
安装配置MySql+DRBD+Corosync+pacemaker高可用集群
DRBD的英文全称为:DistributedReplicatedBlockDevice(分布式块设备复制),是Linux内核存储层中的一个
分布式存储系统
,可利用DRBD在两台Linux服务器之间共享块设备
weixin_34342905
·
2020-09-11 17:51
ceph基础知识
Ceph基础知识和基础架构认识1Ceph基础介绍Ceph是一个可靠地、自动重均衡、自动恢复的
分布式存储系统
,根据场景划分可以将Ceph分为三大块,分别是对象存储、块设备存储和文件系统服务。
沐阳zz
·
2020-09-11 09:16
存储
万达集团李明昊:地域分布式系统设计与实践
之前曾在百度,360等公司参与设计研发过多个海量数据
分布式存储系统
,包括百度公有云服务的底层
分布式存储系统
MolaDB,360云盘的底层
分布式存储系统
Bada等。摘要:本次分享,深入剖析了主流的一
cuichensui1506
·
2020-09-11 08:27
HBase技术介绍
://www.searchtb.com/2011/01/understanding-hbase.htmlHBase简介HBase–HadoopDatabase,是一个高可靠性、高性能、面向列、可伸缩的
分布式存储系统
xiaobians
·
2020-09-11 06:58
Hadoop
Ceph介绍、原理、架构
1.1Ceph简介Ceph是一个统一的
分布式存储系统
,设计初衷是提供较好的性能、可靠性和可扩展性。Ceph项目最早起源于Sage就读博士期间的工作(最早的成果于2004年发表),并随后贡献给开源社区。
生于海平
·
2020-09-11 05:50
Spark SQL和Hive使用场景?
一个建立在
分布式存储系统
(这里指HDFS)上的SQL引擎。为什么要有Hive呢?因为有了Hadoop后,大家发现存储和计算都有了,但是用起来很困难。
u013063153
·
2020-09-11 04:18
Spark
Hive
HDFS
分布式存储系统
笔记整理
HDFS
分布式存储系统
笔记整理HDFS(HadoopDistributedFileSystem)是Hadoop项目的核心子项目,是分布式计算中数据存储管理的基础,是基于流数据模式访问和处理超大文件的需求而开发的
ZZJ_
·
2020-09-11 03:35
大数据笔记整理
分布式存储系统
sheepdog
Sheepdog,是由NTT的3名日本研究员开发的开源项目,主要用来为虚拟机提供块设备。其架构如下:下面,我们将从架构、模块等几个方面来介绍下:一、架构图如上图:采用无中心节点的全对称架构,无单点故障,存储容量和性能可线性扩展;新增节点通过简单配置可自动加入(IP:PORT),数据自动实现负载均衡;节点故障时,数据可自动恢复;直接支持QEMU/KVM应用;二、模块如上图:由corosync,完成集
bourne1209
·
2020-09-11 01:52
Linux
存储基础
Sheepdog
术语解释 -ceph、Spice、VNC、Quorum机制
1存储相关概念1.1ceph概念ceph是基于C++语言开发的统一的
分布式存储系统
。
garagong
·
2020-09-11 01:30
HBase系列(一)、数据模型
目录简介设计模型逻辑结构物理结构简介HBase是一个高可靠性、高性能、面向列、可伸缩的
分布式存储系统
,利用HBase可在廉价服务器上搭建起大规模结构化存储集群。
王义凯_Rick
·
2020-09-10 21:25
#
HBase
基于HBase的大数据存储的应用场景分析
引言HBase是一个高可靠性、高性能、面向列、可伸缩的
分布式存储系统
,适用于结构化的存储,底层依赖于Hadoop的HDFS,利用HBase技术可在廉价PCServer上搭建起大规模结构化存储集群。
weixin_33719619
·
2020-09-10 19:37
大数据
数据库
设计模式
滴滴Ceph
分布式存储系统
优化之锁优化
桔妹导读:Ceph是国际知名的开源
分布式存储系统
,在工业界和学术界都有着重要的影响。Ceph的架构和算法设计发表在国际系统领域顶级会议OSDI、SOSP、SC等上。
滴滴技术
·
2020-08-28 18:23
队列
分布式
java
多线程
redis
Hbase架构与工作原理
HBase工作原理学习HBase是一个高可靠性、高性能、面向列、可伸缩的
分布式存储系统
,利用HBase技术可在廉价PCServer上搭建大规模结构化的存储集群。
Jasontao24
·
2020-08-26 09:21
大数据
分布式存储(ceph)技能图谱(持续更新)
这里对
分布式存储系统
接触较多的是ceph,所以在
分布式存储系统
分支上偏向ceph的学习。
v-code
·
2020-08-25 16:31
#
思维导图
分布式存储:ceph技能树
#
linux操作系统:io系统
百度推荐与个性化部-架构组二面
全部问的项目经验,只问了两个基础知识,TCP连接过程和进程和线程的区别.而我的项目...那哪叫项目啊,我简历上写的是个人作品,因为我觉得它真的不是什么项目,然后对面让我先说一下最有的说的介绍一下,我把去年做的
分布式存储系统
讲了一下
ustcqi
·
2020-08-25 08:04
Interview
分布式存储系统
(问题, 概念, 及领域语言)面试必考点
定义
分布式存储系统
是大量普通PC服务器通过Internet互联,对外作为一个整体提供存储服务分类非结构化数据,一般的文档结构化数据,存储在关系数据库中半结构化数据,HTML文档不同的
分布式存储系统
适合处理不同类型的数据
qq_41534566
·
2020-08-25 07:55
架构
面试
百度开放云王耀:设计
分布式存储系统
不宜过早优化
百度基础架构部架构师、百度开放云非结构化存储技术负责人王耀嘉宾:王耀,百度基础架构部架构师、百度开放云非结构化存储技术负责人。2010年加入百度,先后做过搜索、消息队列、文件系统、块存储以及对象存储等相关技术的工作,现在专注于百度开放云非结构化存储的研究,也对网络安全、性能优化等感兴趣。5月13日-15日,由全球最大中文IT社区CSDN主办的“2016中国云计算技术大会”(CloudComputi
周建丁
·
2020-08-25 07:33
HBase简介与基本原理
一,HBase简介HBase是一个分布式的、面向列的开源数据库,该技术来源于FayChang所撰写的Google论文“Bigtable:一个结构化数据的
分布式存储系统
”。
AA赵师傅
·
2020-08-24 18:51
HBase
HBase详解:HBase体系结构
1.HBase简介HBase–HadoopDatabase,是一个高可靠性、高性能、面向列、可伸缩的
分布式存储系统
,利用HBase技术可在廉价PCServer上搭建起大规模结构化存储集群。
xiaoqixiaodong
·
2020-08-24 18:59
hbase
Centos7下安装Hbase伪分布式图文详解
HBase,是一个高可靠性、高性能、面向列、可伸缩的
分布式存储系统
,利用HBase技术可在廉价PCServer上搭建起大规模结构化存储集群。
缄默.ńī給の傷
·
2020-08-24 17:47
HBase入门教程
2019独角兽企业重金招聘Python工程师标准>>>课程介绍HBase是一个分布式的、面向列的开源数据库,该技术来源于FayChang所撰写的Google论文“Bigtable:一个结构化数据的
分布式存储系统
weixin_33920401
·
2020-08-24 17:35
大数据
数据库
python
Hbase架构与原理
Hbase架构与原理HBase是一个分布式的、面向列的开源数据库,该技术来源于FayChang所撰写的Google论文“Bigtable:一个结构化数据的
分布式存储系统
”。
weixin_30606669
·
2020-08-24 17:06
HBase简述
简介HBase(HadoopDatabase)是一个多版本,高可靠性、高性能、面向列、可伸缩的
分布式存储系统
,利用HBase技术可在廉价PCServer上搭建起大规模结构化存储集群。
李国冬
·
2020-08-24 16:46
HBase
暴走HBase
第四章-分布式数据库HBase
数据模型数据模型概念概念视图物理视图面向列的存储HBase实现原理HBase功能组件表和RegionRegion的定位HBase运行机制HBase系统架构Region工作原理HBase简介BigTable是一个
分布式存储系统
风云诀4
·
2020-08-24 15:15
#
大数据原理与应用
【HBase】知识小结+HMaster选举、故障恢复、读写流程
1:什么是HBaseHBase是一个高可靠性,高性能,面向列,可伸缩的分布式数据库,提供海量数据存储功能,一个结构化的
分布式存储系统
,不同于一般的关系型数据库,它适合半结构化和非结构化数据存储。
BIG*BOSS
·
2020-08-24 15:10
HBase
分布式存储系统
——HBase
HBase-HadoopDatabase,是一个高可靠性、高性能、面向列、可伸缩的
分布式存储系统
,利用HBase技术可在廉价PCServer上搭建起大规模结构化存储集群。
kiss火葱花
·
2020-08-24 15:39
大数据
使用Rook+Ceph在Kubernetes上作持久存储
Ceph是一个
分布式存储系统
,提供对象、文件
Donald
·
2020-08-24 14:32
k8s
kubernetes
container
install
ceph
HBase底层框架.原理.数据存储
--HBase技术介绍HBase简介HBase–HadoopDatabase,是一个高可靠性、高性能、面向列、可伸缩的
分布式存储系统
,利用HBase技术可在廉价PCServer上搭建起大规模结构化存储集群
lllW_Wlll
·
2020-08-24 14:44
批量选举的递归实现
背景:
分布式存储系统
里,文件是分块存储的,如果每个文件块是1M,那么1G的文件就会有1024个文件块。系统需要为每个文件块分配合适的存储节点,这个过程我们称为选举。
gufeiy1
·
2020-08-24 14:40
程序设计
HBase的原理及设计
HBase是一个开源的非关系型的高可靠、高性能、面向列、可伸缩的
分布式存储系统
。它使用ZooKeeper集群来管理,基于HDFS存储海量数据。
gjwcsdn
·
2020-08-24 14:03
分布式存储系统
可靠性系列三:设计模式
本文来自网易云社区作者:孙建良从上文
分布式存储系统
可靠性-系统估算示例中详细分析了系统可靠性量化的估算手段,并且给出了示例代码,代码的主要输入参数为如下所示。
yijian2595
·
2020-08-24 13:23
知乎 HBase 实践
HBase是一个基于Hadoop面向列的非关系型分布式数据库(NoSQL),设计概念来源于谷歌的BigTable模型,面向实时读写、随机访问大规模数据集的场景,是一个高可靠性、高性能、高伸缩的
分布式存储系统
Docker_
·
2020-08-24 13:20
分布式
说明:分布式系统中包含了:分布式文件系统、
分布式存储系统
。。CAP理论:一个分布式系统不可能同时满足一致性,可用性和分区容错性这三个基本的要求,最多只能同时满足其中的两项。
A__17
·
2020-08-24 12:04
分布式
分享Windows服务器网站文件同步备份解决方案之cwRsyn进行文件同步
对于有着巨量上传文件的大型网站,一般采用
分布式存储系统
。而对于上传文件量不是很大的网站,只要在另外一台服务器上保存上传文件的同步备份,避免单点故障,就可以满足需求。
zyx_19841210
·
2020-08-24 12:14
服务器管理类
文件同步
windows
服务器
分布式存储
logging
平台
分享Windows服务器网站文件同步备份解决方案之cwRsyn进行文件同步
对于有着巨量上传文件的大型网站,一般采用
分布式存储系统
。而对于上传文件量不是很大的网站,只要在另外一台服务器上保存上传文件的同步备份,避免单点故障,就可以满足需求。
zyx_19841210
·
2020-08-24 12:14
服务器管理类
文件同步
windows
服务器
分布式存储
logging
平台
K8s 本地储存
分布式存储系统
,如分布式数据库Cassandra,分布式文件系统ceph/gluster2.创建StorageClass手动
明天不想吃桃子
·
2020-08-24 02:30
K8s
golang grpc之etcd服务注册发现
go语言中文文档:www.topgoer.cometcdetcd是一个高可用的键值
分布式存储系统
,主要用于共享配置和服务发现。
qq_35857939
·
2020-08-24 01:31
golang
go
go学习路线
DNBFT共识——一种可动态调节网络节点数的PBFT优化方案
摘要区块链类比于一种
分布式存储系统
,这种存储系统有可持续增长,不可篡改的特点。区块链中的共识是多个节点对某一个状态达成一致的过程。PBFT是一种快速的共识机制。但有无法动态调整网络的缺陷。
不想起床的胖达
·
2020-08-24 00:54
共识机制
中国HBase技术社区第三届MeetUp杭州站———HBase应用实践专场
MeetUp杭州站——HBase应用实践专场HBase—HadoopDatabase是一个分布式的、面向列的开源数据库,该技术来源于FayChang所撰写的Google论文“Bigtable:一个结构化数据的
分布式存储系统
ad4d39659223
·
2020-08-23 19:50
Ceph 进阶系列(一):Ceph 三种(块 _ 文件 _ 对象)存储接口
1.Ceph架构简介及使用场景介绍1.1Ceph简介Ceph是一个统一的
分布式存储系统
,设计初衷是提供较好的性能、可靠性和可扩展性。
li4528503
·
2020-08-23 17:42
Ceph
中国HBase技术社区第四届MeetUp
MeetUp——HBase应用实践专场HBase—HadoopDatabase是一个分布式的、面向列的开源数据库,该技术来源于FayChang所撰写的Google论文“Bigtable:一个结构化数据的
分布式存储系统
ad4d39659223
·
2020-08-23 16:17
Ceph 概念 以及 搭建
概述Ceph是一个
分布式存储系统
,诞生于2004年,最早致力于开发下一代高性能分布式文件系统的项目。随着云计算的发展,ceph乘上了OpenStack的春风,进而成为了开源社区受关注较高的项目之一。
梅_苇名一心
·
2020-08-23 11:15
分布式存储系统
(GlusterFS,Swift,Cassandra)设计对比
几年下来,前前后后接触过几个存储系统了,感觉接触多了,发现不同系统在设计的时候大都采用相似的理论,因此就梳理下。GlusterFSSwiftCassandra路由算法普通哈希算法一致性哈希算法一致性哈希算法数据恢复方式选举算法,选出一个源节点副本之间定时检查md5值副本之间检查校验值数据恢复阶段读的时候恢复(readrepair)周期性检查恢复读的时候恢复(readrepair),周期性检查恢复节
liuhong1123
·
2020-08-23 10:00
云存储
cassandra
glusterfs
swift
上一页
7
8
9
10
11
12
13
14
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他