E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
分布式存储系统
BigTable:结构化数据的
分布式存储系统
文章目录摘要1.简介2.数据模型2.1行2.2列族2.3时间戳3.API4.构成模块5.实现5.1分片位置5.2片分配5.3片服务器5.4压缩6.改进6.1位置分组6.2压缩6.3为读取性能缓存6.4布隆过滤器6.5提交日志实现6.6加快分片的恢复速度6.7利用不变性7.性能评估7.1单个片服务器性能7.2扩展性8.实际应用8.1GoogleAnalytics8.2GoogleEarth8.3Pe
涛声依旧(竞涛)
·
2023-12-03 03:10
读书笔记
bigtable
分布式存储
cluster
kv
database
Flink on Kubernetes 计算和存储分离落地实践
在这种架构下,将计算和存储解耦,计算部分运行在Kubernetes上,而存储则使用HDFS等
分布式存储系统
。这样的架构优势在于可以根据实际情况独立调整计算和存储资源,从而提高整体的效率和弹性。
1661616sjsjsk
·
2023-12-01 07:51
大数据
分布式
flink
kubernetes
论
分布式存储系统
架构设计
摘要2019年6月,我所在的公司中标某集团全国保险大数据平台搭建项目,该项目周期为2年,总投资为5000万人民币,通过该项目,搭建该集团大数据建设项目,实现该集团所有业务以及用户行为数据入库并解析,为集团提供精准营销、挖掘潜在客户等提供业务支撑,帮助集团实现快速的业务增长。我有幸作为此次项目的负责人以及架构师参与了项目的搭建以及开发过程。该项目时间紧任务重、涉及人员组织多,直接相关集团保险公司内部
mischen520
·
2023-11-30 08:36
软考高级系统架构师
论文
分布式
hdfs
Hadoop入门学习笔记-第三天(Yarn高可用集群配置及计算案例)
什么是mapreduce首先让我们来重温一下hadoop的四大组件:HDFS:
分布式存储系统
MapReduce:分布式计算系统YARN:hadoop的资源调度系统Common:以上三大组件的底层支撑组件
渣男程序员007
·
2023-11-30 05:13
Hadoop入门学习笔记
分布式
hadoop
大数据
spark
mapreduce
大数据之Hbase(心得)
(2)HBase是一个高可靠性、高性能、面向列、可伸缩(可扩展)的
分布式存储系统
,利用HBASE技术可在廉价PCServer上搭建起大规模结构化存储集群。
宝宝不哭^_^
·
2023-11-29 20:30
心得体会
Hbase
Hbase的一点个人总结
Hbase是一个高可靠性、高性能、面向列、可伸缩的
分布式存储系统
,利用Hbase技术可在廉价PCServer上搭建起大规模结构化存储集群。
vthinkwen
·
2023-11-29 15:33
大数据
hadoop
java
分布式存储系统
Minio简介
区别于
分布式存储系统
,minio的特色在于简单、轻量级,对开发者友好,认为存储应该是一个开发问题而不是一个运维问题。Minio的相关操作Min
明算科
·
2023-11-28 22:16
运维
分布式
java
开发语言
minio
分布式存储系统
目录拉取docker镜像minio所需要的依赖文件存放的位置手动上传文件到minio中工具类上传yml配置config类service类启动类测试类图片视频删除minio服务器的文件下载minio服务器的文件拉取docker镜像拉取稳定版本:dockerpullminio/minio:RELEASE.2021-06-17T00-10-46Z-28-gac7697426创建并运行容器:dockerr
春来我不先开口,哪个虫儿敢作声?
·
2023-11-28 22:45
java微服务
分布式
StarRocks企业级数据库
第1章StarRocks简介1.1StarRocks介绍StarRocks是新一代极速全场景MPP数据库StraRocks充分吸收关系型OLAP数据库和
分布式存储系统
在大数据时代的优秀研究成果,在业界实践的基础上
AllenGd
·
2023-11-28 11:30
StarRocks
数据库
python开发之FastDFS
分布式存储系统
整合Nginx部署重写Django项目文件传输行为
目录FastDFS业务场景概述部署FastDFS整合FastDFS和NginxFastDFS与Python交互重写Django项目文件传输行为FastDFS业务场景概述基于C语言开发的FastDFS是一项开源轻量级分布式文件系统,主要用于海量数据存储,有方便的可拓展性,记录文件指纹防止重复文件上传占用容量,主要用于电商平台等文件数据量大的系统部署FastDFS第一步,安装FastDFS依赖包#下载
Pythonicc
·
2023-11-28 05:52
unix运维
WEB后端开发
分布式
nginx
linux
centos
python
大数据中的HBase的选择题
A.爬虫持续不断地抓取新页面,这些页面每隔一段时间地存储到BigTable里B.BigTable是一个
分布式存储系统
C.BigTable起初用于解决典型的互联网搜索问题D.网络搜索应用查询建立好的索引,
不想做程序猿的员
·
2023-11-27 09:58
大数据
hbase
数据库
Ceph
分布式存储系统
的介绍及详细安装部署过程:详细实战版(保姆级)
Ceph简介Ceph是一个统一的
分布式存储系统
,设计初衷是提供较好的性能、可靠性和可扩展性。Ceph项目最早起源于Sage就读博士期间的工作(最早的成果于2004年发表),并随后贡献给开源社区。
aa一叶知秋aa
·
2023-11-25 20:05
ceph
分布式
openstack
青云科技容器平台与星辰天合存储产品完成兼容性互认证
近日, 北京青云科技股份有限公司(以下简称:青云科技)的KubeSphere企业版容器平台成功完成了与XSKY星辰天合的企业级分布式统一数据平台V6(简称:XEDP)以及天合翔宇
分布式存储系统
XSKY星辰天合
·
2023-11-25 06:25
云计算
HDFS分布式原理---概念篇
:短时间内快速的产生海量的多种多样的有价值的数据大数据的技术:分布式存储分布式计算分布式批处理数据积攒一段时间,在未来某一时刻一次性计算一批数据分布式流处理数据实时进行计算,产生一条计算一条分布式存储
分布式存储系统
hjy1821
·
2023-11-23 14:16
HDFS原理
HDFS
分布式存储原理
大数据
Rook-Ceph
分布式存储系统
快速部署
2019独角兽企业重金招聘Python工程师标准>>>Rook-Ceph
分布式存储系统
快速部署ThisguidewillwalkyouthroughthebasicsetupofaCephclusterandenableyoutoconsumeblock
George_Fal
·
2023-11-23 09:57
微服务分布式系统中 必须知道的CAP 理论
三者不可同时获得一致性(C):所有节点都可以访问到最新的数据可用性(A):每个请求都是可以得到响应的,不管请求是成功还是失败分区容错性(P):除了全部整体网络故障,其他故障都不能导致整个系统不可用CAP理论就是说在
分布式存储系统
中
小哇666
·
2023-11-23 08:33
#
SpringCloud
微服务
分布式
spring
cloud
ceph linux内核配置,centos 7.4-aarch64如何编译Ceph
一、Ceph简介简而言之,Ceph作为一个
分布式存储系统
设计的目标定位为:①可轻松扩展到数PB级别的容量(Ceph目前的版本可以轻松支持EB级别的存储容量)②能够自动适应多种工作负载的高性能(每秒输入/
weixin_39928787
·
2023-11-22 22:17
ceph
linux内核配置
Docker-13:Docker安装Hbase
1.背景HBase是一个分布式的、面向列的开源数据库,该技术来源于FayChang所撰写的Google论文Bigtable:一个结构化数据的
分布式存储系统
”。
王老邪
·
2023-11-22 04:30
容器化
hbase
docker
数据库
使用Docker部署HBase并使用Java-API连接
HBase是一个高可靠性、高性能、面向列、可伸缩的
分布式存储系统
,利用HBase技术可在廉价PCServer上搭建起大规模结构化存储集群。
当一艘船沉入海底8
·
2023-11-22 04:56
HBase
docker
hbase
Ceph分布式存储系列(一):Ceph工作原理及架构浅析梳理
一、Ceph简介众所周知,ceph是一种
分布式存储系统
,是有着“ceph之父”之称的SageWeil读博期间的研究课题,项目诞生于2004年,在2006年基于开源协议开源了Ceph的源代码,在经过了数年的发展之后
诸葛钢铁云
·
2023-11-21 12:08
存储
分布式
架构
java
分布式存储系统
Minio
多主机、多硬盘模式(分布式)适合存储大容量非结构化的数据该模式是Minio服务最常用的架构,通过共享一个accesskey和secretkey,在多台(2-32)服务器上搭建服务,且数据分散在多块(大于4块,无上限)磁盘上,提供了较为强大的数据冗余机制(Reed-Solomon纠删码)。
zty_1995
·
2023-11-20 18:54
javaapi 访问 hbase
Hbase介绍HBASE是一个高可靠性、高性能、面向列、可伸缩的
分布式存储系统
,利用HBASE技术可在廉价PCServer上搭建起大规模结构化存储集群。
数据萌新
·
2023-11-20 05:35
CnosDB有主复制演进历程
分布式存储系统
的复杂性涉及数据容灾备份、一致性、高并发请求和大容量存储等问题。本文结合CnosDB在分布式环境下的演化历程,分享如何将分布式理论应用于实际生产,以及不同实现方式的优缺点和应用场景。
CnosDB
·
2023-11-19 22:12
时序数据库
数据库
cnosdb
1.1 Ceph基础及集群的搭建
1.Ceph基础ceph是可靠的、自动重均衡、自动恢复的
分布式存储系统
。
xiaoyizi311
·
2023-11-15 15:52
云原生/微服务
云计算
运维
ceph
一致性算法介绍(二)
1.4.NWRN:在
分布式存储系统
中,有多少份备份数据W:代表一次成功的更新操作要求至少有w份数据写入成功R:代表一次成功的读数据操作要求至少有R份数据成功读取NWR值的不同组合会产生不同的一致性效果,
狠情
·
2023-11-11 08:26
算法
分布式软件开发的相关技术
分布式存储系统
:了解分布式存储的概念和常见的
分布式存储系统
,如分布式文件系统、分布式数据库、NoSQL数据库等。分布式数据处理:熟悉大数据处理和分布式数据处理框架,如ApacheHa
假装得大佬
·
2023-11-10 06:05
分布式
分布式存储ceph:CRUSH算法
作为一个
分布式存储系统
,如何合理地分布数据非常重要。Ceph系统的许多特性,如去中心化、易扩展性和负载均衡等都和它采用的CRUSH数据分布算法是密不可分的。
souy_c
·
2023-11-06 19:07
存储
ceph
分布式存储
应用ceph文件系统存储(ceph-13.2.10)
版本:操作系统:CentOS7.9ceph版本:ceph-13.2.10名词:Ceph:一个开源的
分布式存储系统
。Ceph:Cephisadistributedobjectstoreandfilesy
zhangbeizhen18
·
2023-11-06 18:46
L02-运维部署
ceph
ceph-13.2.10
运维
分布式存储系统
离线安装
Ceph介绍
目录一、Ceph简介1、Ceph起源2、Ceph特点3、Ceph架构4、Ceph核心组件介绍二、3种存储类型对比1、块存储2、文件存储3、对象存储一、Ceph简介1、Ceph起源Ceph是一个统一的
分布式存储系统
桂安俊@kylinOS
·
2023-11-06 18:41
分布式
ceph
HBase的详细介绍(概念以及特性)
1什么是hbaseHBASE是一个高可靠性、高性能、面向列、可伸缩的
分布式存储系统
,利用HBASE技术可在廉价PCServer上搭建起大规模结构化存储集群。
随风奔跑之水
·
2023-11-05 16:35
Hadoop
Mysql与SeaweedFS数据不同步问题产生原因及解决办法
这篇文章将专注于Mysql和SeaweedFS(一种快速、简单和高效的
分布式存储系统
)之间数据不
Dontla
·
2023-11-02 09:00
数据库
mysql
数据库
一文参透
分布式存储系统
Ceph的架构设计、集群搭建(手把手)
1.Ceph概述1.1背景Ceph是一个去中心化的
分布式存储系统
,提供较好的性能、可靠性和可扩展性。
博学谷狂野架构师
·
2023-10-31 22:19
分布式存储系统
Ceph应用组件介绍
1、无中心架构分布式存储CephCeph是一套开源的
分布式存储系统
。具有可靠性高,性能优良,可伸缩,与HDFS不同的地方在于,该架构中没有中心节点。
exitgogo
·
2023-10-31 06:30
分布式
ceph
[大三上]区块链和分布式计算
分布式计算的典型应用包括分布式数据库、
分布式存储系统
、云计算等。分布式计算的优点
卓律涤
·
2023-10-27 12:14
云计算
1024程序员节
Hadoop3.0大数据处理学习2(HDFS)
Hadoop
分布式存储系统
一种允许文件通过网络在多台主机上分享的文件系统,可以让多机器上的用户分享文件和存储空间。
Huathy-雨落江南,浮生若梦
·
2023-10-26 07:25
Hadoop
大数据
hdfs
hadoop
MinIO分布式存储服务
一、前言最近项目中使用到了MinIO的
分布式存储系统
,记录一下Minio服务的相关概念以及使用方法。
大头程序员不头大
·
2023-10-25 18:56
JAVA后端
分布式
后端
存储与数据库 | 字节青训营笔记
存储系统的特点3、RAID技术RAID出现的背景RAID0RAID1RAID0+1二、数据库1、难道数据库和存储系统不一样吗2、数据库vs经典存储三、主流产品剖析1、单机存储本地文件系统key-value存储2、
分布式存储系统
分布式文件系统分布式对象存储
卒获有所闻
·
2023-10-25 09:57
字节跳动青训营
数据库
缓存
后端
hadoop 伪分布式模式学习笔记
我采用的是hadoop-2.8.0,它主要包含3大块:hdfs:
分布式存储系统
HDFS(HadoopDistributedFileSystem)分布式存储层map
金曜软件工程师
·
2023-10-24 16:44
大数据
大数据
大数据学习
hadoop
人工智能
ceph 笔记
Ceph是一个开源的
分布式存储系统
,具有以下优势和特点:可扩展性:Ceph可以轻松地扩展到大规模的存储集群,支持数百或数千个节点,并能够处理PB级别的数据。
The Straggling Crow
·
2023-10-24 04:17
storage
ceph
笔记
一文读懂 HBase 核心原理与应用场景
HBase是大数据NoSQL领域里非常重要的分布式KV数据库,是一个高可靠、高性能、高伸缩的
分布式存储系统
,目前国内知名公司都有在大规模使用,社区也非常活跃。
create17
·
2023-10-24 01:27
分布式
大数据
数据库
java
hadoop
分布式存储系统
——ceph
目录一、分布式存储类型1、块存储2、文件存储3、对象存储二、ceph概述1、ceph简介2、ceph的优势3、ceph架构1)RADOS基础存储系统(Reliab1e,Autonomic,Distributedobjectstore2)LIBRADOS基础库3)高层应用接口4)应用层4、ceph核心组件5、OSD存储方式1)方式一:Filestore2)方式二:Bluestore6、Bluesto
hei-tui
·
2023-10-23 14:27
分布式
ceph
HBase:大数据中的NoSQL
HBase概述Hbase是一个高可靠性、高性能、面向列、可伸缩的
分布式存储系统
,用于存储海量的结构化或者半结构化,非结构化的数据,底层上的数据是以二进制流的形式存储在HDFS上的数据块中的HBase应用场景写密集型应用
CoLiuRs
·
2023-10-21 19:54
Golang
大数据
大数据
hbase
nosql
企业打开云HBase的正确方式,来自阿里云云数据库团队的解读
摘要:一、HBase的历史由来HBase是一个开源的非关系型分布式数据库(NoSQL),基于谷歌的BigTable建模,是一个高可靠性、高性能、高伸缩的
分布式存储系统
,使用HBase技术可在廉价PCServer
猫耳呀
·
2023-10-20 19:54
ceph
分布式存储系统
目录一、存储基础二、单机存储的问题三、分布式存储的类型四、Ceph简介五、Ceph优势六、Ceph架构七、Ceph核心组件八、OSD存储后端九、ceph部署一、存储基础单机存储设备DAS(直接附加存储,是直接接到计算机的主板总线上去的存储)IDE、SATA、SCSI、SAS、USB接口的磁盘所谓接口就是一种存储设备驱动下的磁盘设备,提供块级别的存储NAS(网络附加存储,是通过网络附加到当前主机文件
Besteady
·
2023-10-20 09:22
ceph
HBase 入门
HBase是一个高可靠性、高性能、面向列、可伸缩的
分布式存储系统
,利用HBase技术可在廉价PCServer上搭建起大规模结构化存储集群。
djm猿
·
2023-10-17 12:20
FastDFS
对于存储而言,小视频的存储量以及容量都是非常巨大的所以我们选择自己搭建
分布式存储系统
FastDFS进行存储对于推荐算法,我们将采用多种权重的计算方式进行计算对于加
鼠爷ねずみ
·
2023-10-17 11:21
后端
数据库
java
sql
ceph基础知识
1,ceph介绍ceph是一个可靠的,自动重均衡,自动恢复的
分布式存储系统
。根据场景可以分为三大块:对象存储,块设备存储和文件服务系统。
每天读点书学堂
·
2023-10-17 07:25
ceph
linux
运维
Ceph 相关知识总结整理 | 资料
一、Ceph的原理和架构1.Ceph架构简介及使用场景介绍1.1Ceph简介Ceph是一个统一的
分布式存储系统
,设计初衷是提供较好的性能、可靠性和可扩展性。
更上一层楼!
·
2023-10-17 07:23
云计算
智安网络|边缘计算与分布式存储:数字化时代的新趋势
分布式存储系统
应运而生,成为应对数据存储和处理挑战的解决方案。然而,技术的发展不会止步于此,随着时间的推移,
分布式存储系统
也将迎来新的趋势和变革。
智安网络
·
2023-10-16 04:59
边缘计算
分布式
人工智能
线上线程堆积导致的oom排查思路
背景一个项目文件存储服务选型seaweedfs,一个go实现的
分布式存储系统
,项目使用Java作为开发语言,一个场景是客户通过http上传文件到fileService服务,fileService收到文件之后
hamish-wu
·
2023-10-15 17:50
Java
java
jvm
服务器
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他