E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
分布式存储系统
亚信科技 AntDB 数据库与星辰天合全产品体系完成兼容互认
经过双方团队的严格测试,AntDB数据库与天合翔宇
分布式存储系统
、统一数据平台XEDP、超融合平台XHERE等产品完全兼容,整体运行稳定高效。
XSKY星辰天合
·
2023-07-18 18:48
云计算
Alluxio+Presto=倚天+屠龙
Alluxio是一个开源的分布式虚拟文件系统,它可以将
分布式存储系统
中的数据进行统一管理,提供高速的数据访问和共享。
GP0000968523
·
2023-07-18 01:25
大数据
云原生之深入解析K8S中Ceph的部署与功能测试
一、前言Ceph在k8s中用做共享存储还是非常方便的,Ceph是比较老牌的
分布式存储系统
,非常成熟并且功能也强大,支持三种模式(快存储、文件系统存储、对象存储),那么如何在k8s使用ceph呢?
╰つ栺尖篴夢ゞ
·
2023-07-17 16:43
人工智能与云原生
云原生
Ceph
Rook
Ceph的部署
功能测试
HDFS分布式文件系统基础+HDFS shell操作+HDFS工作流程与机制
文章目录HDFS分布式文件系统基础文件系统、分布式文件系统文件系统定义区分数据和元数据海量数据存储遇到的问题
分布式存储系统
的核心属性及功能含义HDFS简介HDFS应用场景HDFS重要特性主从架构分块存储副本机制元数据管理
芒着可爱
·
2023-07-17 09:15
大数据与Linux基础
hdfs
hadoop
大数据
Ceph
分布式存储系统
Ceph
分布式存储系统
一、存储基础1、单机存储设备2、单机存储的问题二、分布式存储(软件定义的存储SDS)1、分布式存储介绍2、分布式存储的类型3、Ceph简介4、Ceph优势5、Ceph架构6、Ceph
南山桥木
·
2023-07-17 07:47
ceph
分布式
分布式存储系统
(Ceph)基础
存储基础存储设备DAS:IDE、SATA、SCSI、SAS、USBNAS:NFS、CIFSSAN:SCSI、FCSAN、iSCSI存储内容包括元数据和数据,名称节点(NameNode)存放元数据,数据节点(DataNode)存放实体数据。元数据节点通常将随机IO转换为顺序IO进行存取,参考redis的AOF机制。高可用主从复制或者冗余备份CephCeph是一个对象式存储系统,它把每一个待管理的数据
WihauShe
·
2023-07-16 09:37
Distributed
Storage
分布式
ceph
基础
云原生之深入解析
分布式存储系统
Ceph的环境部署和实战操作
Ceph是当前非常流行的开源
分布式存储系统
,具有高扩展性、高性能、高可靠性等优点,同时提供块存储服务(rbd)、对象存储服务(rgw)以及文件系统存储服务(cephfs),Ceph在存储的时候充分利用存储节点的计算能力
╰つ栺尖篴夢ゞ
·
2023-07-15 17:11
人工智能与云原生
云原生
分布式存储系统
Ceph
环境部署
实战操作
hdfs概述
目录一:分布式存储二:分布式存储介绍(1:在
分布式存储系统
中,分散在不同节点中的数据可能属于同一个文件。(2:集群中不同的节点承担不同的职责。
山海自有归期
·
2023-07-15 16:21
大数据
hdfs
hadoop
big
data
Hadoop期末复习—必备知识
价值密度低3:在零售行业的应用:精准定位零售行业市场;支持行业收益管理;挖掘零售行业新需求;Hadoop:1:Hadoop优势:高效率可靠性成本低扩容能力强高容错性2:Hadoop生态系统:分布式文件系统、
分布式存储系统
Recently 祝祝
·
2023-07-15 07:09
笔记
hadoop
mapreduce
大数据
关于CEPH的简单畅谈
CEPH是什么CEPH是一个先进的
分布式存储系统
,它具有高度可靠性、可扩展性和性能。CEPH旨在解决传统存储系统中存在的诸多挑战,如单点故障、难以扩展、数据丢失风险等。
IT小辉同学
·
2023-07-14 18:47
分布式云部署
ceph
直播 | SDS 容灾方案,让制品数据更安全
近日,腾讯CODINGWePack制品管理系统V1以及腾讯CODINGDevOps研发效能管理平台V7与XSKY星辰天合的统一数据平台XEDP及天合翔宇
分布式存储系统
完成互相兼容认证,在数据层面满足了共同客户敏捷开发的高可用建设合规要求
腾云 CODING
·
2023-07-14 09:11
制品库
wepack
制品数据
coding
XSKY
HHU云计算期末复习(上)Google、Amazon AWS、Azure
云计算2.1Google文件系统(GFS)2.2MapReduce和Hadoop2.3分布式锁服务Chubby2.4分布式结构化数据表Bigtable存储形式主服务器子表Bigtable相关优化技术2.5
分布式存储系统
丸丸丸子w
·
2023-07-13 21:54
大数据
云计算
azure
阿里云
checkpoint 机制具体实现示例详解
目录checkpoint机制的具体实现BackNode节点冷备份checkpoint的实现checkpoint机制的具体实现我们都知道为了优化
分布式存储系统
中NameNode的重启性能,我们引进了checkpoint
·
2023-07-13 16:20
阿里云中块存储、对象存储、文件存储区别
块存储可以作为云盘挂载到云服务器实例上,也可以作为
分布式存储系统
使用。对象存储(ObjectStorage):以对象为单位进行存储,适用于海量数据的存储、管理和访问。
MM不要山
·
2023-06-20 22:47
阿里云
云计算
关于ceph笔记
ceph笔记:一,ceph介绍ceph:就是一个能提供的文件存储,块存储和对象存储的
分布式存储系统
,它提供了一个可无限伸缩的Ceph存储集群.RADOS:Ceph的高可靠,高可拓展,高性能,高自动化都是由这一层来提供的
Noah_徐
·
2023-06-19 01:55
随手记
linux
运维
CentOS7 搭建ceph集群
CentOS7搭建ceph集群前言:本来准备的是Ubuntu20,搞了半天上头了把我笔记本正在用的Ubuntu操作系统直接搞崩了,hhhhhh,所以换了CentOS1分布式文件存储系统CephCeph是一个统一的
分布式存储系统
weixin_46051525
·
2023-06-19 01:55
云计算
运维
swift
python
分布式存储系统
_
分布式存储系统
Ceph : 简介
1Ceph简介及使用场景介绍1.1Ceph简介定义:Ceph是一个统一的
分布式存储系统
。特点:高性能、高可靠性、高可扩展性。三种存储接口:块存储、文件存储、对象存储。
weixin_39640687
·
2023-06-19 01:25
python分布式存储系统
nfs-ganesha将rgw导出为nfs文件接口
概述我们知道ceph是统一的
分布式存储系统
,其可以提供给应用三种访问数据的接口:对象(RGW)、块(RBD)和文件(CEPHFS)接口。我们在使用对象接口的时候通常都是基于HTTP协议来存取数据。
ypdai
·
2023-06-18 16:22
企业打开云HBase的正确方式,来自阿里云云数据库团队的解读
摘要:一、HBase的历史由来HBase是一个开源的非关系型分布式数据库(NoSQL),基于谷歌的BigTable建模,是一个高可靠性、高性能、高伸缩的
分布式存储系统
,使用HBase技术可在廉价PCServer
·
2023-06-16 18:38
数据库
ceph分布式存储实战
ceph分布式存储实战
分布式存储系统
简介性能与优势对比虚拟机安装ceph集群ceph存储系统简介分布式存储概述ceph基础高可用ceph
分布式存储系统
部署部署ceph集群节点管理ceph使用基础及数据存储案例
theo.wu
·
2023-06-16 06:21
云原生
ceph
分布式
云原生
hadoop hdfs 性能调优
说明其实hdfs并不适合作为小文件的
分布式存储系统
.前人埋下的坑....背景一次线上环境的hdfsnamenode进程打满cpu.一直在百分之67百.namenode一直在做fullgc,此时hdfs基本处于不可用状态
oo_思维天空
·
2023-06-13 04:23
AntDB 存储技术——Hash分片技术
分布式存储系统
需要解决的两个最主要的问题:数据分片和数据冗余,通过图3-3来解释其概念和区别。图3-3中,数据集A、B属于数据分片,原始
亚信安慧AntDB数据库
·
2023-06-12 20:49
AntDB
国产数据库
antdb
antdb数据库
数据库
安卓怎么把数据直接插入mysql_NoSql数据库,是怎么解决我们高并发场景下MySql表现的不足...
通过前面几天的学习,我们在面对高并发流量时,为了应对大量读写请求,特此将我们的普通存储系统开发成了一套
分布式存储系统
。主要基于读写分离主从复制以及数据分库分表实现的。
weixin_39598308
·
2023-06-12 20:43
分布式系统面试连环炮
他们有共同的一个问题,就是都没怎么搞过分布式系统,现在互联网公司,一般都是做分布式的系统,大家都不是做底层的分布式系统、
分布式存储系统
hadoophdfs、分布式计算系统hadoopmapreduce/
kevin0016
·
2023-06-12 08:14
Spark运行原理
1.BlockManagerBlockManager是Spark的
分布式存储系统
主从结构:BlockManagerMaster/BlockManager(Slave)BlockManagerMaster
不会编程的小小怪
·
2023-06-09 09:15
Spark
大数据
spark
分布式
Hbase安装指南
Hbase简介HBase是一个高可靠性、高性能、面向列、可伸缩的
分布式存储系统
,利用HBase技术可在廉价PCServer上搭建起大规模结构化存储集群。
小小哭包
·
2023-06-07 18:59
大数据
计算机
Java
hbase
hadoop
大数据
几种分布式文件系统的优缺点归纳与总结
2.Ceph:Ceph是一个开源的
分布式存储系统
,提供了高可用性、高性能和可扩展性。3
水云间月掌柜
·
2023-06-07 08:00
SpringBoot整合Minio实现文件上传、下载
区别于
分布式存储系统
,minio的特色在于简单、轻量级,对开发者友好!!!,认为存储应该是一个开发问题而不是一
【JAVA】玩家
·
2023-06-07 02:03
中间件
文件存储
minio
Ceph
一、简介Ceph是一个开源的
分布式存储系统
。可靠的自主分布式对象存储(RADOS)统一存储(支持多种类型,根据使用场景选择),提供对象,块和文件存储。
想成为大师的学徒小纪
·
2023-04-18 07:27
Ceph运维学习详解
Ceph是当前非常流行的开源
分布式存储系统
,具有高扩展性、高性能、高可靠性等优点,作为主流的分布式存储技术之一,ceph越来越成为运维工程师技能树的必备要件。
豆包同学在路上
·
2023-04-17 21:37
IT
ceph
微服务
运维
运维开发
Chapter4 分布式数据库HBase
BigTable是一个
分布式存储系统
,它最初是用于解决谷歌公司内部的大规模网页所搜问题。网页搜索可以分为两个阶段:1.第一阶段:建立整个网页的索引。
今晚滿天星
·
2023-04-13 23:22
#
Hadoop
big
data
hbase
大数据
分布式存储技术解读系列之二:Ceph 的数据分布算法 | 架构进阶
1.引言数据分布是
分布式存储系统
的要解决的首要问题,在
分布式存储系统
当中,最核心也是最基本的要求就是数据的分布算法或者规则能够解决以下几个问题:(1)数据负载均衡:数据能够均匀地分布在磁盘容量不等的存储节点
宋罗世家技术屋
·
2023-04-13 02:17
综合技术探讨及方案专栏
分布式
ceph
算法
大数据组件——Hive简介及入门
Hive简介ApacheHive是基于Hadoop的一种数据仓库工具,可以提供类似于SQL的查询语言——HiveQL,用来从存储在
分布式存储系统
中的大规模数据集合中检索和分析数据。
'Wu'
·
2023-04-11 19:14
学习日常
大数据
hive
大数据
hadoop
链战2018:公链、跨链之争下的天鹅湖(人类区块链进化二史2)
2018区块链落地应用元年我们都知道区块链有很深厚的理论基础,分布式帐本、共识机制、智能合约、密码学构筑了区块链的基石,相较于传统的
分布式存储系统
,分布式账本技术主要具备两种不同的特征:传统
分布式存储系统
执行受某一中心节点或权威机构控制的数据管理机制
悬梁刺币Mike
·
2023-04-10 08:38
滴滴Ceph
分布式存储系统
优化之锁优化
桔妹导读:Ceph是国际知名的开源
分布式存储系统
,在工业界和学术界都有着重要的影响。Ceph的架构和算法设计发表在国际系统领域顶级会议OSDI、SOSP、SC等上。
滴滴技术
·
2023-04-09 22:21
Alluxio社区范斌博士访谈录:关于数据编排,云迁移以及数据工程中的挑战
加入Alluxio项目之前,范斌就职于谷歌,从事下一代大规模
分布式存储系统
的研究与开发。范斌2013年获得卡内基梅隆大学(CarnegieMellonUniversity)计算机系博士学位,博士期
Alluxio
·
2023-04-09 07:16
【深度知识】Ceph功能,原理及架构总结
1.Ceph架构简介及使用场景介绍1.1Ceph简介Ceph是一个统一的
分布式存储系统
,设计初衷是提供较好的性能、可靠性和可扩展性。
笔名辉哥
·
2023-04-09 00:02
大数据开发hive数据库常用命令汇总
Hive简介根据官方文档的定义,Hive是一种用类SQL语句来协助读写、管理那些存储在
分布式存储系统
上大数据集的数据仓库软件1、进入hive数据库:hive2、查看hive中的所有数据库:showdatabases
爱开发V
·
2023-04-08 07:45
数据仓库
数据库
hive
mysql
大数据
FusionStorage分布式存储
FusionStorage是华为推出的一款可大规模横向扩展的
分布式存储系统
,其本质是将通用的X86、ARM服务器的本地已有的HHD磁盘,SATA盘,SAS盘,SSD盘等介质,利用分布式技术组成大规模存储资源池
IT小组
·
2023-04-08 03:56
英特尔DAOS分布式异步存储系统
随着数据呈指数级增长,
分布式存储系统
不仅成为了数据中心的核心,同时也成了其主要的瓶颈。数据访问延迟高、可扩展性差、管理大型数据集难度大、缺乏查询功能,这些都是常常会遇到的阻碍。
尚先生的博客
·
2023-04-08 03:01
DAOS
分布式
云计算
在 KubeSphere 中使用 Rook 构建云原生存储环境
Rook将
分布式存储系统
转变为自管理、自扩展、自修复的存储服务。它使存储管理员的部署、引导、配置、配置、扩展、升级、迁移、灾难恢复、监控和资源管理等任务自动化。
米开朗基杨
·
2023-04-08 00:19
运维
kubernetes
docker
数据库
分布式
Ceph简介:
Ceph是什么Ceph是一种
分布式存储系统
,所谓分布式,指的是Ceph可以部署在多台服务器上,通过多台服务器并行处理来对外提供高性能的读写块。
付少华
·
2023-04-07 12:31
分布式
ceph概述
Ceph是一个开放、自我修复和自我管理的统一
分布式存储系统
。具有高扩展性、高性能、高可靠性的优点。2、为什么要使用ceph?ceph目前已得到众多云计算厂商的支持并被广泛应用。
songtaiwu
·
2023-04-07 12:29
openstack
kubernetes
docker
容器
【6.824分布式系统笔记】LEC 3: GFS |HDFS、背景、GFS架构、文件读写、一致性
GFS论文笔记背景为什么构建
分布式存储系统
如此困难?需要大量机器并行来获得高性能→数据分割放置,即分片(
Mengo_x
·
2023-04-06 19:13
分布式系统
MIT
分布式
golang
HDFS
GFS
【ceph】什么是Ceph?------(MinIO和ceph的区别|GFS(GlusterFS)、MFS、Ceph、Lustre|文档)
简介Ceph则是一个统一
分布式存储系统
(统一:同时支持块存储、文件存储和对象存储),具有优异的性能、可靠性和可扩展性。Ceph底层是
bandaoyu
·
2023-04-06 12:31
存储
ceph
分布式
ceph基础架构详解
接交换机形成专用的存储网络)SAN==》对于稳定性要求比较高的:金融/银行网络附加存储:对外服务by网络,任何设备都可以访问2.分布式存储(是一个集群的概念)2.1即是通过网络将数据分散在多台独立的设备上.
分布式存储系统
的特性
黑猫警张Evans
·
2023-04-06 03:02
ceph
网络
服务器
分布式
MinIO信息泄露漏洞(CVE-2023-28432)批量检测POC
MinIO是一种高性能、高可用的
分布式存储系统
,可以存储大量数据,并提供高速的数据读写能力。MinIO采用分布式架构,可以在多个节点上运行,实现数据的分布式存储和处理。
今天是 几 号
·
2023-04-05 19:13
#
漏洞复现
MInIO
bash
网络安全
常见开源
分布式存储系统
系统整体对比对比说明/文件系统TFSFastDFSMogileFSMooseFSGlusterFSCeph开发语言C++CPerlCCC++开源协议GPLV2GPLV3GPLGPLV3GPLV3LGPL数据存储方式块文件/Trunk文件块文件/块对象/文件/块集群节点通信协议私有协议(TCP)私有协议(TCP)HTTP私有协议(TCP)私有协议(TCP)/RDAM(远程直接访问内存)私有协议(TC
罗亚方舟
·
2023-04-05 02:19
java技术
前端
javascript
vue.js
Ceph系列01-Ceph简介
Ceph是一个可大规模扩展、高性能并且无单点故障的
分布式存储系统
。从一开始它就运行在通用商用硬件上,具有高度可伸缩性,容量可扩展至EB级别,甚至更大。
tinychen777
·
2023-04-05 01:06
Devops
ceph
hadoop中的各个模块及其作用
分布式存储系统
被称为HDFS。可以将整个文件系统看成一个超大的硬盘。hdfs的组成主节点namenode(nn):存放元数据信息,存储文件名称,文件属性,文件块列表,所在dn节点列表。
IT小鸟鸟
·
2023-04-04 12:12
hadoop
hadoop
hdfs
大数据
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他