E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
Ceph块存储
分布式
块存储
的引擎如何设计?
2019独角兽企业重金招聘Python工程师标准>>>前言:目前在万兆网络和SSD,包括NVMeSSD都已经非常普及。随着硬件的速度越来越快,性能的瓶颈会从硬件转移到软件。尤其对于存储引擎来说,性能至关重要。先来看一下我们会对数据存储引擎模块有什么样的需求。首先,肯定是还是可靠。因为我们客户的应用场景都大部分是核心的应用,数据可靠是要绝对保证的,没有任何妥协的空间。其次是性能,目前在万兆网络和SS
weixin_34240520
·
2023-04-04 02:26
运维
netty
java
自身免疫性脑炎 |A clinical approach to diagnosis of autoimmune en
ceph
alitis自身免疫性脑炎的临床诊断方法
文献出处:作者:GrausF,TitulaerMJ,BaluR,etal.标题:Aclinicalapproachtodiagnosisofautoimmuneen
ceph
alitis.杂志:LancetNeurol
persistencer
·
2023-04-04 02:27
【杂记】数据存储架构
按照存储服务方式:直连存储(DAS)、网络直连存储(NAS)、和存储区域网络(SAN)按照物理存储形态:
块存储
、文件存储、对象存储、表格存储
块存储
和文件存储是我们比较熟悉的两种主流的存储类型,而对象
kimicren
·
2023-04-04 00:48
知识总结
架构
Ceph
之对象存储
所以任何数据都可以存入对象服务器,如图片、视频、音频等2
Ceph
对象存储的构成RGW全称为RadosGateWay,是
Ceph
对象存储网关,用于向客户端应用程序提供存储界面,提供RestFulAPI接口
Frank_弗兰克
·
2023-04-03 19:57
SPDK对接
Ceph
性能优化
关键词:SPDK、NVMeOF、
Ceph
、CPU负载均衡SPDK是intel公司主导开发的一套存储高性能开发套件,提供了一组工具和库,用于编写高性能、可扩展和用户态存储应用。
天翼云开发者社区
·
2023-04-03 16:58
云计算
网络
java
安全
开发语言
云计算
全闪分布式,如何深度性能POC?
FASS是TaoCloud自研的全闪分布式
块存储
系统,产品正式发布以来进行了大量多种场景的POC测试,这里将对典型场景的POC测试进行多角度对比分析,用数据验证FA
大道云行TaoCloud
·
2023-04-03 16:58
分布式
性能优化
全闪分布式
块存储
性能真实实测—— 2节点服务器集群,单个LUN存储卷性能 >600万IOPS, >58GB/s带宽
人工智能,云计算,超算,5G,无人驾驶,基因分析,大数据.......随着数字经济时代发展,数据海量涌现并堆积。传统集中式架构存储已无法满足现实存储需求,越来越多企业开始选择分布式存储架构做存储基座。另一方面,随着5G开始发力,人工智能,超算,无人驾驶等研究愈发深入,对存储速度和带宽的要求也越来越高。举个例子,单拿最近火热的无人驾驶来讲,芯片厂商英伟达、高通,国内华为都推出了针对无人驾驶的芯片解决
存储马小生
·
2023-04-03 15:29
全闪分布式存储
存储架构
分布式
服务器
5g
数据库架构
架构
Ceph
分布式存储系列(六):对象存储、
块存储
、文件存储的区别和优缺点
承接上文
Ceph
分布式存储系列(一):
Ceph
工作原理及架构浅析梳理分布式存储总体分为对象、块、文件三种存储类型,且
ceph
同时支持这三种存储类型,那么这里再简单谈一下三种存储类型的差异点及各自优势和适用环境
Echo&.
·
2023-04-03 11:17
Ceph
服务器
分布式存储
ceph
运维
Kubernetes中快速部署基于Rook-
Ceph
集群的分布式
块存储
目录Rook安装下载Rook安装文件配置更改部署rook创建
ceph
集群配置更改创建
Ceph
集群*安装
ceph
snapshot控制器安装
ceph
客户端工具部署
ceph
-tools查看mgrservice
Ceph
dashboard
常鱼
·
2023-04-03 09:26
分布式存储
k8s
linux
运维
服务器
容器 I/O 性能诊断:到底哪个应用是带宽杀手?
01容器化应用I/O性能优化挑战Aliware目前在云上的容器化应用场景选择存储方案时,通常会使用
块存储
(EBS),文件存储(NAS,CPFS,DBFS)和对象存储(OSS)三种,POSIX语义的文件系统是面向容器存储使用场景最直观和最友好
java卖客
·
2023-04-03 08:09
kubernetes
云原生
运维
kvm安装centos7_ProxmoxVE 之 5.3集群安装及使用
ceph
(微信号:yuweibing7803,公众号:Openstack私有云)PVE5.3版本对于磁盘的管理,包括对分布式存储
ceph
的支持据说都更加友好了。
weixin_39632212
·
2023-04-03 08:44
kvm安装centos7
Ceph
对象存储部署
Ceph
对象存储部署与使用1.安装client操作系统(1)虚拟机基础设置在VMware中创建一台虚拟机,操作系统为CentOS-7-x86_64-DVD-1908,硬盘大小为20G,并将虚拟机的名字设为
白菜go
·
2023-04-03 06:21
区块链技术之分布式存储
分布式存储是一种数据存储技术,它可以跨多个物理服务器传播文件、
块存储
或者对象存储,以实现高可用性、数据备份和灾难恢复目的。可扩展的存储服务以及数据中心的巨大数据池。
闲谈共视
·
2023-04-03 06:43
应用开发评论
区块链
分布式账本
分布式存储
ceph
(分布式存储)
文章目录一、
ceph
的组件和功能1.简介2.层次结构和功能二、
ceph
的数据读写流程三、使用
ceph
-deploy安装一个最少三个节点的
ceph
集群(推荐3个或以上的磁盘作为专用osd)1.基础配置配置主机名给三台主机写入
掌九
·
2023-04-03 05:26
分布式存储
分布式
swift
开发语言
Ceph
故障检测机制
1.节点故障检测概述节点的故障检测是分布式系统无法回避的问题,集群需要感知节点的存活,并作出适当的调整。通常我们采用心跳的方式来进行故障检测,并认为能正常与外界保持心跳的节点便能够正常提供服务。一个好的故障检测策略应该能够做到:及时:节点发生异常如宕机或网络中断时,集群可以在可接受的时间范围内感知;适当的压力:包括对节点的压力,和对网络的压力;容忍网络抖动扩散机制:节点存活状态改变导致的元信息变化
Lucien168
·
2023-04-03 05:17
云计算存储之
Ceph
有哪些核心组件?
Ceph
有哪些核心组件?
Ceph
的核心组件包括
Ceph
OSD、
Ceph
Monitor和
Ceph
MDS。
weixin_33896726
·
2023-04-03 05:39
数据结构与算法
运维
Ceph
集群基础
文章目录一、
Ceph
集群角色二、
Ceph
元数据保存方式2.1xattrs(扩展属性)2.2omap(objectmap对象映射)2.2.1filestore与leveldb2.2.2bluestore与
LlinCK
·
2023-04-03 05:30
Ceph
分布式
ceph
分布式存储
数据库
Ceph
主要概念
3.5ObjectStore模块3.5.1FileStore3.5.2Bluestore4数据peering和恢复4.1数据peering机制4.2数据恢复5数据端到端一致性1整体架构介绍1.1总体介绍
Ceph
supermary0712
·
2023-04-03 04:21
ceph
ceph
Anolis OS8.6QU1通过
ceph
adm部署
ceph
17.2.0分布式
块存储
(一)部署首个mon节点和图形界面
本文尝试在龙蜥AnolisOS8.6QU1上通过
ceph
adm部署
ceph
17.2.0分布式
块存储
,实现国产化操作系统上的存储系统构建。
forestqq
·
2023-04-03 04:11
国产操作系统
容器
存储
分布式
docker
运维
ceph
---
ceph
osd DNE状态对集群的影响
查看pg的状态(
ceph
pgmap$PGID),磁盘的分组存在osd无法分配问题,重启osd都不行,删除状态为DNE的osd后,creating状态的pg可以分配o
yysalad
·
2023-04-03 04:26
ceph
ceph
集群单个osd超95%导致集群无法读写集群恢复过程
ceph
新手,最近遇到的一个问题,已解决,请参考,文中有错误的话欢迎指正故障描述openstack环境中若干台虚拟机无法正常操作,尝试从horizon中重启虚拟机,重启过程中虚拟机状态一直停留在”poweringon
00lingylf
·
2023-04-03 04:26
ceph
中 pg和pgp的关系
pg和pgp的关系:pg是用来存放object的,pgp相当于是pg存放osd的一种排列组合,我举个例子,比如有3个osd,osd.1、osd.2和osd.3,副本数是2,如果pgp的数目为1,那么pg存放的osd组合就只有一种,可能是[osd.1,osd.2],那么所有的pg主从副本分别存放到osd.1和osd.2,如果pgp设为2,那么其osd组合可以两种,可能是[osd.1,osd.2]和[
武晓兵
·
2023-04-03 04:51
ceph存储测试
ceph
数据恢复机制_
ceph
数据恢复—系统盘故障,如何恢复集群
1将osd从crush中删除,并删除对应的osd,和auth,host
ceph
osdcrushrmosd.X
ceph
osdrmX
ceph
authdelosd.X2、将主机从集群中删除
ceph
osdcrushrm
weixin_39532628
·
2023-04-03 04:42
ceph
数据恢复机制
ceph
集群之-添加删除OSD
2019独角兽企业重金招聘Python工程师标准>>>关于
Ceph
OSD添加操作步骤如下:1、创建一个OSD,即:#
ceph
osdcreate[uuid]#若没有uuid参数,则该命令自动生成一个uuid
weixin_33938733
·
2023-04-03 04:10
python
Ceph
集群块设备使用-创建和使用OSD
创建
Ceph
块设备[root@node2~]#rbdcreateblock-device4--size5G--image-format1rbd:imageformat1isdeprecated查看块设备信息
weixin_34252090
·
2023-04-03 04:40
5g
ceph
存储 "
ceph
集群浅析五"
Ceph
的工作原理及流程
本文将对
Ceph
的工作原理和若干关键工作流程进行扼要介绍。如前所述,由于
Ceph
的功能实现本质上依托于RADOS,因而,此处的介绍事实上也是针对RADOS进行。
skdkjzz
·
2023-04-03 04:38
ceph存储
ceph
osd 迁移方案
说明参考
ceph
mon扩容缩容步骤
ceph
mgr在线迁移(扩容缩容)目标
ceph
集群迁移原理所有
ceph
client,
ceph
osd,
ceph
mgr角色启动时需要连接
ceph
mon在
ceph
osd工作过程中
Terry_Tsang
·
2023-04-03 04:36
ceph
Ceph
集群在线迁移方案
一环境准备1.1场景介绍最近收到一个需求,客户希望将运行了多年的
ceph
集群服务器全部更换掉,因为这些老服务器性能和容量都已经无法满足当前业务的需求,并希望在迁移到新服务器的过程中,业务不中断。
jiangxi_
·
2023-04-03 04:25
ceph
1.
ceph
的组件和功能2.
ceph
的数据读写流程3.使用
ceph
-deploy安装一个最少三个节点的
ceph
集群 推荐3个或以上的磁盘作为专用osd
一、使用
ceph
-deploy安装一个最少三个节点的
ceph
集群使用3个或以上的磁盘作为专用osd配置node1到所有节点root用户免密钥互信。
nightingaleV
·
2023-04-03 04:52
jvm
osd踢出集群并添加集群
osd踢出集群并添加集群因为物理服务器硬盘故障导致osddown,所以需要将down掉的osd踢出集群,等待硬盘更换完成后再次添加进集群[root@
ceph
-1
ceph
]#umount/var/lib/
m0_51832408
·
2023-04-03 04:17
运维
CEPH
Ubuntu14.04 集群添加 OSD 节点
在
ceph
-admin-node节点上为节点
ceph
-node1添加两个虚拟磁盘,挂载盘符为/dev/vdb,/dev/vdc,前者为osddata存放用,/dev/vdc为osdjournal使用。
jiankangshiye
·
2023-04-03 04:16
ceph
ceph
删除
Ceph
集群里的某个节点的全部OSD (1 of 3)
前言:如果你的
ceph
集群的数据只存在在该节点的所有OSD上,删除该节点的OSD会导致数据丢失。如果集群配置了冗余replication或者EC,需要做pg修复。
Yannick_J
·
2023-04-03 04:13
Ceph
ceph
删除osd的一些问题
数据和日志在同一个磁盘上的osd将osd.0踢出集群,执行
ceph
osdout0停止此osd进程,执行systemctlstop
ceph
-osd@0然后执行:
ceph
osdcrushremoveosd.0
beisaodou0721
·
2023-04-03 04:12
第二课
ceph
基础学习-OSD扩容换盘和集群运维
第二课
ceph
基础学习-OSD扩容换盘和集群运维文章目录第二课
ceph
基础学习-OSD扩容换盘和集群运维第一节OSD扩容1.1扩容背景1.2横向扩容1.3纵向扩容1.4数据重分步rebalancing1.5OSD
道教儒佛电磁波
·
2023-04-03 03:12
Ceph入门和实践
运维
linux
服务器
Ceph
OSD简介
Ceph
OSD是
Ceph
存储集群最重要的组件,
Ceph
OSD将数据以对象的形式存储到集群中每个节点的物理磁盘上,完成存储工作由OSDDaemon进程完成。
ZHANGJNWEI
·
2023-04-03 03:11
ceph
基于
Ceph
的 Kubernetes 数据持久化
本文通过简单介绍
Ceph
的功能特性与安装配置,并结合应用场景进行实践讲解,演示如何利用
Ceph
实现Kubernetes及常用业务需求场景下的数据持久化。
Docker_
·
2023-04-03 03:10
ceph
介绍、原理、架构、算法...个人学习记录
前言之前公司安排出差支援非结构化项目,采用springcloud+(redis+mysql数据冷热处理)+s3+es+
ceph
+kafka还涉及一些区块链技术等等…,在与大佬的沟通交流下对
ceph
产生了兴趣
偷偷学习被我发现
·
2023-04-03 03:04
大数据
架构
ceph
架构
学习
Iscsi
服务端的存储类型2.在服务端3.在客户端1.iscsi介绍1.1iscsi简介iSCSI的全称是:Internet小型计算机系统接口,是一个基于TCP/IP的协议,主要用于通过IP网络仿真SCSI,从而为远程
块存储
设备提供数据传输和管理
Pika Yxy
·
2023-04-03 03:20
RE
linux
nfs
解决 nginx 出现 413 Request Entity Too Large 的问题
用所用的php请求解析服务是fpm,则检查/etc/php5/fpm/php.ini文件中的参数upload_max_filesize=20Mpost_max_size=20M重启fpm服务servi
ceph
p5
lookphp
·
2023-04-02 23:03
HDFS的功能和架构原理详解
目录一、分布式文件系统的理解二、HDFS的架构详细剖析1.文件分
块存储
&3副本2.抽象成数据块的好处3.HDFS架构4.扩展三、HDFS的shell命令操作四、HDFS安全模式一、分布式文件系统的理解最直观的理解便是三个臭皮匠
皮哥四月红
·
2023-04-02 06:28
Hadoop
hadoop
大数据
hdfs
Hadoop - HDFS文件系统
3、分布式存储系统的核心属性及功能含义一、分布式存储的优点二、元数据记录的功能三、分
块存储
好处四、副本机制的作用4、HDFS简介HDFS适用场景5、HDFS主从架构分
块存储
副本机制元数据管理数据
块存储
6
Wangsh@
·
2023-04-02 03:54
大数据
hdfs
大数据
hadoop
nginx上传文件,upload模块编译问题
虽然现在普遍的分布式文件存储方案很多,fastds,
ceph
,tfs,gfs等,而且云上的存储更加无脑,OSS,S3这些,只要你开通一下,然后照着官方的例子传参调用即可,随用随传,而且更加直观方便。
灬solver
·
2023-04-02 02:39
云计算 第三章 Amazon云计算AWS
Dynamo的存储节点3.数据均衡分布的问题4.数据备份5.数据冲突问题3.2弹性计算云EC23.2.1EC2的基本架构1.基本架构2.Amazon机器映象(AMI)3.实例(Instance)4.弹性
块存储
是我,Zack
·
2023-04-01 16:16
#
云计算
大数据
云计算
AWS云计算技术架构探索系列之四-存储
一、前言目前主流的三种数据存储类型,包括文件存储,对象存储以及
块存储
。文件存储,是最常用的存储类型,以文件的形式存放数据,能将所有的目录、文件形成一个有层次的树形结构来管理。
恰恰虎
·
2023-04-01 15:02
AWS
aws
存储
S3
EFS
EBS
基于SpringBoot+Vue家乡特色推荐系统
python爬虫入门进阶❤️4.
Ceph
实战,从原理到实战应有尽有。
Ceph
实战
码农飞哥
·
2023-04-01 15:45
毕业设计
spring
boot
vue.js
java
毕业设计
安装部署 —— nginx配置请求分布式文件系统FastDFS环境安装(CentOS)(FastDFS 一)
当然目前的分布式文件系统工具比较多(比如:mogileFS,fastDFS,mooseFS,glusterFS,
ceph
,lustre,NFS等),本文主要介绍如何安装与使用FastDFS分布式文件系统
有人把我昵称抢了
·
2023-04-01 14:45
安装部署
fastdfs
centos
分布式文件系统
Nginx
openstack(mitaka)四--构建私有网络、
块存储
、镜像封装
目录一、构建私有网络1配置控制节点的私有网络2配置计算节点的私有网络二、构建
块存储
设备1配置控制节点2安装并配置块节点三、镜像封装一、构建私有网络根据第一章节配置时设置的共有网络,现在共有网络上进行添加
Hemi Fate
·
2023-04-01 13:28
openstack
网络
openstack
linux
FastDFS轻量级分布式文件存储系统
常见的分布式文件系统有:FastDFS、GFS、HDFS、Lustre、
Ceph
、GridFS、TF等。
路上的追梦人
·
2023-04-01 11:01
FastDFS
文件
大数据
在k8s高可用集群上用ROOK部署
ceph
集群并创建PVC
Rook概述
Ceph
简介
Ceph
是一种高度可扩展的分布式存储解决方案,提供对象、文件和
块存储
。在每个存储节点上,将找到
Ceph
存储对象的文件系统和
Ceph
OSD(对象存储守护程序)进程。
Jacket Li
·
2023-04-01 10:52
docker
kubernetes
java
python
分布式
使用Rook+
Ceph
在Kubernetes上作持久存储
当我在Seagate担任云架构师时,我已经对
Ceph
进行了性能和规模测试,并且在过去的一年里玩过Rook,所以我决定安装Rook+
Ceph
,并将其用于Kubernetes集群的数据存储。
王伯爵
·
2023-04-01 10:52
云原生存储
kubernetes
持久化
数据持久化
上一页
30
31
32
33
34
35
36
37
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他