分布式存储Ceph

分布式协调服务-zookeeper

数据库、分布式存储无序性进程之间的消息通信，会出现顺序不一致问题分布式环境下面临的问题网络通信网络本身的不可靠性，因此会涉及到一些网络通信的问题网络分区（脑裂）当网络发生异常倒是分布式系统中部分节点之间的网络延时不断增大
猿日记·2024-01-30 01:14

浅析大数据汇总

传统的数据库技术已经无法满足对这些海量数据的存储和处理需求，因此出现了分布式存储和计算技术，如Hadoop、HBase等。
shinelord明·2024-01-29 19:10

HDFS

是Hadoop核心组件之一，作为最底层的分布式存储服务而存在。
VincentLeon·2024-01-29 08:44

Ceph部署

目录1、存储基础2、Ceph简介3、Ceph优势4、Ceph架构5、Ceph核心组件6、OSD存储后端7、Ceph数据的存储过程8、Ceph版本发行生命周期--------------------基于ceph-deploy
bob_gem·2024-01-29 02:39

Ceph应用

目录--------------------创建CephFS文件系统MDS接口--------------------//客户端操作--------------------创建Ceph块存储系统RBD接口
bob_gem·2024-01-29 02:38

redis cluster水平扩容中的客户端处理逻辑

作为一个分布式K-V存储，rediscluster通过将数据切分为16384个slot进行分布式存储，用公式表示如下：作为一个支持水平扩容的分布式系统，redis集群在扩容时通常遵循如下步骤：1.在新节点启动
kakaweb·2024-01-28 22:15

【脑电信号处理与特征提取】P2-夏晓磊：脑电的神经起源与测量

夏晓磊：脑电的神经起源与测量专业术语electroencephalography(EEG)脑电图ExcitatoryPostsynapticPotential(EPSP)兴奋性突触后电位Electrocorticography
头发没了还会再长·2024-01-28 21:44

大数据处理系统的架构

Lambda架构的主要组成部分包括：批处理层（BatchLayer）：存储：使用分布式存储系统（如ApacheHadoopHDFS）
demo123567·2024-01-28 14:58

k8s学习-DaemonSet和Job

DaemonSet的典型应用场景有：（1）在集群的每个节点上运⾏存储Daemon，比如glusterd或ceph。（2）在每个节点上运行日志收集Daemon，比如flunentd或logstash。
ByteX·2024-01-28 14:55

etcd技术解析：构建高可用分布式系统的利器

2.etcd简介etcd是一个开源的、分布式的键值存储系统，使用Go语言编写，基于Raft一致性算法实现数据的分布式存储和管理。它主要用于在分布式系统中存储配置信息、元数据等关键数据，提供了强
Memory_2020·2024-01-27 20:38

apache 前30个开源项目

个具有代表性的项目序号项目名称功能描述业务范围活跃度（参考性描述）1ApacheHTTPServer高性能Web服务器提供HTTP服务支持非常活跃2ApacheTomcatJava应用服务器部署JavaWeb应用程序非常活跃3ApacheHadoop分布式存储和计算框架大数据处理非常活跃
临水逸·2024-01-27 17:35

Ceph分布式存储自动化运维平台开发实践

文章目录1.背景介绍1.1什么是Ceph？
抛物线.·2024-01-27 12:34

Ceph篇之搭建Ceph可视化界面Dashboard

一、CephDashboardCeph提供了原生的Dashboard功能，通过Dashboard可以获取Ceph集群的各种基本状态信息等。
听说唐僧不吃肉·2024-01-26 13:09

【ceph】ceph如何排查哪个osd曾经down过，超级实用

python运维脚本》：python运维脚本实践《shell》：shell学习《terraform》持续更新中：terraform_Aws学习零基础入门到最佳实战《k8》暂未更新《docker学习》暂未更新《ceph
向往风的男子·2024-01-26 13:09

一文了解Ceph原理以及常见ceph指令

一、Ceph介绍什么是分布式存储？与集中式存储相反，分布式存储通常采用存储单元集群的形式。并且具有在集群节点之间进行数据同步和协调的机制。
听说唐僧不吃肉·2024-01-26 13:08

二 Ceph存储工作原理及实现

认识Cephceph是一个能提供文件存储，快存储和对象存储的分布式存储系统。
假面生·2024-01-26 13:38

ceph recovery的速度控制

转自https://ceph.com/planet/ceph-recover的速度控制/前言磁盘损坏对于一个大集群来说，可以说是必然发生的事情，即使再小的概率，磁盘量上去，总会坏那么几块盘，这个时候就会触发内部的修复过程
凌云靖宇·2024-01-26 13:05

Ceph的可靠性恢复原理 Scrub机制

Ceph的可靠性恢复原理:Scrub机制Scrub是Ceph集群进行的副本间的数据扫描操作，以检测副本间的数据一致性，包括Scrub和Deep-Scrub，其中Scrub只是对元数据信息进行扫描，相对比较快
HHFQ·2024-01-26 12:34

Ceph篇之利用Prometheus监控ceph服务

一、Ceph内置模块Cephmanager内部的模块中包含了prometheus的监控模块,并监听在每个manager节点的9283端口，该端口用于将采集到的信息通过http接口向prometheus提供数据
听说唐僧不吃肉·2024-01-26 12:02

ceph之rados设计原理与实现第七章：在线数据恢复——Recovery和Backfill

由于每个写操作都需要产生和操作日志，所以处于效率考虑，必须定时对日志进行裁剪。由于PG保存的日志条目有限，按照能否依靠日志进行数据恢复，存在两种数据恢复方式，分别为Recovery和Backfill。Recovery指只需要修复副本（PG）上与权威日志不同步的那部分对象（即降级对象即可）。missing已经记录Backfill指以PG全体对象为目标的数据迁移过程。例如所在OSD离线太久而期间产生大
mxy990811·2024-01-26 12:32

【ceph】ceph关于清洗数据scrub的参数分析

python运维脚本》：python运维脚本实践《shell》：shell学习《terraform》持续更新中：terraform_Aws学习零基础入门到最佳实战《k8》暂未更新《docker学习》暂未更新《ceph
向往风的男子·2024-01-26 12:32

ceph之rados设计原理与实现第六章：移动的对象载体——PG

PG相关重要概念Log有一个队列，顺序记录了该PG接受的所有客户端写请求，Info则记录了该PG的Log队列最新和最旧的日志指针。Info是PG的元数据PG有几个副本，就有几个实例，其中有一个Primary，每个实例都有Info，Log队列。关于Acting、Up、PGTemp：Up包含的是由Crush计算出来的OSD序列，如果计算出的OSD不合理，比如新加入的OSD没有PG的历史副本，那么就会选
mxy990811·2024-01-26 12:01

什么是超融合？

二、超融合原理2.1、超融合三大组件2.2、超融合和传统架构对比2.3、传统方案和超融合软件架构与资源管理模式对比三、超融合与SDS、分布式存储关系3.1、SDS是什么？3.2、分布式存储是什么？
IT搬砖我最拿手·2024-01-26 11:27

从Elasticsearch来看分布式系统架构设计

这篇文章中，重点会讨论下分布式数据系统的设计，比如分布式存储系统，分布式搜索系统，分布式分析系统等。我们先来简单看下Elasticsearch的架构。
大叶子不小·2024-01-26 10:11

教你三步实现CDH到星环TDH的平滑迁移

TranswarpDataHub（TDH）是星环科技自主研发的企业级一站式多模型大数据基础平台，其领先的多模型技术架构提供统一的接口层，统一的计算引擎层，统一的分布式存储管理层，统一的资源调度层，以及异构存储引擎层
星环科技·2024-01-26 07:08

跟着Microbiome学作图：R语言ggplot2画堆积柱形图展示微生物门水平的相对丰度

论文Reduceddiversityandalteredcompositionofthegutmicrobiomeinindividualswithmyalgicencephalomyelitis/chronicfatiguesyndrome
小明的数据分析笔记本·2024-01-26 04:46

PHP中一些特征函数导致的漏洞总结

第一部分：特征函数接触到几个常用的函数：\=\=\=\=\=md5intvalstrposin_arraypreg_matchstr_replacephp用这些函数实现过滤一些代码，漏洞可能有一些特性，
carrot11223·2024-01-25 10:36

2023年第十六届中国系统架构师大会（SACC2023）：核心内容与学习收获（附大会核心PPT下载）

大会按照技术主线分为传统架构与运维技术发展（高可用架构、云架构、分布式存储、预测性智能运维）、数字化转型企业架构应用（金融行业与制造业）、IT技术前瞻架构（分布式与微服务架构、
百家峰会·2024-01-25 07:57

Cephadm部署使用rgw对象网关（s3cmd和Java）

s3cmd）创建radosgwuser安装s3cmd配置s3cmds3cmd使用使用对象存储（Java代码）引入依赖编码测试参考前提RGW的部署基于以下集群，集群信息如下：重要概念区域（zone）:一个ceph
gengduc·2024-01-25 06:38

ceph状态报：pgs not deep-scrubbed in time

问题描述ceph-s状态输出如下：分析过程scrubbed功能用于PG，是为了检测PG分布到各osds上的数据是否一致，deep-scrubbed的检测模式除了检测数据的元数据信息外，还会检测数据的内容是否一致
小鲸鱼大梦想·2024-01-24 18:28

万物皆世界，人人得智慧

我对王欣师兄的“一图显世界”的思考：图片发自App《万物皆世界人人悟智慧》在大数据、云计算、AI、物联网、区块链的深度普及基础上，区块链作为一个“分布式存储与个体价值体现”的最好技术革新，以比特币为载体迅猛的来到了人们面前
众心无相·2024-01-24 18:02

mkfs.xfs无法格式化问题cannot open /dev/sdm: Device or resource busy

实验环境：centos7服务器问题：之前服务器做过ceph，之后格式化磁盘，数据盘作raid0。系统装好后，查看设备信息。
运维-大白同学·2024-01-24 18:44

从数据处理到规模化应用

HashData等现代数据仓库解决方案具有以下特点：高性能：通过分布式存储和计算技术，HashData能够提供高吞吐量和低
百度_开发者中心·2024-01-24 16:14

ELK 企业级日志分析系统

ElasticSearch：是基于Lucene（一个全文检索引擎的架构）开发的分布式存储检索引擎，用来存储各类日志。
睡美人章繁·2024-01-24 14:54

【星海随笔】ceph存储池

ceph部件很多。写到一个文章里太多了。每个分开写，找起来舒服一些PG（PlacementGroup）是一个逻辑概念，用于数据的分布和复制。注：OSD是负责物理存储的进程，它管理存储在磁盘上的数据。
活跃的煤矿打工人·2024-01-24 12:57

Mysql数据库主从复制和分库分表浅析

内容提供：李智慧，前阿里巴巴技术专家，《大型网站技术架构》作者分布式数据库和分布式存储是分布式系统中难度最大、挑战最大，也是最容易出问题的地方。
一颗向上的草莓·2024-01-24 11:30

分布式存储mysql

搭建两从两主服务器再搭建一台mycat启动mycat1.创建添加数据源将后端数据库服务器添加到mycat上面,以便管理和代理,让mycat和mysql建立连接添加方法如下59只实现写60只实现读61实现写62实现读MySQL>/*+mycat:createdatasource{"name":"dw0","url":"jdbc:mysql://192.168.88.59:3306","user":"
CN_HW·2024-01-24 08:47

从字节跳动面试中快速胜出：五天三面，这份Java面试笔记功不可没

（开放地址法，不是很了解，听过）如果使用hash进行分布式存储有什么弊端？（可扩展性不强，例如增加节点和节点宕机的情况）如何解决？
技术琐事·2024-01-24 01:16

分布式存储

1存储基础1.1单机存储设备DAS（直接附加存储，是直接接到计算机打的主板总线上去的存储）UDE、SATA、SCSI、SAS、USB接口的磁盘所谓的接口就是一种存储设备驱动下的磁盘设备，提供块级别的存储NAS（网络附加存储，是通过网络附加到当前主机文件系统之上的存储NFS、CIFS、FTP文件系统级别的存储，本身就是一个做好的文件系统，通过nfs接口在用户空间输出后，客户端基于内核模块与远程主机进
王德发666·2024-01-23 16:16

Ceph应用

ceph补充1Ceph管理1.1资源池的管理上面我们已经完成了Ceph集群的部署，但是我们如何向Ceph中存储数据呢？首先我们需要在Ceph中定义一个Pool资源池。
王德发666·2024-01-23 16:15

Openstack云计算(六)Openstack环境对接ceph

requiretty\ncentALL=(root)NOPASSWD:ALL' |tee/etc/sudoers.d/cephchmod440/etc/sudoers.d/ceph（2）openstack
wmd13164306712·2024-01-23 11:59

CentOS 7部署 Ceph分布式存储架构

SE4nJH1.概述随着OpenStack日渐成为开源云计算的标准软件栈，Ceph也已经成为OpenStack的首选后端存储。
大帅同学·2024-01-23 09:48

K8s（八）持久化存储emptyDir、hostpath、nfs

kubectlexplainpods.spec.volumesawsElasticBlockStore#AWSElasticBlockStore（EBS）卷的配置对象azureDisk#AzureDisk卷的配置对象azureFile#AzureFile卷的配置对象cephfs
心葉493·2024-01-23 08:38

Hadoop -- HDFS

1.什么是Hadoophadoop中有3个核心组件：分布式文件系统：HDFS——实现将文件分布式存储在很多的服务器上分布式运算编程框架：MAPREDUCE——实现在很多机器上分布式并行运算分布式资源调度平台
Cool_Pepsi·2024-01-23 02:42

k8s k3s云容器性能测试-边端云端性能测试

集群里创建POD，在POD里为集群加压e.g.memtester网络:创建两个pod分别起在两个物理节点上，使用iperf3给网络加压存储:通过MEC创建一块大磁盘,，通过DD或其他工具将磁盘写满(e.g.ceph
东方狱兔·2024-01-22 23:59

SSH免密码登录设置

则在每一台机器下执行如下命令：ssh-keygen连续回车，有yes的直接确认yes，直到密文生成；然后通过ssh-copy-idroot@hostname命令把密文发给三个机器ssh-copy-idroot@ceph1ssh-copy-idroot
华木公子·2024-01-22 22:52

关于云计算你必须知道的一些事（一）

软件定义分布式存储是
money666·2024-01-22 19:17

架构师的36项修炼-09架构实战案例分析

2.分析一个分布式存储的架构案例，看如何去设计一个分布式存储系统，底层存储系统的架构是如何设计的。3.分析一个反应式编程框架的架构案例，看开发框架的架构是如何设计的。这三类系统架
机智阳·2024-01-22 18:07

容器与持久化存储:容器的开源分布式存储方案选型

导读：容器得到了越来越广泛的使用，以下问题困扰架构师：容器正逐渐成为云上应用的标准部署单元，容器该如何解决持久化存储的需求？容器编排系统已成当红炸子鸡，在无状态的容器中，存储系统面临哪些新的挑战？容器与持久化存储系统是融合架构还是分离架构？本文探讨了容器和持久化存储相关知识，由张朝潞在高可用架构群分享，转载请注明来自高可用架构公众号ArchNotes。张朝潞有容云平台存储架构师张朝潞，有容云平台存
高可用架构·2024-01-22 14:50

容器与持久化存储：容器的开源分布式存储方案选型

曾工作于UIT、华三、腾讯、专注分布式存储的研究和开发，对云计算存储解决方案方面有很深的技术造诣和行业理解。一．容器对存储插件的定义以Docker为例，Doc
weixin_33805743·2024-01-22 14:48
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他