问题现象：日志错误，一般出现在节点异常掉电或者其他异常/crc...skipping2020-03-2309:40:54.3347f6b38bffb80-1bluestore(/var/lib/ceph

5.1StateMachine5.2FailoverOverview5.3PGPeering5.4Recovery/Backfill6引擎概述7FileStore7.1架构设计7.2对外接口7.3日志类型7.4幂等操作8BlueStore8.1

所以引入了BlueStore直接管理文件。1.设计原理文件系统提供的核心操作就是读和写，BlueStore也是。

1.基本原理介绍1.1ceph中的对象(object)在Ceph存储中，一切数据最终都会以对象(Object)的形式存储在硬盘（OSD）上，每个的Object默认大小为4M。通过rados命令，可以查看一个存储池中的所有object信息，例如下面的命令列出了存储池中的所有object。rados-ppool-842bd759258f4ec9843afd1e78549350ls1.2rbd块与obj

文章目录IntroductionAioContextWriteTypeSimpleWriteDeferredWriteSimpleWrite+DeferredWriteWriteProcessOSD::osd_op_tpBlockDevice::aio_threadBlueStore::kv_sync_threadBlueStore::kv_finalize_threadDeferredIOOrd

本文主要介绍了通过ceph-objectstore-tool和ceph-dencoder友好的展示出存储池对象中的一些基本信息.由于bluestore中已经看不到filestore那样的目录结构了，所以文件系统的

主要从pg操作层面，osdmap操作层面和对象操作层面介绍的.下面是help说明.Allowedoptions:--helpproducehelpmessage--typeargArgisoneof[bluestore

前言此工具主要是作用是针对ceph中各种kv存储进行操作和展示的工具.先看一下help列表[root@test-1ceph]#ceph-kvstore-tool--helpUsage:ceph-kvstore-toolcommand[args...]Commands:list[prefix]//列出所有key，可以指定prefixlist-crc[prefix]//列出crcexists[key]

bluestore直接管理裸设备，实现在用户态下使用linuxaio直接对裸设备进行I/O操作写IO流程：一个I/O在bluestore里经历了多个线程和队列才最终完成，对于非WAL的写，比如对齐写、写到新的

Reliab1e，Autonomic，Distributedobjectstore2）LIBRADOS基础库3）高层应用接口4）应用层4、ceph核心组件5、OSD存储方式1）方式一：Filestore2）方式二：Bluestore6

1.3.1、分布式存储的类型二、Ceph简介三、Ceph优势四、Ceph架构五、Ceph核心组件5.1、Pool中数据保存方式支持两种类型：5.2、Pool、PG和OSD的关系六、OSD存储后端6.1、BlueStore

ceph-bluestore-tool工具的简介[root@test-1/]#ceph-bluestore-tool--helpAlloptions:Options:-h[--help]producehelpmessage

前言Ceph新的存储引擎BlueStore已成为默认的存储引擎，抛弃了对传统文件系统的依赖，直接管理裸设备，通过Libaio的方式进行读写。

2.2ZNS的架构实现先看看支持zone存储的SMRHDD以及支持zonefs的nvmessd的整个存储栈形态其中对于ceph这样的应用来说bluestore或者Seastore这样的后端引擎是直接管理裸设备的

Tag:ceph12.2.4BlueStore空间初始化BlueStore磁盘空间管理总述OSD挂载目录基于文件系统管理，Slow、WAL、DB空间区域基于裸盘管理；Slow区域：此类空间主要用于存储对象数据

论开源分布式存储，Ceph大名鼎鼎。用同一个存储池融合提供块存储、对象存储、集群文件系统。在国内有近年使用量迅速攀升。大型公司内部研发云虚拟化平台，常使用开源方案Openstack或者Kubernetes，配套的为虚机或容器提供块存储的开源方案，几乎为Ceph莫属。对象存储几年发展迅速，图像、视频、网站资源等皆可适用，有初创公司基于Ceph搭建存储服务方案。企业存储方面，国外有Redhat收购了I

前言BlueStore可以理解为一个支持ACID的本地日志型文件系统。所有的读写都是以Transaction进行，又因为支持覆盖写，所以写流程设计的相对复杂一些，涉及到一系列的状态转换。

所有其它的路都是不完整的，是人的逃避方式，是对大众理想的懦弱回归，是随波逐流，是对内心的恐惧——赫尔曼·黑塞《德米安》BlueStore简介从Ceph12.2.0（Luminous）

软件定义的存储SDS）5、分布式存储的类型二、Ceph简介1、Ceph优势2、Ceph架构3、Ceph核心组件（1）、Pool中数据保存方式支持两种类型（2）、PoolPG和OSD的关系4、OSD存储后端BlueStore

分布式存储的类型1.2Ceph简介1.3Ceph优势1.4Ceph架构1.5Ceph核心组件1.5.1Pool中数据保存方式支持两种类型1.5.2Pool、PG和OSD的关系1.6OSD存储后端1.6.1BlueStore

Ceph分布式文件系统架构4.Ceph存储后端的演进5.基于本地文件系统构建存储后端的挑战5.1高效的事务机制5.2快速的元数据(metadata)操作5.3对于新型存储设备的支持5.4其他的挑战6.BlueStore6.1BlueFS

存储基础单机存储设备单机存储的问题分布式存储（软件定义的存储SDS）分布式存储的类型2、Ceph简介3、Ceph优势4、Ceph架构5、Ceph核心组件Pool中数据保存方式支持两种类型：Pool、PG和OSD的关系：6、OSD存储后端BlueStore

存储基础单机存储设备单机存储的问题商业存储解决方案二、分布式存储（软件定义的存储SDS）分布式存储的类型Ceph优势Ceph架构Ceph核心组件Pool中数据保存方式支持两种类型：Pool、PG和OSD的关系OSD存储后端BlueStore

单机存储的问题1.5商业存储解决方案2.分布式存储（软件定义的存储SDS）分布式存储的类型3.Ceph简介4.Ceph优势5.Ceph架构6.Ceph核心组件7.OSD存储后端7.1Filestore7.2Bluestore8

bluestore直接管理裸设备，实现在用户态下使用linuxaio直接对裸设备进行I/O操作image.png写IO流程：一个I/O在bluestore里经历了多个线程和队列才最终完成，对于非WAL的写

最近在群里看到群友们聊到了ceph的底层存储引擎Bluestore。不由得眼前一亮，之前没有过多了解过底层的存储引擎，所以就通过百度及官网文档简单了解了一下异同点。

前文我们创建了一个单节点的Ceph集群，并且创建了2个基于BlueStore的OSD。

在bluestore中时通rocksenv为rockdb来运行环境来让rockdb存储元数据。

文章目录疑问1：为什么有了FreelistManager还需要Allocator问题澄清疑问2：逻辑段和位图区别DataStructureInitUsageBlueFSBlueStoreConfigSummary疑问1：为什么有了FreelistManager还需要Allocator问题澄清1、BlueFS不用FreelistManager管理块设备空间的使用情况，而是将其持久化记录在文件系统的日

文章目录引言BlueFS本文结论BlueFS元数据replay代码BlueFS内存元数据replay代码函数入口：BlueFS::mount回放superblock：BlueFS::_open_super回放journal：BlueFS::_replay元数据encode/decode函数encodedecode参考文献引言BlueFSBlueFS用来存储RocksDB相关的file文件，在故障时

文章目录概述BlueStore数据存储为什么需要BlueFS？

现在是2020年4月，ceph的发展已经到了BlueStore替代FileStore。

5.1StateMachine5.2FailoverOverview5.3PGPeering5.4Recovery/Backfill6引擎概述7FileStore7.1架构设计7.2对外接口7.3日志类型7.4幂等操作8BlueStore8.1

文章目录一、Ceph集群角色二、Ceph元数据保存方式2.1xattrs(扩展属性)2.2omap(objectmap对象映射)2.2.1filestore与leveldb2.2.2bluestore与

2.1Monitor2.2心跳管理3数据读写3.1OSD3.2读写流程3.3POOL和PG3.4CRUSH算法3.4.1Straw算法3.5ObjectStore模块3.5.1FileStore3.5.2Bluestore4

在许多值得注意的更改中，此版本修复了14.2.3中引入的严重BlueStore错误。建议所有Nautilus用户升级到此版本。

相关命令配置文件通过中心化数据库配置，参考配置数据库,如果需要改ceph.conf也可以参考ceph.conf,通常根据配置生效时间选择不同的方式，比如bluestore最小分配单元只能在初始化osd的时候配置

Ceph底层存储引擎经过了数次变迁，目前最常用的是BlueStore，在Jewel版本中引入，用来取代FileStore。

前文我们创建了一个单节点的Ceph集群，并且创建了2个基于BlueStore的OSD。

为什么bluestore?

本次部署的ceph使用bluestore类型的存储。

ceph后端支持多种存储引擎，以插件化的形式来进行管理使用，目前支持filestore，kvstore，memstore以及bluestore，默认使用的是filestore，但是目前bluestore

ceph消息处理逻辑架构图ceph后端支持多种存储引擎，以插件化的形式来进行管理使用，目前支持filestore，kvstore，memstore以及bluestore，目前默认使用的是filestore

通过queue_transaction将IO送入BlueStore，之后bluestore通过状态机的方式控制整个IO流程。关键代码在BlueStore::_txc_state_proc()函数中。

osd::mkfs()----BlueStore:mkfs()--------Bluestore::_open_db()-----------Bluefs->add_block_device()----

IntroductionCacheInitCnodeOnodeBufferTrimConfigSummaryIntroductionBlueStore自己管理裸设备，没有文件系统，操作系统的pagecache利用不上，需要自己管理缓存，包括元数据的缓存和objectdata的缓存，缓存系统的性能直接影响整个BlueStore

CephBlueStore（此文章转发自http://blog.wjin.org/）March7,2018Author：EricSource：http://blog.wjin.org/posts/ceph-bluestore.htmlDeclaration

bluestore:afasterbackendforceph—–sageweil的公开课导读ceph创始人sage大叔前些日子在国际版的公开课里面介绍了根据ceph的特定环境定制的新的文件系统bluestore

整体架构bluestore的诞生是为了解决filestore自身维护一套journal并同时还需要基于系统文件系统的写放大问题，并且filestore本身没有对SSD进行优化，因此bluestore相比于

重点关注：状态切换；kv存储数据的GC时机1.1queue_transactionsqueue_transactions是store统一的入口，各个存储引擎如filestore、kvstore、bluestore