Ceph入门到精通-文件条带化 stripe unit，chunk

文件条带化

以下文本描述了 Ceph 文件系统客户端中的文件是如何 存储在 RADOS 中的对象之间。

CEPH_FILE_LAYOUT

Ceph 将给定文件的数据分布（条带化）到多个 的基础对象。文件数据映射到这些对象的方式 由ceph_file_layout结构定义。数据分布 是修改后的 RAID 0，其中数据在一组对象上条带化 设置为（每个文件）固定大小，此时另一组对象 保存文件的数据。第二组也不超过 固定的数据量，然后使用另一组数据，依此类推。

定义一些术语将大大有助于解释 文件数据在 Ceph 对象中的布局方式。

• 文件

  连续数据的集合，从 Ceph 客户端（即使用 Ceph 的 Linux 系统上的文件 存储）。文件的数据分为固定大小 “条带单元”，存储在 Ceph 的“对象”中。

• 条带单元

  RAID 0 中使用的数据块的大小（以字节为单位） 文件的分发。文件的所有条带单位都相等 大小。最后一个条带单元通常是不完整的，即 表示文件末尾的数据以及未使用的数据 超出它的“空间”，直到固定条带单元大小的末尾。

• 条带计数

  构成 RAID 0 的连续条带单元数 文件数据的“条带化”。

• 条纹

  连续的文件数据范围，RAID 0 条带化“条带化” 计数“固定大小的”条带单元“块中的对象。

• 对象

  由 Ceph 存储维护的数据集合。对象是 用于保存部分 Ceph 客户端文件。

• 对象集

  一组对象，它们共同表示 一个文件。

ceph_file_layout结构中的三个字段定义了此映射：

u32 fl_stripe_unit;
u32 fl_stripe_count;
u32 fl_object_size;

（__le32，它们实际上是以磁盘格式维护的。

前两个字段的作用应该从 上面的定义。

第三个字段是用于 返回文件数据。对象大小是条带单位的倍数。

文件的数据被阻止为条带单元和连续条带 单位存储在对象集中的对象上。对象数 在集合中与条带计数相同。没有对象存储文件 数据将超过文件指定的对象大小，因此在一些 固定数量的完整条带，使用新的对象集来存储 后续文件数据。

请注意，默认情况下，Ceph 使用简单的条带化策略，其中 object_size 等于 stripe_unit，stripe_count 是 1。这很简单 在每个对象中放置一个stripe_unit。

下面是一个更复杂的示例：

file size = 1 trillion = 1000000000000 bytes

fl_stripe_unit = 64KB = 65536 bytes
fl_stripe_count = 5 stripe units per stripe
fl_object_size = 64GB = 68719476736 bytes

这意味着：

file stripe size = 64KB * 5 = 320KB = 327680 bytes
each object holds 64GB / 64KB = 1048576 stripe units
file object set size = 64GB * 5 = 320GB = 343597383680 bytes
    (also 1048576 stripe units * 327680 bytes per stripe unit)

所以文件的 1 万亿字节可以划分为完整的对象 集合，然后是完整的条带，然后是完整的条带单元，最后是 单个不完整的条带单元：

- 1 trillion bytes / 320GB per object set = 2 complete object sets
    (with 312805232640 bytes remaining)
- 312805232640 bytes / 320KB per stripe = 954605 complete stripes
    (with 266240 bytes remaining)
- 266240 bytes / 64KB per stripe unit = 4 complete stripe units
    (with 4096 bytes remaining)
- and the final incomplete stripe unit holds those 4096 bytes.

下面的 ASCII 艺术试图捕捉到这一点：

   _________   _________   _________   _________   _________
  /object  0\ /object  1\ /object  2\ /object  3\ /object  4\
  +=========+ +=========+ +=========+ +=========+ +=========+
  |  stripe | |  stripe | |  stripe | |  stripe | |  stripe |
o |   unit  | |   unit  | |   unit  | |   unit  | |   unit  | stripe 0
b |     0   | |     1   | |     2   | |     3   | |     4   |
j |---------| |---------| |---------| |---------| |---------|
e |  stripe | |  stripe | |  stripe | |  stripe | |  stripe |
c |   unit  | |   unit  | |   unit  | |   unit  | |   unit  | stripe 1
t |     5   | |     6   | |     7   | |     8   | |     9   |
  |---------| |---------| |---------| |---------| |---------|
s |     .   | |     .   | |     .   | |     .   | |     .   |
e       .           .           .           .           .
t |     .   | |     .   | |     .   | |     .   | |     .   |
  |---------| |---------| |---------| |---------| |---------|
0 |  stripe | |  stripe | |  stripe | |  stripe | |  stripe | stripe
  |   unit  | |   unit  | |   unit  | |   unit  | |   unit  | 1048575
  | 5242875 | | 5242876 | | 5242877 | | 5242878 | | 5242879 |
  \=========/ \=========/ \=========/ \=========/ \=========/

   _________   _________   _________   _________   _________
  /object  5\ /object  6\ /object  7\ /object  8\ /object  9\
  +=========+ +=========+ +=========+ +=========+ +=========+
  |  stripe | |  stripe | |  stripe | |  stripe | |  stripe | stripe
o |   unit  | |   unit  | |   unit  | |   unit  | |   unit  | 1048576
b | 5242880 | | 5242881 | | 5242882 | | 5242883 | | 5242884 |
j |---------| |---------| |---------| |---------| |---------|
e |  stripe | |  stripe | |  stripe | |  stripe | |  stripe | stripe
c |   unit  | |   unit  | |   unit  | |   unit  | |   unit  | 1048577
t | 5242885 | | 5242886 | | 5242887 | | 5242888 | | 5242889 |
  |---------| |---------| |---------| |---------| |---------|
s |     .   | |     .   | |     .   | |     .   | |     .   |
e       .           .           .           .           .
t |     .   | |     .   | |     .   | |     .   | |     .   |
  |---------| |---------| |---------| |---------| |---------|
1 |  stripe | |  stripe | |  stripe | |  stripe | |  stripe | stripe
  |   unit  | |   unit  | |   unit  | |   unit  | |   unit  | 2097151
  | 10485755| | 10485756| | 10485757| | 10485758| | 10485759|
  \=========/ \=========/ \=========/ \=========/ \=========/

   _________   _________   _________   _________   _________
  /object 10\ /object 11\ /object 12\ /object 13\ /object 14\
  +=========+ +=========+ +=========+ +=========+ +=========+
  |  stripe | |  stripe | |  stripe | |  stripe | |  stripe | stripe
o |   unit  | |   unit  | |   unit  | |   unit  | |   unit  | 2097152
b | 10485760| | 10485761| | 10485762| | 10485763| | 10485764|
j |---------| |---------| |---------| |---------| |---------|
e |  stripe | |  stripe | |  stripe | |  stripe | |  stripe | stripe
c |   unit  | |   unit  | |   unit  | |   unit  | |   unit  | 2097153
t | 10485765| | 10485766| | 10485767| | 10485768| | 10485769|
  |---------| |---------| |---------| |---------| |---------|
s |     .   | |     .   | |     .   | |     .   | |     .   |
e       .           .           .           .           .
t |     .   | |     .   | |     .   | |     .   | |     .   |
  |---------| |---------| |---------| |---------| |---------|
2 |  stripe | |  stripe | |  stripe | |  stripe | |  stripe | stripe
  |   unit  | |   unit  | |   unit  | |   unit  | |   unit  | 3051756
  | 15258780| | 15258781| | 15258782| | 15258783| | 15258784|
  |---------| |---------| |---------| |---------| |---------|
  |  stripe | |  stripe | |  stripe | |  stripe | | (partial| (partial
  |   unit  | |   unit  | |   unit  | |   unit  | |  stripe | stripe
  | 15258785| | 15258786| | 15258787| | 15258788| |  unit)  | 3051757)
  \=========/ \=========/ \=========/ \=========/ \=========/