Ceph (S3)对象存储通过生命周期管理实现存储的智能分层

新钛云服已为您服务1403天

概述

• 本文详细介绍了对象存储的生命周期管理是什么、如何使用它以及使用 RGW 创建自定义存储类。

前提条件

• 本文假设您部署了一个 Ceph 集群，其中包含 2 个 RGW，并创建了所需的 RGW 池，例如 buckets.data、buckets.index、buckets.non-ec、rgw.log rgw.meta。

• 如果没有ceph存储或者 RGW 未启用，请参考Ceph官网文档进行安装以及启用您的 RGW 。

步骤

• 本文将详细介绍我们如何将对象迁移到不同类别的存储中，以便根据时间将它们分开。例如，我们可以规定将超过 N 天的对象移动到称为“cold”的存储类。可以将对象设置为在一段时间后过期，而不是移动到单独的存储类，然后将其发送到 Ceph 垃圾回收器进行删除。

• 除了删除之外，辅助存储类可以绑定到一个具有更激进的纠删码池的池，该池可以提供更好的存储效率，但可能不会那么冗余。对于不再被认为生产所需但仍希望保留副本而不是彻底删除的文件，这可能是一个很好的折衷方案。

创建新的存储类和池

注意：如果您只希望创建过期和删除对象的规则，而不是将它们移动到新的存储层，则可以跳过此部分，您可以直接转到“创建 S3 生命周期管理策略”

• 本文假定默认 RGW 配置。如果您设置了自定义区域组或区域和放置目标，则必须将默认名称替换为您配置的名称。

• 要确定您是否使用默认配置，请运行以下命令：

root@labosd1:~# radosgw-admin zonegroup list
root@labosd1:~# radosgw-admin zone list
root@labosd1:~# radosgw-admin zonegroup placement list

• 对于默认配置，它将如下所示：

• 如果输出不同，请务必在以下指南中将“default”和“default-placement”替换为正确的命名方案。

添加新的存储类

• 首先，在 Ceph RGW 结构中创建一个新的存储类，以便可以创建一个新池，然后将该池分配给新类。本文将为其存储类使用名称“COLD”。您可能希望改用 AWS 使用的存储类。它们有预定义的存储类别，例如 1A-Standard。你可以在https://docs.aws.amazon.com/AmazonS3/latest/userguide/storage-class-intro.html链接处获取AWS常用的存储类。

root@labosd1:~# radosgw-admin zonegroup placement add \
--rgw-zonegroup default \
--placement-id default-placement \
--storage-class COLD

• 接下来，为刚刚创建的存储类提供区域放置信息。此外，设置存储类“COLD”将绑定到的池的名称。尚未创建池。可以在下一步中完成。

root@labosd1:~# radosgw-admin zone placement add \
--rgw-zone default \
--placement-id default-placement \
--storage-class COLD \
--data-pool default.rgw.cold.data \
--compression lz4

• 输出应显示在存储类“COLD”下分配了新的数据池。接下来，创建新池。这可以通过仪表板轻松完成，您可以在其中选择池类型（副本或纠删码）、归置组的数量、压缩类型等。只需确保池名称与上述命令中使用的名称匹配即可。

• 新的存储类现在已经完成并且可以使用了。接下来的步骤是创建和设计一个生命周期，以完全按照您的意愿去做。本文将使用一些简单的示例。

创建 S3 生命周期管理策略

• 下一步将需要在系统上安装 s3cmd。您还可以使用适用于 Windows 的 S3 browser之类的工具，它允许您创建 s3 ACL 策略。

• 本文将使用 s3cmd。安装 s3cmd，然后使用他们的内置工具通过 –configure 参数对其进行配置。输入将构建 s3 策略的 s3 存储桶的访问密钥和密钥，并将其指向正确的 RGW 端点和端口。

• 下面的示例将提供设置的格式。

• 确保“DNS-style bucket+hostname:port template”只是您的 RGW 的 IP 地址和它使用的端口，而不使用存储桶或位置变量。

• 不需要默认区域。您只需要在该配置处通过 Enter 跳过。

• 在配置结束时，s3cmd 将要求测试设置。如果成功，您可以继续。S3cmd 将在 /root/.s3cfg 生成一个配置文件。

root@octrgw1:~# apt install s3cmd
root@octrgw1:~# s3cmd –configure

• 要测试功能，请运行 s3cmd ls。这应该列出与提供的访问密钥和秘密密钥相关的存储桶。

生命周期配置

• 创建存储类并配置 s3cmd 后，我们现在可以创建一些生命周期管理规则。这些管理规则通过 xml 文件创建，然后可以使用 s3cmd 将其传递到存储桶。

• 可以在 AWS （https://docs.aws.amazon.com/AmazonS3/latest/userguide/lifecycle-configuration-examples.html）网站上找到更全面的生命周期规则列表。但是，请注意此页面针对的是 Amazon S3，因此请记住，有些内容可能不会与 Ceph 一致，但大多数规则都应该适用于Ceph RGW。

• 使用生命周期管理工具，您可以选择“transition”和“expiration”

• 您可以创建包含两个步骤的规则。

• 为了创建这些生命周期规则，请创建一个 XML 文件并在该 XML 文件中创建您的规则。

• 例如，可以制定一条规则，在 1 个月后将对象移到新的存储类，然后在 2 个月后将它们过期以删除。该生命周期规则如下所示：

  
    Transition then Expire Rule
    
       
    
    Enabled
    
      30
      COLD
    
    
      60
    
  

• 对于更简单的规则，您可以简单地指示删除早于设定日期的对象。这条规则看起来类似于：

  
    Expire after 1 year
    
       
    
    Enabled
    
      365
    
  

• 最后，对于仅将对象移动到新存储类而不将它们标记为过期的规则，您可以使用如下规则：

  
    Transition objects to COLD storage class
    
       
    
    Enabled
    
      30
      COLD
    
  

• 在这些规则中，您还可以看到“前缀”匹配的配置。这允许灵活地在单个存储桶上运行所有不同的规则，并且只要使用正确的前缀上传对象，该规则将仅适用于它。这可以让您在单个存储桶中拥有多个过期规则。这看起来像这样：

  
    prefix expiration
    
       dir1
    
    Enabled
    
      120
    
    
       dir2
    
    Enabled
    
      60
    
  

• 上面的规则会在 120 天后过期所有前缀为 dir1 的对象，并在 60 天后过期所有前缀为 dir2 的对象。

• 要使创建的规则生效，请在安装了 s3cmd 的主机上创建一个新的 xml 文件。

• 复制上面的规则以及您的环境所需的更改。

• 例子：

• 保存文件。此文件保存为生命周期过期.xml。此策略将附加到的 s3 存储桶且命名为 lifecycletest。

• 使用 s3cmd，在正确的存储桶上设置生命周期策略。

root@octrgw1:~# s3cmd setlifecycle lifecycle-expire.xml s3://lifecycletest

• 测试是否已设置生命周期。

root@octrgw1:~# s3cmd info s3://lifecycletest

当使用 transition 规则而不是 expire 规则时，s3cmd info 将无法正确显示出它。您将需要使用 S3 Browser这样的工具来查看生命周期规则。S3 Browser也可用于创建这些规则。使用 S3 Browser 的唯一缺点是它不允许使用自定义存储类，例如使用“COLD”。它仅使用标准 Amazon S3 命名，因此在使用 transition 而不是 expire 规则时，最好使用 s3cmd 和 XML 文件。

• 可在此处找到 s3 Browser生命周期管理指南：https ://s3browser.com/bucket-lifecycle-configuration.aspx

Debug 配置

• 如果您想创建和测试其中的一些规则，最好使用 Ceph 内置的 RGW debug 模式 。这允许设置任意的时间段（通常为 60 秒）。通过该 debug 模式， 我们可以快速测试规则以确保它们完全按照预期进行，并提供快速调试的能力。

• 为此，您必须通过 SSH 连接到充当 RGW 的节点。进入系统盘后，使用 sudo 权限打开 ceph.conf。它可以在 /etc/ceph/ceph.conf 中找到相关配置

• 将以下行添加到 conf 文件中：

rgw lc debug interval = 60

• 这将生命周期间隔设置为每 60 秒到 24 小时关联一次。另外，需要确认您是否使用多个 RGW，如果是的话，则将其添加到每个 RGW 的配置文件中。

• 保存配置文件后，重新启动 RGW。将下面 octrgw1 替换为您的 RGW 的名称。

root@octrgw1:~# systemctl restart [email protected]

故障排除

• 如果您的生命周期规则有问题，很可能是因为规则编写不正确，或者 RGW debug interval 不起作用。

• 为了检查您的 RGW 生命周期规则的状态，请在带有管理员密钥环的节点上运行以下命令。

root@octrgw1:~# radosgw-admin lc list

• 这列出了您已有的生命周期规则。如果它们未设置为“完成”，您可以通过运行以下命令强制 Ceph 启动规则：

root@octrgw1:~# radosgw-admin lc process

了解新钛云服

新钛云服荣膺第四届FMCG零售消费品行业CIO年会「年度数字化服务最值得信赖品牌奖」

新钛云服三周岁，公司月营收超600万元，定下百年新钛的发展目标

当IPFS遇见云服务|新钛云服与冰河分布式实验室达成战略协议

新钛云服正式获批工信部ISP/IDC(含互联网资源协作)牌照

深耕专业，矗立鳌头，新钛云服获千万Pre-A轮融资

新钛云服，打造最专业的Cloud MSP+，做企业业务和云之间的桥梁

新钛云服一周年，完成两轮融资，服务五十多家客户

上海某仓储物流电子商务公司混合云解决方案

往期技术干货

Kubernetes扩容到7,500节点的历程

低代码开发，全民开发，淘汰职业程序员！

国内主流公有云VPC使用对比及总结

万字长文：云架构设计原则|附PDF下载

刚刚，OpenStack 第 19 个版本来了，附28项特性详细解读！

Ceph OSD故障排除|万字经验总结

七个用于Docker和Kubernetes防护的安全工具

运维人的终身成长，从清单管理开始|万字长文！

OpenStack与ZStack深度对比：架构、部署、计算存储与网络、运维监控等

什么是云原生？

IT混合云战略：是什么、为什么，如何构建？

点分享

戳在看