第⑦讲:Ceph集群RGW对象存储核心概念及部署使用

文章目录

    • 1.RadosGW对象存储核心概念
      • 1.1.什么是RadosGW对象存储
      • 1.2.RGW对象存储架构
      • 1.3.RGW对象存储的特点
      • 1.4.对象存储中Bucket的特性
      • 1.4.不同接口类型的对象存储访问对比
    • 2.在集群中部署RadosGW对象存储组件
      • 2.1.部署RGW组件
      • 2.2.集群中部署完RGW组件后观察集群的信息状态
      • 2.3.修改RGW对象存储的默认监听端口

1.RadosGW对象存储核心概念

RADOSGW对象存储官方文档:https://docs.ceph.com/en/pacific/radosgw/

1.1.什么是RadosGW对象存储

Ceph RadosGW是对象存储的一种实现方式,简称RGW,Rados网关也被称为Ceph对象网关,RadosGW使客户端能够利用标准的对象存储API接口来访问Ceph集群进行存储数据。

RGW对象存储支持两种风格的对象存储API接口:

  • AWS S3:与亚马逊云的S3对象存储API接口兼容。
  • OpenStack Swift:与OpenStack的Swift的API接口兼容,提供对象存储功能。

RGW对象存储提供RESTful API类型的接口,如果有类似阿里云等对象存储的可视化接口,可以直接在图形化界面操作对象存储。

无论哪种类型的API接口,最终都会通过RadosGW服务奖数据写入到Ceph集群的OSD里,并且这些接口都会对应一个资源池,也就是说无论使用哪种类型的API接口,都可以读取到来自其他API接口写入的数据。

RadosGW在之前的版本中,是使用CIVETWEB提供的API访问。

1.2.RGW对象存储架构

Ceph集群的对象存储功能主要是有RadosGW组件来实现的,支持S3和Swift两种风格的API接口,当然也支持自定义的API接口类型,用户在对象存储写入数据时,由RadosGW处理用户的请求,然后通过Librados库将数据写入到Ceph集群的OSD中。

客户端是基于HTTP或者HTTPS协议通过RESTful API与RGE进行通信,RGW则使用Librados库与Ceph集群进行通信,通过接口API的身份验证,最终将数据写入到OSD中。
第⑦讲:Ceph集群RGW对象存储核心概念及部署使用_第1张图片

1.3.RGW对象存储的特点

  • 通过对象存储的方式在Ceph集群中存储数据,文件也会被拆分成多个对象,每个对象文件除了包含数据意外,还会包含数据自身的元数据信息,并且如果是大文件,在写入到Ceph集群时,还会被切片,写入到集群后再进行重组。
  • 写入到对象存储的数据文件,无法使用文件的路径名称在服务器中找到,只能通过API来访问数据文件。
  • 对象存储中的Object文件是存储在一种扁平的空间中,叫做Bucket,用于资源隔离。
  • ceph使用Bucket作为对象存储的存储桶,Bucket需要被授权才能访问到,可以起到多用户对数据文件的访问隔离,数据都是存储在Bucket空间里的,用户的权限也是针对Bucket进行授权,用户可以对不同的Bucket拥有不同的权限。
  • 不支持客户端挂载,客户端通过HTTP或者HTTPS访问对象文件。
  • 不适用频繁修改和删除的场景,存储静态文件的场景居多。

1.4.对象存储中Bucket的特性

Bucket称为存储空间,所有对象存储中的文件必须隶属于某个Bucket存储空间,可以对存储空间设置控制地域、访问权限、生命周期等等。

每个用户可以拥有多个Bucket存储空间,一个存储空间内部是扁平的,没有文件系统的目录概念,所有的对象文件都直接隶属于对应的存储空间。

存储空间的名称在集群中必须是全局唯一,一旦创建无法修改。

存储空间中的对象条目没有限制。

Bucket存储空间的命名规范:只能包括大小写字母、数字和短横线,必须以小写字母或者数字开头和结尾,长度必须在3-63字节之间。

1.4.不同接口类型的对象存储访问对比

  • Amazon S3:提供了user、bucket和object,分别表示为用户、存储桶和对象,其中bucket隶属于user,可以这对user设置不同bucket的名称空间访问权限,而且不用用户允许访问相同的bucket。
  • OpenStack Swift:提供了user、container和object,分别对应于用户、存储桶和对象,不过它还额外为user提供了父级组件account,用于表示一个项目或租户,因此一个account中它包含一个到多个user,他们可共享使用同一组container,并为container提供名称空间。
  • RadosGW:提供了user、subuser、bucket和object,其中的user对应S3的user,而subuser则对应于Swif的user,不过user和subuser都不支持为bucket提供名称空间,因此,不同用户的存储桶也不允许同名,不过自Jewel版本起,RadosGW引入了tenant(租户)用于为user和bucket提供名称空间,但它是个可选组件,RadosGW基于ACL为不同的用户设置不用的权限。
    • Read 读加执行权限
    • Write 写权限
    • Readwrite 只读
    • full-control 全部控制权限

2.在集群中部署RadosGW对象存储组件

2.1.部署RGW组件

1)安装RadosGW组件

[root@ceph-node-1 ceph-deploy]# yum -y install ceph-radosgw

2)将ceph-node-1节点配置成集群中的RGW节点

[root@ceph-node-1 ~]# cd /data/ceph-deploy/
[root@ceph-node-1 ceph-deploy]# ceph-deploy rgw create ceph-node-1

第⑦讲:Ceph集群RGW对象存储核心概念及部署使用_第2张图片

3)查看RGW组件启动的进程以及端口号

[root@ceph-node-1 ~]# systemctl status [email protected]
 
[root@ceph-node-1 ~]# ps aux | grep rgw
ceph       23900  0.3  0.9 5145796 36944 ?       Ssl  22:53   0:00 /usr/bin/radosgw -f --cluster ceph --name client.rgw.ceph-node-1 --setuser ceph --setgroup ceph
root       24522  0.0  0.0 147032  1580 pts/1    S+   22:53   0:00 journalctl -u [email protected] -f
root       24584  0.0  0.0 112720   980 pts/2    S+   22:55   0:00 grep --color=auto rgw

[root@ceph-node-1 ~]# netstat -lnpt | grep 7480
tcp        0      0 0.0.0.0:7480            0.0.0.0:*               LISTEN      23900/radosgw       
tcp6       0      0 :::7480                 :::*                    LISTEN      23900/radosgw       

第⑦讲:Ceph集群RGW对象存储核心概念及部署使用_第3张图片

4)可以简单的访问下RGW提供的API接口

第⑦讲:Ceph集群RGW对象存储核心概念及部署使用_第4张图片

2.2.集群中部署完RGW组件后观察集群的信息状态

[root@ceph-node-1 ~]# ceph -s
  cluster:
    id:     a5ec192a-8d13-4624-b253-5b350a616041
    health: HEALTH_OK
 
  services:
    mon: 3 daemons, quorum ceph-node-1,ceph-node-2,ceph-node-3 (age 49m)
    mgr: ceph-node-1(active, since 45m), standbys: ceph-node-2, ceph-node-3
    osd: 6 osds: 6 up (since 6m), 6 in (since 6m)
    rgw: 1 daemon active (ceph-node-1)				#可以看到在这里多了一个RGW组件
 
  task status:
 
  data:
    pools:   5 pools, 256 pgs
    objects: 190 objects, 1.2 KiB
    usage:   6.0 GiB used, 54 GiB / 60 GiB avail
    pgs:     256 active+clean

2.3.修改RGW对象存储的默认监听端口

RGW的默认端口是7380,像这种通过WEB方式访问的程序,最好是使用80端口。

RGW的端口号在配置文件中进行指定,我们只需要修改ceph-deploy生成的ceph.conf文件就可以,然后推送给各个节点。

1.修改ceph的配置文件,指定rgw使用的端口号
[root@ceph-node-1 ~]# cd /data/ceph-deploy/
[root@ceph-node-1 ceph-deploy]# vim ceph.conf 
[global]
fsid = a5ec192a-8d13-4624-b253-5b350a616041
public_network = 192.168.20.0/23
cluster_network = 192.168.30.0/23
mon_initial_members = ceph-node-1, ceph-node-2, ceph-node-3
mon_host = 192.168.20.20,192.168.20.21,192.168.20.22
auth_cluster_required = cephx
auth_service_required = cephx
auth_client_required = cephx

[client.rgw.ceph-node-1] 				#指定RGW节点的节点名称
rgw_frontends = "civetweb port=80"				#port后面跟端口号

2.将配置文件推送到集群的所有节点中
[root@ceph-node-1 ceph-deploy]# ceph-deploy --overwrite-conf config push ceph-node-1 ceph-node-2 ceph-node-3 

第⑦讲:Ceph集群RGW对象存储核心概念及部署使用_第5张图片

3.重启RGW组件
[root@ceph-node-1 ceph-deploy]# systemctl restart ceph-radosgw.target

4.查看RGW的端口号
[root@ceph-node-1 ceph-deploy]# netstat -lnpt | grep radosgw
tcp        0      0 0.0.0.0:80              0.0.0.0:*               LISTEN      24837/radosgw  

在浏览器中也可以访问。
在这里插入图片描述

你可能感兴趣的:(swift,开发语言,ceph,运维开发)