11.Ceph 对象存储系统 RGW 接口
文章目录
- Ceph 对象存储系统 RGW 接口
-
- 概念
- 逻辑单位
- 创建RGW接口
- 开启http+https
- 创建RadosGW账户
- S3接口访问测试
Ceph 对象存储系统 RGW 接口
概念
- 对象存储（object storage）是非结构数据的存储方法，对象存储中每一条数据都作为单独的对象存储，拥有唯一的地址来识别数据对象，通常用于云计算环境中。
- 不同于其他数据存储方法，基于对象的存储不使用目录树。
- 虽然在设计与实现上有所区别，但大多数对象存储系统对外呈现的核心资源类型大同小异。
逻辑单位
从客户端的角度来看，分为以下几个逻辑单位：
-
Amazon S3：
- 用户（User）
- 存储桶（Bucket）
- 对象（Object）
- 三者的关系是：
- User将Object存储到系统上的Bucket
- 存储桶属于某个用户并可以容纳对象，一个存储桶用于存储多个对象
- 同一个用户可以拥有多个存储桶，不同用户允许使用相同名称的Bucket，因此User名称即可做为Bucket的名称空间
-
OpenStack Swift：
- 提供了user、container和object分别对应于用户、存储桶和对象，
- 不过它还额外为user提供了父级组件account，用于表示一个项目或用户，因此一个account中可以包含一到多个user，它们可共享使用同一组container，并为container提供名称空间
-
RadosGW：
- 提供了user、subuser、bucket和object，
- 其中的user对应于S3的user，而subuser则对应于Swift的user，不过user和subuser都不支持为bucket提供名称空间，因此不同用户的存储桶不允许同名；
- 不过，自jewel版本起，RadosGW引入了tenant（租户）用于为user和bucket提供名称空间，但他是个可选组件
-
从上可以看出大多数对象存储的核心资源类型大同小异，如 Amazon S3、OpenStack Swift 与 RadosGw。
-
其中 S3 与 Swift 互不兼容，RadosGw 为了兼容 S3 与 Swift， Ceph 在 RadosGW 集群的基础上提供了 RGW（RadosGateway）数据抽象层和管理层，它可以原生兼容 S3 和 Swift 的 API。
-
S3和Swift它们可基于http或https完成数据交换，由RadosGW内建的Civetweb提供服务，它还可以支持代理服务器包括nginx、haproxy等以代理的形式接收用户请求，再转发至RadosGW进程。
-
RGW 的功能依赖于对象网关守护进程实现，负责向客户端提供 REST API 接口。出于冗余负载均衡的需求，一个 Ceph 集群上通常不止一个 RadosGW 守护进程。
创建RGW接口
- 如果需要使用到类似 S3 或者 Swift 接口时候才需要部署/创建 RadosGW 接口，RadosGW 通常作为对象存储（Object Storage）使用，类于阿里云OSS。
---admin---
###在管理节点创建一个 RGW 守护进程（生产环境下此进程一般需要高可用，后续介绍）
cd /etc/ceph
ceph-deploy rgw create node01
ceph -s
services:
mon: 3 daemons, quorum node01,node02,node03 (age 3h)
mgr: node01(active, since 12h), standbys: node02
mds: mycephfs:1 {0=node02=up:active} 2 up:standby
osd: 6 osds: 6 up (since 12h), 6 in (since 25h)
rgw: 1 daemon active (node01)
---admin--
###创建成功后默认情况下会自动创建一系列用于 RGW 的存储池
ceph osd pool ls
rgw.root
default.rgw.control #控制器信息
default.rgw.meta #记录元数据
default.rgw.log #日志信息
default.rgw.buckets.index #为 rgw 的 bucket 信息，写入数据后生成
default.rgw.buckets.data #是实际存储的数据信息，写入数据后生成
--admin---
###默认情况下 RGW 监听 7480 号端口
ssh root@node01 netstat -lntp | grep 7480
curl node01:7480
anonymous
开启http+https
- 开启 http+https ，更改监听端口
- RadosGW 守护进程内部由 Civetweb 实现，通过对 Civetweb 的配置可以完成对 RadosGW 的基本管理。
---admin---
###要在 Civetweb 上启用SSL，首先需要一个证书，在 rgw 节点生成证书
###生成CA证书私钥：
openssl genrsa -out civetweb.key 2048
###生成CA证书公钥：
openssl req -new -x509 -key civetweb.key -out civetweb.crt -days 3650 -subj "/CN=192.168.242.66"
---admin---
###将生成的证书合并为pem
cat civetweb.key civetweb.crt > /etc/ceph/civetweb.pem
---admin---
###更改监听端口
###Civetweb 默认监听在 7480 端口并提供 http 协议，如果需要修改配置需要在管理节点编辑 ceph.conf 配置文件
cd /etc/ceph
vim ceph.conf
......
[client.rgw.node01]
rgw_host = node01
rgw_frontends = "civetweb port=80+443s ssl_certificate=/etc/ceph/civetweb.pem num_threads=500 request_timeout_ms=60000"
###配置文件解释
rgw_host ：对应的RadosGW名称或者IP地址
rgw_frontends ：这里配置监听的端口，是否使用https，以及一些常用配置：
port ：如果是https端口，需要在端口后面加一个s。
ssl_certificate ：指定证书的路径。
num_threads ：最大并发连接数，默认为50，根据需求调整，通常在生产集群环境中此值应该更大
request_timeout_ms ：发送与接收超时时长，以ms为单位，默认为30000
access_log_file ：访问日志路径，默认为空
error_log_file ：错误日志路径，默认为空
---admin---
###修改完 ceph.conf 配置文件后需要重启对应的 RadosGW 服务，再推送配置文件
ceph-deploy --overwrite-conf config push node0{1..3}
scp civetweb.pem node01:/etc/ceph
---node01---
###重启服务
---node01---
systemctl restart ceph-radosgw.target
###在 rgw 节点上查看端口
netstat -lntp | grep -w 80
netstat -lntp | grep 443
###在客户端访问验证
curl http://192.168.242.66:80
curl -k https://192.168.242.66:443
创建RadosGW账户
---admin---
###在管理节点使用 radosgw-admin 命令创建 RadosGW 账户
radosgw-admin user create --uid="rgwuser" --display-name="rgw test user"
......
"keys": [
{
"user": "rgwuser",
"access_key": "ER0SCVRJWNRIKFGQD31H",
"secret_key": "YKYjk7L4FfAu8GHeQarIlXodjtj1BXVaxpKv2Nna"
}
],
####创建成功后将输出用户的基本信息，
####其中最重要的两项信息为 access_key 和 secret_key 。
####用户创建成后功，如果忘记用户信息可以使用下面的命令查看
radosgw-admin user info --uid="rgwuser"
S3接口访问测试
---client---
###在客户端安装 python3、python3-pip
yum install -y python3 python3-pip
python3 -V
Python 3.6.8
pip3 -V
pip 9.0.3 from /usr/lib/python3.6/site-packages (python 3.6)
---client---
###安装 boto 模块，用于测试连接 S3
pip3 install boto
###测试访问 S3 接口
echo 123 > /opt/123.txt
vim test.py
#coding:utf-8
#boto s3手册：http://boto.readthedocs.org/en/latest/ref/s3.html
#boto s3快速入门：http://boto.readthedocs.org/en/latest/s3_tut.html
#如果脚本长时间阻塞，请检查集群状态，开启的端口等
import ssl
import boto.s3.connection
from boto.s3.key import Key
#异常抛出
try:
_create_unverified_https_context = ssl._create_unverified_context
except AttributeError:
pass
else:
ssl._create_default_https_context = _create_unverified_https_context
#test用户的keys信息
access_key = "ER0SCVRJWNRIKFGQD31H"
secret_key = "YKYjk7L4FfAu8GHeQarIlXodjtj1BXVaxpKv2Nna"
#rgw的ip与端口
host = "192.168.80.11"
#如果使用443端口，下述链接应设置is_secure=True
port = 443
#如果使用80端口，下述链接应设置is_secure=False
#port = 80
conn = boto.connect_s3(
aws_access_key_id=access_key,
aws_secret_access_key=secret_key,
host=host,
port=port,
is_secure=True,
validate_certs=False,
calling_format=boto.s3.connection.OrdinaryCallingFormat()
)
#一:创建存储桶
conn.create_bucket(bucket_name='bucket01')
conn.create_bucket(bucket_name='bucket02')
#二：判断是否存在，不存在返回None
exists = conn.lookup('bucket01')
print(exists)
exists = conn.lookup('bucket02')
print(exists)
#三：获得一个存储桶
bucket1 = conn.get_bucket('bucket01')
bucket2 = conn.get_bucket('bucket02')
#四：查看一个bucket下的内容
print(list(bucket1.list()))
print(list(bucket2.list()))
#五：向s3上存储数据，数据来源可以是file、stream、or string
#5.1、上传文件
bucket1 = conn.get_bucket('bucket01')
# name的值是数据的key
key = Key(bucket=bucket1, name='myfile')
key.set_contents_from_filename(r'D:\PycharmProjects\ceph\123.txt')
# 读取 s3 中文件的内容，返回 string 即文件 123.txt 的内容
print(key.get_contents_as_string())
#5.2、上传字符串
#如果之前已经获取过对象，此处不需要重复获取
bucket2 = conn.get_bucket('bucket02')
key = Key(bucket=bucket2, name='mystr')
key.set_contents_from_string('hello world')
print(key.get_contents_as_string())
#六：删除一个存储桶，在删除存储桶本身时必须删除该存储桶内的所有key
bucket1 = conn.get_bucket('bucket01')
for key in bucket1:
key.delete()
bucket1.delete()
#bucket1.get_all_keys()[0].delete() #删除某一个 key
#迭代遍历删除 buckets and keys
for bucket in conn:
for key in bucket:
print(key.name,key.get_contents_as_string())
#—个判断文件夹中是否有文件的方法
bucket1 = conn.get_bucket('bucket01')
res = bucket1.get_all_keys()
if len(res) > 0:
print('有文件')
else:
print('为空')
在这个脚本中，分别注释每一步的操作，来查看端口是否成功
---client---
###按照以上步骤执行 python 脚本测试
python3 test.py
