分布式存储ceph对象存储系统

ceph创建rgw接口（对象存储系统）

一、对象存储概述
对象存储（object storage）是无层次结构的数据存储方法，对象存储中每一条数据都作为单独的对象存储，拥有唯一的地址来识别数据对象，通常用于云计算环境中
不同于其他数据存储方法，基于对象的存储不使用目录树
1、数据作为单独的对象进行存储
2、数据并不放置在目录层次结构中，而是存在于平面地址空间内的同一级别
3、应用通过唯一地址来识别每个单独的数据对象
4、每个对象可包含有助于检索的元数据
5、对象存储中的对象通常不需要再修改，如果需要修改只能下载下来修改再重新上传，无法直接修改
6、专为使用API在应用级别（而非用户级别）进行访问而设计
二、对象存储及概念
虽然在设计与实现上有所区别，但大多数对象存储系统对外呈现的核心资源类型大同小异

• Amazon S3：提供了
  1、用户（User）
  2、存储桶（Bucket）
  3、对象（Object）
  三者的关系是 ：
  1、User将Object存储到系统上的Bucket
  2、存储同属于某个用户并可以容纳对象，一个存储桶用于存储多个对象
  3、同一个用户可以拥有多个存储桶，不同用户允许使用相同名称的bucket，因此user名称即可做为bucket的名称空间
• OpenStack Swift：提供了user、container和object分别对应于用户、存储桶和对象，不过它还额外为user提供了父级组件account，用于表示一个项目或用户，因此一个account中可以包含一到多个user，它们可共享使用同一组container，并为container提供名称空间
• RadosGW：提供了user、subuser、bucket和object，其中的user对应于S3的user，而subuser则对应于Swift的user，不过user和subuser都不支持为bucket提供名称空间，因此，不同用户的存储桶不允许同名；不过，自jewel版本起，RadosGW引入了tenant（租户）用于为user和bucket提供名称空间，但他是个可选组件
• jewel版本之前，radosgw的所有user位于同一名称空间，他要求所有user的ID必须唯一，并且即便是不同user的bucket也不允许使用相同的bucket ID

大多数对象存储的核心资源类型大同小异，如亚马逊S3、OpenStack swift与RadosGw。这其中S3与swift互不兼容，radosgw为了兼容s3与swift，Ceph在RadosGW集群的基础上提供了RGW（RadosGateway）数据抽象层和管理层，它可以原生兼容S3和swift的API
S3和Swift它们可基于http或https完成数据交换，由RadosGW内建的Civeweb提供服务，它还可以支持 主流的Web服务器程序以代理的形式接收用户请求，再转发至RadosGW进程，这些代理服务器包括 nginx、haproxy等。
RGW的功能依赖于对象网关守护进程实现，负责向客户端提供REST API接口。出于冗余负载均衡的需 求，一个Ceph集群上通常不止一个RadosGW守护进程。在云计算机环境中还会在多个Ceph集群中定义 出多个Zone,这些Zone之间通过同步实现冗余功能，在本地环境中通常不需要Zone。
三创建radosgw接口
如果需要使用到类似S3或者Swift接口时候才需要部署/创建radosgw接口，RadosGW通常作为对象存储 (Object Storage)使用，类于阿里云OSS。

1、创建rgw守护进程，可以创建在集群任何节点
cd /etc/ceph
ceph-deploy rgw create mon02
注意：生产环境下此进程一般需要高可用，我们将在本章最后介绍
创建成功后默认情况下会自动创建一系列用于rgw的存储池，如
ceph osd pool  ls
#结果
rgw.root 
default.rgw.control        #控制器信息
default.rgw.meta           #记录元数据
default.rgw.log              #日志信息
default.rgw.buckets.index    #为rgw 的 bucket 信息
default.rqw.buckets.data     #是实际存储的数据信息

#ps:如果制定为crush rule，记得修改
ceph osd pool set .rgw.root crush_rule egon_rule 
ceph osd pool set default.rgw.control crush_rule egon_rule 
ceph osd pool set default.rgw.meta crush_rule egon_rule 
ceph osd pool set default.rgw.log crush_rule egon_rule

#2、默认情况下rgw监听7480号端口，在创建完成后日志有会显示。这时候访问该节点的rgw端口 （也可 以在浏览器访问）
[root@admin ceph]# curl mon02:7480

anonymous




[root@admin ceph]#
[root@admin ceph]# ceph -s
cluster:
id: b465edcc-31f5-4235-86b1-e4d092a5145a
health: HEALTH_OK
services:
mon: 3 daemons, quorum mon01,mon02,mon03
mgr: mon01(active)
mds: cephfs-1/1/1 up {0=mon02=up:active}, 2 up:standby
osd: 13 osds: 13 up, 13 in
rgw: 1 daemon active # 一个rgw处于活跃状态
data:
pools: 9 pools, 412 pgs
objects: 290 objects, 5.30MiB
usage: 13.9GiB used, 256GiB / 270GiB avail
pgs: 412 active+clean
[root@admin ceph]#
四关于Civeweb
4.1服务管理

#我们在mon02节点部署的rgw，所以我们先登录到该节点
ssh root@mon02
#然后执行
systemctl restart ceph-radosgw.target 
netstat -an |grep 7480

4.2更改监听端口
RadosGW守护进程内部就由Civeweb实现，通过对Civeweb的配置可以完成对RadosGW的基本管理。
Civeweb默认监听在7480端口并提供http协议，如果需要修改配置需要编辑ceph.conf配置文件，在管 理节点编辑ceph.conf,新增如下配置。

[client.rgw.mon02]
rgw_host = mon02
rgw_frontends = "civetweb port=8080 num_threads=500 request_timeout_ms=60000"

解释如下
•RadosGW也作为一个客户端，所以配置项应该为[client.rgw.mon02]，其中client代表客户端配 置，RadosGW客户端配置，而最后mon02代表对某一个节点的RadosGW配置。

• rgw_host：对应的RadosGW名称或者IP地址。
• rgw_frontends：这里配置监听的端口，是否使用https,以及一些选项信息。
  切记：在rgw_frontends键值对里的port=之中不要加空格。
  常用的rgw_frontends配置选项有。
  •num_threads：最大并发连接数，默认为50,根据需求调整，通常在生产集群环境中此值应该更 大。
  •request_timeout_ms：发送与接收超时时长，以ms为单位，默认为30000。
  •access_log_file：访问日志路径，默认为空。
  •error_log_file:错误日志路径，默认为空。
  注意：ceph.confB己置文件一般应该修改管理节点的配置文件，然后由管理节点统一推送到指定的节 点。也可以直接修改对应的节点的文件，无论以何种方式修改完成后都需要重启对应的RadosGW服 务。通过管理节推送配置文件的命令如下。

cd /etc/ceph
ceph-deploy --overwrite-conf config push mon02
ssh root@mon02
systemctl restart ceph-radosgw.target
netstat -an |grep 8080

• --overwrite-conf:表示强制覆盖，如果修改了管理节点的ceph.conf®己置文件后，这样管理节点与 被推送的节点的配置文件不一致，这时候如果确认没有问题就需要强制覆盖。

4.3 HTTPS 配置
要在civetweb上启用SSL,首先你需要一个证书、它应该与提供Ceph对象网关服务的域名相对应。
下述操作均在rgw节点上进行

#1、生成CA证书私钥：civetweb.key
#首先需要生成证书，CA签名证书或者自签证书都可以，测试使用这里生成自签名证书即可。
openssl genrsa -out civetweb.key 2048
#2、生成CA证书公钥：civetweb.crt
openssl req -new -x509 -key civetweb.key -out civetweb.crt -days 3650 -subj "/CN=1.1.1.5"
#3、将生成的证书合并为pem
cat civetweb.key civetweb.crt > /etc/ceph/civetweb.pem
#4、修改ceph.conf配置文件，指定配置如下
[client.rgw.mon02]
rgw_host = mon02
rgw_frontends = "civetweb port=80+443s
ssl_certificate=/etc/ceph/civetweb.pem num_threads=500 request_timeout_ms=60000"
#配置解析：
#port:如果是https端口，需要在端口后面加一个s。
#ssl_certificate :指定证书的路径。
#5、重启服务
systemctl restart ceph-radosgw.target
netstat -an |grep 443

在Luminous中，还可以同时开启http+https,在配置时用+分隔多个端口号即可:

rgw_frontends = "civetweb port=80+443s 
ssl_certificate=/etc/ceph/civetweb.pem num_threads=500 request_timeout_ms=60000

如此一来，单个rgw例程就能满足需要同时开放SSL和非SSL连接的场景。例如：

#―:在浏览器中分别访问：
#1.1、无需指定端口，因为http的默认端口为80 http://mon02 的 publi c 网络地址
#1.2、无需指定端口，因为https默认端口为443
https://mon02 的 publi c 网络地址
#二：或者在终端
curl 1.1.1.5:80
curl 1.1.1.5:443 -k

看到如下内容则证明成功

<?xml version="1.0" encoding="UTF-8"?>
<ListAllMyBucketsResult xmlns="http://s3.amazonaws.com/doc/2006-03-01/"> <Owner>
<ID>anonymous</ID>
<DisplayName></DisplayName>
</Owner>
<Buckets></Buckets>
</ListAllMyBucketsResult>

五创建RadosGW用户
创建RadosGW用户需要使用radosgw-admin命令，在集群中任何可管理节点执行下面命令。

radosgw-admin user create 一一uid="test" 一一display-name="test user"

•–uid:指定用户名。
•–display-name：指定用户描述信息。
创建成功后将输入用户的基本信息，基本最重要的两项为access_key和secret_key。用户创建成后功, 如果忘记用户信息可以使用下面的命令查看。关于更我用户管理可以使用选项–help查看。

radosgw-admin user info 一一uid="test"

六S3接口访问测试
先安装模块
pip install boto
脚本如下

#coding:utf-8
#boto s3手册：http://boto.readthedocs.org/en/latest/ref/s3.html
#boto s3快速入门：http://boto.readthedocs.org/en/latest/s3_tut.html
#如果脚本长时间阻塞，请检查集群状态，开启的端口等
import ssl
import boto.s3.connection
from boto.s3.key import Key
try:
_create_unverified_https_context = ssl._create_unverified_context
except AttributeError:
    pass
else:
    ssl._create_default_https_context = _create_unverified_https_context
#test用户的keys信息
access_key = "JNWYNAC82CJJLBPD9FHN"
secret_key = "syMOODODchFKX3IfpSpfFxLbq5ndukfDWUbHCNHT"
#rgw的ip与端口
host = "1.1.1.5"
port = 443 #如果使用443端口，下述链接应设置is_secure=True
#port = 80 #如果使用80端口，下述链接应设置is_secure=False
conn = boto.connect_s3(
aws_access_key_id=access_key, 
aws_secret_access_key=secret_key, 
host=host, 
port=port, 
is_secure=True,
validate_certs=False, calling_format=boto.s3.connection.0rdinaryCallingFormat()
)

#―:创建存储桶
conn.create_bucket(bucket_name='bucketOI')
conn.create_bucket(bucket_name='bucket02')

#二：获得一个存储桶
bucket1 = conn.get_bucket('bucket01')
bucket2 = conn.get_bucket('bucket02')

#三：判断是否存在，不存在返回None
exists = conn.lookup('bucketOl')
print(exists)
exists = conn.lookup('bucket02')
print(exists)

#四：查看一个bucket下的内容
print(list(bucket1.list()))
print(list(bucket2.list()))

#五：向s3上存储数据，数据来源可以是file、stream、or string
#5.1、上传文件
bucket1 = conn.get_bucket('bucket01')
key = Key (bucket=bucket1, name='myfile' )	# name的值是数据的key
key.set_contents_from_filename('/tmp/egon.txt') print(key.get_contents_as_string()) # 读取 s3 中文件的内容，返回 strin g 即文件 egon.txt的内容

#5.2、上传字符串
bucket1 = conn.get_bucket( 'bucket01' )	#如果之前已经获取过对象，此处不需要重复获取
k = Key(bucket1)
k.key = 'xxx'
k.set_contents_from_string('egon is happy') print(k.get_contents_as_string())
#六：删除一个存储桶，在删除存储桶本身时必须删除该存储桶内的所有key
bucket1 = conn.get_bucket('bucket01')
for key in bucket1:
key.delete()
bucket1.delete()
#bucket1.get_all_keys()[0].delete() # 册 U除某一个 key
#迭代遍历 buckets and keys
for bucket in conn:
for key in bucket:
print(key.name,key.get_contents_as_string())
#—个判断文件夹中是否有文件的方法
bucket1 = conn.get_bucket('bucket01')
res = bucket1.get_all_keys()
if len(res) > 0:
print('有文件')
else:
print('为空’)

七Swift接口访问测试
关于Swfi接口测试不做过多介绍。Swift接口测试可以使用Python Swiftclient模块，可以使用下面命令 进行安装。

yum install python-setuptools -y
pip install --upgrade setuptools
pip install --upgrade python-swiftclient

安装成功后也会有一个命令行工具，命令行swift。命令的格式为。

swift [-A auth url] [-U username] [-K password] subcommond

另外Swfit接口与S3不同，Swift使用子账号访问，子账号隶属于某一个存在的RadosGW账号。子账号创 建方法如下。

radosgw-admin subuser create --uid=test --subuser=test:swifttest --access=full

•–uid :指定RadosGW所存在的账号。
•–subuser：指定子账号，格式为:。
•–full：指定权限，full代表完全控制。
创建完成后同样会给子账号也生成一个secret_key。

radosgw-admin key create --subuser=test:swifttest --key-type=swift --gen-secret

查看到结果

swift_keys":[
    {
         "user": "test:swifttest",
         "secret_key": "oCPk0SwQFJiZsVPB0EBvtxajuhltkIvPr9aEJeT9
     }
],

访问swift存储查看现有的对象池

swift -A http://1.1.1.5:80/auth -U test:swifttest -K oCPk0SwQFJiZsVPB0EBvtxajuhltkIvPr9aEJeT9 list

可以设置环境变量

export ST_AUTH=http://1.1.1.5:80/auth
export ST_USER=test:swifttest
export ST_KEY=oCPk0SwQFJiZsVPB0EBvtxajuhltkIvPr9aEJeT9

然后直接运行

swift list

创建bucket

swift post bucket03

上传文件

swift upload bucket03 /tmp/egon.txt

查看bucket内的内容

swift list bucket03

下载对象存储中文件

swift download bucket03 tmp/egon.txt # 下载至 U当前目录下 tmp/egon.txt
cat tmp/egon.txt # egon666

文件存储在对象存储中，文件会被分成多个对象来存储到pool中，pool存到pg上，pg映射到osd存到pg 上都有各自的id号码

[root@admin ~]# rados -p default.rgw.buckets.data ls
99e98141-41a7-4de1-a542-0561e58ca954.434416.35_xxx
99e98141-41a7-4de1-a542-0561e58ca954.434416.41_tmp/egon.txt 
99e98141-41a7-4de1-a542-0561e58ca954・434416・41_tmp/1・txt

查看：99e98141 -41a7-4de1 -a542-0561 e58ca954.434416.41_tmpZegon.txt

ceph osd map default.rgw.buckets.data 99e98141-41a7-4de1-a542- 0561e58ca954.434416.41_tmp/egon.txt

八RadosGW负载均衡
RadosGW负载均衡+高可用的架构方式如下

在RadosGW前面加一层代理，同时还可以使用使用Keepalived做高可用
代理后端地址为RadosGW主机的IP+PORT,可以起多个RadosGW进程在不同的主机，这样便实现了负载均 衡+高可用。
这时候HTTP S证书需要配置在前端代理，在使用s3cmd --configure的时候在“HTTP Proxy server name”这里需要填写代理服务器访问的域名。
在ceph.conf配置文件内不需要指定rgw_dns_name选项，配置为HTTP即可。