使用ceph的对象存储
Ceph 对象存储
Ceph 对象存储使用 Ceph 对象网关守护进程（ radosgw ），它是个与 Ceph 存储集群交互的 FastCGI 模块。因为它提供了与 OpenStack Swift 和 Amazon S3 兼容的接口， RADOS 要有它自己的用户管理。 Ceph 对象网关可与 Ceph FS 客户端或 Ceph 块设备客户端共用一个存储集群。 S3 和 Swift 接口共用一个通用命名空间，所以你可以用一个接口写如数据、然后用另一个接口取出数据。
Ceph 对象网关是一个构建在 librados 之上的对象存储接口，它为应用程序访问Ceph 存储集群提供了一个 RESTful 风格的网关 。 Ceph 对象存储支持 2 种接口：
兼容S3: 提供了对象存储接口，兼容 亚马逊S3 RESTful 接口的一个大子集。
兼容Swift: 提供了对象存储接口，兼容 Openstack Swift 接口的一个大子集。
更多信息
http://docs.ceph.org.cn/radosgw/
安装Ceph对象网关
Ceph 对象存储使用 Ceph 对象网关守护进程（ radosgw ），所以在使用对象存储之前，我们需要先安装配置好对象网关RGW。
Ceph RGW的FastCGI支持多种Web服务器作为前端，例如Nginx、Apache2等。 从Ceph Hammer版本开始，使用ceph-deploy部署时将会默认使用内置的civetweb作为前端，区别在于配置的方式不同，我们这里采用默认civetweb方式安装配置RGW。
Ceph 从 v0.80 开始，使用内嵌 Civetweb 作为 Web Server，无需额外安装 web 服务器或配置 FastCGI，其默认端口为 7480。在 admi管理节点目录通过 ceph-deploy 安装 Ceph RGW。这里我们还是使用admin节点做测试。
使用nginx方式可参考链接 https://blog.frognew.com/2017/02/ceph-rgw.html。
使用apache方式可参考官网链接:
http://docs.ceph.org.cn/radosgw/config/
在规划的作为网关的服务器中，使用命令运行安装网关服务
sudo yum install -y ceph-radosgw创建RGW用户和keyring
在规划的作为网关的服务器上创建keyring：
sudo ceph-authtool --create-keyring /etc/ceph/ceph.client.radosgw.keyring
sudo chmod +r /etc/ceph/ceph.client.radosgw.keyring生成ceph-radosgw服务对应的用户和key：
sudo ceph-authtool /etc/ceph/ceph.client.radosgw.keyring -n client.radosgw.gateway --gen-key为用户添加访问权限：
sudo ceph-authtool -n client.radosgw.gateway --cap osd 'allow rwx' --cap mon 'allow rwx' /etc/ceph/ceph.client.radosgw.keyring导入keyring到集群配置文件中：
sudo ceph -k /etc/ceph/ceph.client.admin.keyring auth add client.radosgw.gateway -i /etc/ceph/ceph.client.radosgw.keyring把集群配置文件推送到其他机子
需要两边的机子都安装有scp服务
使用命令
sudo yum install openssh-clients推送key使用命令
sudo scp /etc/ceph/ceph.client.radosgw.keyring ceph1:/etc/ceph
sudo ssh ceph1
chmod 777 /etc/ceph/ceph.client.radosgw.keyring
exit
sudo scp /etc/ceph/ceph.client.radosgw.keyring ceph2:/etc/ceph
sudo ssh ceph2
chmod 777 /etc/ceph/ceph.client.radosgw.keyring
exit
sudo scp /etc/ceph/ceph.client.radosgw.keyring ceph3:/etc/ceph
sudo ssh ceph3
chmod 777 /etc/ceph/ceph.client.radosgw.keyring
exit
sudo scp /etc/ceph/ceph.client.radosgw.keyring ceph4:/etc/ceph
sudo ssh ceph4
chmod 777 /etc/ceph/ceph.client.radosgw.keyring
exit创建资源池
由于RGW要求专门的pool存储数据，这里手动创建这些Pool，在任意ceph节点上执行：
ceph osd pool create .rgw 128 128
ceph osd pool create .rgw.root 128 128
ceph osd pool create .rgw.control 128 128
ceph osd pool create .rgw.gc 128 128
ceph osd pool create .rgw.buckets 128 128
ceph osd pool create .rgw.buckets.index 128 128
ceph osd pool create .rgw.buckets.extra 128 128
ceph osd pool create .log 128 128
ceph osd pool create .intent-log 128 128
ceph osd pool create .usage 128 128
ceph osd pool create .users 128 128
ceph osd pool create .users.email 128 128
ceph osd pool create .users.swift 128 128
ceph osd pool create .users.uid 128 128列出pool信息确认全部成功创建：
rados lspools输出如下：
.rgw
.rgw.root
.rgw.control
.rgw.gc
.rgw.buckets
.rgw.buckets.index
.rgw.buckets.extra
.log
.intent-log
.usage
.users
.users.email
.users.swift
.users.uid确保集群健康
使用ceph -s命令查看检查集群健康情况，一般新建很多pool的时候集群容易出现异常，这样即使我们后面启动了网关，也无法使用。会报错libcurl doesn’t support curl_multi_wait()。
[zzq@localhost myceph]$ ceph -s
cluster 5862afaf-4f46-4d6f-9d30-cb911ce335fc
health HEALTH_WARN
1928 pgs degraded
1928 pgs stuck degraded
1670 pgs stuck inactive
2048 pgs stuck unclean
1928 pgs stuck undersized
1928 pgs undersized
19 requests are blocked > 32 sec
recovery 20/40 objects degraded (50.000%)
too many PGs per OSD (512 > max 300)
mon.ceph4 low disk space
monmap e3: 4 mons at {ceph1=192.168.199.81:6789/0,ceph2=192.168.199.82:6789/0,ceph3=192.168.199.83:6789/0,ceph4=192.168.199.84:6789/0}
election epoch 26, quorum 0,1,2,3 ceph1,ceph2,ceph3,ceph4
mdsmap e13: 1/1/1 up {0=ceph4=up:active}
osdmap e91: 4 osds: 4 up, 4 in; 120 remapped pgs
pgmap v916: 2048 pgs, 17 pools, 2297 bytes data, 20 objects
12589 MB used, 19418 MB / 32908 MB avail
20/40 objects degraded (50.000%)
1670 undersized+degraded+peered
258 active+undersized+degraded
120 active+remapped
[zzq@localhost myceph]$ 具体解决调整参考
遇到问题—ceph—ceph的rbd命令没反应卡住
RGW配置
在规划作为网关的服务器/etc/ceph/ceph.conf上添加以下内容：
host需要与hostname对应，其他默认即可。
[client.radosgw.gateway]
rgw frontends=fastcgi socket_port=9000 socket_host=0.0.0.0
host=admin
keyring=/etc/ceph/ceph.client.radosgw.keyring
log file=/var/log/radosgw/client.radosgw.gateway.log
rgw socket path=/var/run/ceph/ceph.radosgw.gateway.fastcgi.sock
rgw print continue=false
rgw content length compat = true新建日志目录
sudo mkdir -p /var/log/radosgw
sudo chown 777 /var/log/radosgw
sudo chown 777 /var/run/ceph把配置分发到其他机子
ceph-deploy --overwrite-conf config push admin ceph1 ceph2 ceph3 ceph4新建 Ceph 对象网关实例
在admin管理节点工作目录创建一个 Ceph rgw 实例，一旦对象网关开始运行，我们就可以通过 http://admin:7480 地址访问。
进入ceph-deploy的目录中，使用命令
cd /home/zzq/myceph
sudo ceph-deploy --overwrite-conf rgw create admin正确输出如下:
[zzq@localhost myceph]$ sudo ceph-deploy --overwrite-conf rgw create admin
[ceph_deploy.conf][DEBUG ] found configuration file at: /root/.cephdeploy.conf
[ceph_deploy.cli][INFO ] Invoked (1.5.37): /usr/bin/ceph-deploy --overwrite-conf rgw create admin
[ceph_deploy.cli][INFO ] ceph-deploy options:
[ceph_deploy.cli][INFO ] username : None
[ceph_deploy.cli][INFO ] verbose : False
[ceph_deploy.cli][INFO ] rgw : [('admin', 'rgw.admin')]
[ceph_deploy.cli][INFO ] overwrite_conf : True
[ceph_deploy.cli][INFO ] subcommand : create
[ceph_deploy.cli][INFO ] quiet : False
[ceph_deploy.cli][INFO ] cd_conf : deploy.conf.cephdeploy.Conf instance at 0x265af38>
[ceph_deploy.cli][INFO ] cluster : ceph
[ceph_deploy.cli][INFO ] func : <function rgw at 0x25b8758>
[ceph_deploy.cli][INFO ] ceph_conf : None
[ceph_deploy.cli][INFO ] default_release : False
[ceph_deploy.rgw][DEBUG ] Deploying rgw, cluster ceph hosts admin:rgw.admin
[admin][DEBUG ] connected to host: admin
[admin][DEBUG ] detect platform information from remote host
[admin][DEBUG ] detect machine type
[ceph_deploy.rgw][INFO ] Distro info: CentOS 6.9 Final
[ceph_deploy.rgw][DEBUG ] remote host will use sysvinit
[ceph_deploy.rgw][DEBUG ] deploying rgw bootstrap to admin
[admin][DEBUG ] write cluster configuration to /etc/ceph/{cluster}.conf
[admin][WARNIN] rgw keyring does not exist yet, creating one
[admin][DEBUG ] create a keyring file
[admin][DEBUG ] create path recursively if it doesn't exist
[admin][INFO ] Running command: ceph --cluster ceph --name client.bootstrap-rgw --keyring /var/lib/ceph/bootstrap-rgw/ceph.keyring auth get-or-create client.rgw.admin osd allow rwx mon allow rw -o /var/lib/ceph/radosgw/ceph-rgw.admin/keyring
[admin][INFO ] Running command: service ceph-radosgw start
[admin][DEBUG ] Starting client.rgw.admin...
[admin][WARNIN] /usr/bin/dirname: extra operand `-n'
[admin][WARNIN] Try `/usr/bin/dirname --help' for more information.
[admin][DEBUG ] 2018-05-27 17:55:20.895832 7f76e44c5820 -1 WARNING: libcurl doesn't support curl_multi_wait()
[admin][DEBUG ] 2018-05-27 17:55:20.895832 7f76e44c5820 -1 WARNING: cross zone / region transfer performance may be affected
[admin][DEBUG ] [ OK ]
[admin][INFO ] Running command: chkconfig ceph-radosgw on
[ceph_deploy.rgw][INFO ] The Ceph Object Gateway (RGW) is now running on host admin and default port 7480
Error in sys.exitfunc: 查看radosgw服务状态：
ps -ef | grep radosgw
sudo systemctl status ceph-radosgw.service #centos7
sudo service ceph-radosgw status #centos6重启RGW使用命令
sudo systemctl restart ceph-radosgw.service #centos7
sudo service ceph-radosgw restart #centos6如果报错ibcurl doesn’t support curl_multi_wait()说明没有权限认证或者需要的资源池没有创建好。
[zzq@localhost myceph]$ sudo service ceph-radosgw restart
Starting client.rgw.admin... [FAILED]
/usr/bin/dirname: extra operand `-n'
Try `/usr/bin/dirname --help' for more information.
2018-05-27 18:07:21.747065 7ff716144820 -1 WARNING: libcurl doesn't support curl_multi_wait()
2018-05-27 18:07:21.747066 7ff716144820 -1 WARNING: cross zone / region transfer performance may be affected
回到第二步第三步使用命令创建好key和资源池后重新执行create使用命令如下:
sudo ceph-deploy --overwrite-conf rgw create admin如果确认RGW 已经运行起来了，我们来访问一下试下。
[zzq@localhost myceph]$ sudo service ceph-radosgw status
/usr/bin/radosgw is running.使用命令
curl http://admin:7480运行成功输出如下:
[zzq@localhost ~]$ curl http://admin:7480
<ListAllMyBucketsResult xmlns="http://s3.amazonaws.com/doc/2006-03-01/"><Owner><ID>anonymousID><DisplayName>DisplayName>Owner><Buckets>Buckets>ListAllMyBucketsResult>
[zzq@localhost ~]$ 如果还是有异常则需要查看日志
cat /var/log/radosgw/ceph-client.rgw.admin.log如果报错bind_and_listen: failed to bind the UNIX domain socket to ‘/var/run/ceph/ceph-client.rgw.admin.asok’: (17) File exists，
则需要确认是否指定 rgw socket path参数。
使用 Ceph 对象网关
为了使用 Ceph SGW REST 接口, 我们需要为 S3 接口初始化一个 Ceph 对象网关用户. 然后为 Swift 接口新建一个子用户，最后就可以通过创建的用户访问对象网关验证了。
创建 S3 网关用户
我们需要创建一个 RADOSGW 用户并且赋予访问权限，才可以正常访问 RGW，Ceph 提供了 radosgw-admin 命令行很方便完成。
使用命令如下:
sudo radosgw-admin user create --uid="rgwuser" --display-name="This is first rgw test user"输出如下:
[zzq@localhost ~]$ sudo radosgw-admin user create --uid="rgwuser" --display-name="This is firstt user"s
[sudo] password for zzq:
{
"user_id": "rgwuser",
"display_name": "This is first rgw test user",
"email": "",
"suspended": 0,
"max_buckets": 1000,
"auid": 0,
"subusers": [],
"keys": [
{
"user": "rgwuser",
"access_key": "ZN23EX4KO0GHN2O5E5F9",
"secret_key": "OJRYntMXZv3u5xDZK8aPyAlLaChIxdvma9WPX9FO"
}
],
"swift_keys": [],
"caps": [],
"op_mask": "read, write, delete",
"default_placement": "",
"placement_tags": [],
"bucket_quota": {
"enabled": false,
"max_size_kb": -1,
"max_objects": -1
},
"user_quota": {
"enabled": false,
"max_size_kb": -1,
"max_objects": -1
},
"temp_url_keys": []
}注意：返回的 Json 值中，我们要记住两个 access_key 和 secret_key 值，因为下边我们测试访问 S3 接口时需要使用。
测试访问 S3 接口
参照官方文档，我们需要编写一个 Python 测试脚本，该脚本将会连接 radosgw，然后新建一个新的 bucket 再列出所有的 buckets。脚本变量 aws_access_key_id 和 aws_secret_access_key 的值就是上边返回值中的 access_key 和 secret_key。
首先，我们需要安装 python-boto 包，用于测试连接 S3。
sudo yum install python-boto然后，编写 python 测试脚本。
vi s3.py输入如下内容:
import boto
import boto.s3.connection
access_key = 'ZN23EX4KO0GHN2O5E5F9'
secret_key = 'OJRYntMXZv3u5xDZK8aPyAlLaChIxdvma9WPX9FO'
conn = boto.connect_s3(
aws_access_key_id = access_key,
aws_secret_access_key = secret_key,
host = 'admin', port=7480,
is_secure=False,
calling_format = boto.s3.connection.OrdinaryCallingFormat(),
)
bucket = conn.create_bucket('my-first-s3-bucket')
for bucket in conn.get_all_buckets():
print "{name}\t{created}".format(
name = bucket.name,
created = bucket.creation_date,
)注意：这里使用了python-boto 包，使用认证信息连接 S3，然后创建了一个 my-first-s3-bucket 的 bucket，最后列出所有已创建的 bucket，打印名称和创建时间。
最后，执行脚本，看下结果是否正确。
[zzq@localhost ~]$ python s3.py
my-first-s3-bucket 2018-05-31T15:09:02.000Z
[zzq@localhost ~]$测试通过。
删除S3用户
radosgw-admin user rm --uid=rgwuser权限调整
允许rgwuser读写users信息：
radosgw-admin caps add --uid=rgwuser --caps="users=*"允许admin读写所有的usage信息：
radosgw-admin caps add --uid=rgwuser --caps="usage=read,write"创建 Swift 用户
要通过 Swift 访问对象网关，需要 Swift 用户,我们创建subuser作为子用户。
使用命令
sudo radosgw-admin subuser create --uid=rgwuser --subuser=rgwuser:swift --access=full
#创建密钥
sudo radosgw-admin key create --subuser=rgwuser:swift --key-type=swift --gen-secret输出如下:
{
"user_id": "rgwuser",
"display_name": "This is first rgw test user",
"email": "",
"suspended": 0,
"max_buckets": 1000,
"auid": 0,
"subusers": [
{
"id": "rgwuser:swift",
"permissions": "full-control"
}
],
"keys": [
{
"user": "rgwuser:swift",
"access_key": "DPLAX7KKAFTICHGIEQU4",
"secret_key": ""
},
{
"user": "rgwuser",
"access_key": "ZN23EX4KO0GHN2O5E5F9",
"secret_key": "OJRYntMXZv3u5xDZK8aPyAlLaChIxdvma9WPX9FO"
}
],
"swift_keys": [
{
"user": "rgwuser:swift",
"secret_key": "ja3mxJTGD7tvFsK1tVL8qScWPp2Wn657Jo4h4vLv"
}
],
"caps": [],
"op_mask": "read, write, delete",
"default_placement": "",
"placement_tags": [],
"bucket_quota": {
"enabled": false,
"max_size_kb": -1,
"max_objects": -1
},
"user_quota": {
"enabled": false,
"max_size_kb": -1,
"max_objects": -1
},
"temp_url_keys": []
}
注意：返回的 Json 值中，我们要记住swift_keys中的secret_key 因为下边我们测试访问 Swift 接口时需要使用。
测试访问 Swift 接口
注意，以下命令需要python环境和可用的pip服务。
如果没有会报错。
可参考连接安装pip3.5，然后把以下的pip换成 pip3.5执行。
centos6安装python3.5、pip3.5、easy_install-3.5
访问 Swift 接口可以通过 swift 命令行客户端来完成，然后通过客户端命令访问 Swift 接口。
# 安装 Swift 命令行客户端
$ sudo yum install python-setuptools
$ sudo easy_install pip
$ sudo pip install --upgrade setuptools
$ sudo pip install --upgrade python-swiftclient
# 访问 Swift 接口
$ swift -A http://admin:7480/auth/1.0 -U rgwuser:swift -K 'ja3mxJTGD7tvFsK1tVL8qScWPp2Wn657Jo4h4vLv' list输出如下:
[zzq@localhost ~]$ swift -A http://admin:7480/auth/1.0 -U rgwuser:swift -K 'ja3mxJTGD7tvFsK1tVL8qScWPp2Wn657Jo4h4vLv' list
my-first-s3-bucket
[zzq@localhost ~]$ 注意：admin可以替换为 为网关服务器的外网访问 IP 地址，这里为 admin-node 节点 IP，端口默认 7480，若已修改端口号，这里也需要对应修改一下。密钥 Key 为上边返回值中的 secret_key。
同样，测试通过。
更多swift信息参考:
https://www.swiftstack.com/docs/integration/python-swiftclient.html
删除子用户
sudo radosgw-admin subuser rm --subuser=rgwuser:swift如果未正确生成swift的密码，而是用空密码访问的话会输出如下:
[zzq@localhost ~]$ swift -A http://admin:7480/auth/1.0 -U rgwuser:swift -K '' list
Auth version 1.0 requires ST_AUTH, ST_USER, and ST_KEY environment variables
to be set or overridden with -A, -U, or -K.
Auth version 2.0 requires OS_AUTH_URL, OS_USERNAME, OS_PASSWORD, and
OS_TENANT_NAME OS_TENANT_ID to be set or overridden with --os-auth-url,
--os-username, --os-password, --os-tenant-name or os-tenant-id. Note:
adding "-V 2" is necessary for this.很多网上的帖子都是只创建了swift用户没有创建swift的key步骤，害人不浅,最终还是官网救了一命。
更多细节可参考官网:
http://docs.ceph.org.cn/radosgw/config/#id6
修改端口
如果我们想修改 7480 端口为其他值时，ceph 也是支持的，通过修改 Ceph 配置文件更改默认端口，然后重启 Ceph 对象网关即可。例如我们修改端口为 80。
修改 Ceph 配置文件
$ sudo vi /etc/ceph/ceph.conf在 [global] 节点下增加
[client.rgw.admin]
rgw_frontends = "civetweb port=80"重启 Ceph 对象网关
sudo systemctl restart ceph-radosgw.service #centos7
sudo service ceph-radosgw restart #centos6