05 ceph 文件系统 实战

我已启用cephx认证

root@ceph-client:~# cat /etc/ceph/ceph.conf 
[global]
fsid = 34e6e6b5-bb3e-4185-a8ee-01837c678db4
mon_initial_members = node1
mon_host = 172.16.66.142
auth_cluster_required = cephx
auth_service_required = cephx
auth_client_required = cephx
filestore_xattr_use_omap = true
osd_pool_default_size = 2

[client]
rgw_frontends = civetweb port=80

[mon]
mon_clock_drift_allowed = 5
mon_clock_drift_warn_backoff = 30

ceph 客户端 挂载文件系统，开机自动挂载                

[admin-node节点]安装ceph-common，授权
apt-get install ceph-common
root@admin-node:~# cat /etc/hosts
172.16.66.143  admin-node
172.16.66.150  node8
172.16.66.144  ceph-client

root@admin-node:~# ssh-copy-id node8


[node8节点]安装ceph 
root@node8:~# apt-get install ceph -y
root@node8:~# ceph -v
ceph version 0.94.5 (9764da52395923e0b32908d83a9f7304401fee43)

[admin-node节点]创建MDS
root@admin-node:~# cd /home/my-cluster/
root@admin-node:/home/my-cluster# ceph-deploy mds create node8

[admin-node节点]
ceph的文件系统至少需要两个pool，一个用来存储data，一个用来存储metdata数据
root@admin-node:/home/my-cluster# ceph osd pool create cephfs_data 10
root@admin-node:/home/my-cluster# ceph osd pool create cephfs_metadata 10

启用filesystem
root@admin-node:/home/my-cluster# ceph fs new my_fs cephfs_metadata cephfs_data
new fs with metadata pool 9 and data pool 8

查看FS
root@admin-node:/home/my-cluster#  ceph fs ls
name: my_fs, metadata pool: cephfs_metadata, data pools: [cephfs_data ]

查看MDS 状态
root@admin-node:/home/my-cluster# ceph mds stat
e16: 1/1/1 up {0=node8=up:active}, 1 up:standby

查看认证
root@admin-node:/home/my-cluster# cat /etc/ceph/ceph.client.admin.keyring 
[client.admin]
    key = AQC8YihW2GSlEBAAwUM3NQi6H8X0VeciaKLd1w==

【在ceph的客户端】
root@ceph-client:~# echo "AQC8YihW2GSlEBAAwUM3NQi6H8X0VeciaKLd1w==" > /etc/ceph/admin.secret

安装ceph-fs-common
root@ceph-client:~# apt-get install ceph-fs-common

root@ceph-client:~# mkdir /mnt/mycephfs

root@ceph-client:~# echo "AQC8YihW2GSlEBAAwUM3NQi6H8X0VeciaKLd1w==" > /etc/ceph/admin.secret

指定任意一个mon节点的IP 
root@ceph-client:~# mount -t ceph 172.16.66.140:6789:/ /mnt/mycephfs -o name=admin,secretfile=/etc/ceph/admin.secret

root@ceph-client:~# df -hT
172.16.66.140:6789:/ ceph      2.9T  195G  2.7T    7% /mnt/mycephfs

卸载
root@ceph-client:~# umount /mnt/mycephfs


==【开机使用kernel加载】
客户端
文件系统表挂载Ceph FS作为内核驱动程序，将以下内容添加到/etc/fstab中：
172.16.66.142:6789 任意mon节点的IP，端口
/mnt/mycephfs      挂载点
ceph               挂在类型
name=admin        在/etc/ceph/ceph.client.admin.keyring 看到admin
secretfile        装着AQC8YihW2GSlEBAAwUM3NQi6H8X0VeciaKLd1w==的文件

vim /etc/fstab
172.16.66.142:6789:/ /mnt/mycephfs ceph name=admin,secretfile=/etc/ceph/admin.secret   0       2

重启机器，可以看到，已经识别到了
root@ceph-client:~# df -hT
文件系统             类型      容量  已用  可用 已用% 挂载点
172.16.66.142:6789:/ ceph      2.9T  195G  2.7T    7% /mnt/mycephfs

【作为FUSE挂载Ceph FS】 开机自动挂载到用户空间

【在客户端主机】
从监控主机复制Ceph的配置文件到/etc/ceph目录
root@ceph-client:~# mkdir -p /etc/ceph
root@ceph-client:~# scp 172.16.66.142:/etc/ceph/ceph.conf /etc/ceph/ceph.conf

从监控主机复制Ceph的秘钥到/etc/ceph目录
root@ceph-client:~# scp 172.16.66.142:/etc/ceph/ceph.keyring /etc/ceph/ceph.keyring

root@ceph-client:~# mkdir -p /home/mysql/cephfs

挂载到mysql的家目录下
root@ceph-client:~# ceph-fuse -m 172.16.66.142:6789 /home/mysql/cephfs

root@ceph-client:~# df -hT
ceph-fuse      fuse.ceph-fuse  2.9T  195G  2.7T    7% /home/mysql/cephfs

【卸载】
root@ceph-client:/home/user1/cephfs# cd
root@ceph-client:~# umount /home/user1/cephfs 

==【开机使用kernel加载】
172.16.66.142:6789 任意mon节点的IP，端口
/home/user1/cephfs      挂载点
fuse.ceph               挂在类型
name=admin        在/etc/ceph/ceph.client.admin.keyring 看到admin
conf              ceph集群的配置文件

vim /etc/fstab
id=admin,conf=/etc/ceph/ceph.conf /home/user1/cephfs  fuse.ceph defaults 0 0

重启机器，可以看到已经成功挂载
root@ceph-client:~# df -hT
文件系统       类型            容量  已用  可用 已用% 挂载点
ceph-fuse      fuse.ceph-fuse  2.9T  195G  2.7T    7% /home/user1/cephfs

多个客户端都挂在这个FS，放入数据
其他客户端可以直接看到产生的数据

本文出自 “魂斗罗” 博客，谢绝转载！