内核方式挂载cephfs

我们内核挂载的前提是：看到centos7.5 中默认内核3.10.0-862.11.6.el7.x86_64的挂载fs执行文件读写性能更优良，所以尝试将3.10.0-862.11.6.el7.x86_64模块中与ceph fs挂载相关的ceph.ko,libceph.ko,dns_resolver.ko,libcrc32c.ko拷贝到自己的设备。

同样要在自己的设备上执行成功加载该ko文件，需要操作系统内核小版本一致，3.10.0-862.11.6.el7.x86_64

• 将想要移植的内核中make modules_install通过的几个与ceph相关的模块取出

  centos 7.5设备上执行如下命令，将每个编译好的ko文件拷贝到自己的设备,执行命令

  locate ceph.ko

  scp -P 55555 /xx/xx/ceph.ko 10.192.55.95:/root

• 在自己客户端设备执行

  lsmod |grep ceph

  显示如下

  [root@localhost test_300k]# lsmod |grep ceph
  ceph                  345111  1 
  libceph               301687  1 ceph
  dns_resolver           13140  1 libceph
  libcrc32c              12644  3 libceph,nf_nat,nf_conntrack
  

  如果没有任何一个模块，则根据四个模块中每个模块对应的依赖关系顺序加载

  执行命令modinfo xxx.ko可以查看模块依赖关系

[root@localhost test_300k]# modinfo /usr/lib/modules/3.10.0-862.11.6.el7.x86_64/kernel/net/ceph/libceph.ko.xz
filename:       /usr/lib/modules/3.10.0-862.11.6.el7.x86_64/kernel/net/ceph/libceph.ko.xz
license:        GPL
description:    Ceph core library
author:         Patience Warnick 
author:         Yehuda Sadeh 
author:         Sage Weil 
retpoline:      Y
rhelversion:    7.5
srcversion:     006A24C2C8F8D438A9A684B
depends:        libcrc32c,dns_resolver
intree:         Y
vermagic:       3.10.0-862.11.6.el7.x86_64 SMP mod_unload modversions 
signer:         CentOS Linux kernel signing key
sig_key:        9C:2C:74:1B:AC:8A:B0:1E:51:35:3B:00:85:4A:01:EB:BE:29:B9:95
sig_hashalgo:   sha256

​ 这个四个模块需要最先加载的是dns_resolver.ko

• 存储查看用户密钥

  存储需用外网部署好ceph环境（为了让远端与moniter从外网建立连接），同时部署好cephfs

  查看客户端密钥 cat /etc/ceph/ceph.client.admin.keyring

• 远端服务器执行

  mount -t ceph 10.192.55.6:6789:/ /nas/cephfs -o name=admin,secret=AQBpbwpcAf2EBhAAq91MLchhQy3X26TufdL7RQ==
  

  如果挂载遇到问题，无法挂载成功，使用命令‘dmesg’查看，缺少内核某属性的问题，尝试降低ceph版本，或者提升内核版本

  • 降低Ceph版本
    • ceph osd crush tunables hammer 降低ceph 版本
    • ceph osd crush show-tunables 查看是否更改成功

• 执行df -h查看挂载结果

  [root@localhost test_300k]# df
  Filesystem           1K-blocks      Used Available Use% Mounted on
  /dev/sda1             20027260  12536032   6467228  66% /
  devtmpfs               8047256         0   8047256   0% /dev
  tmpfs                  8057956         0   8057956   0% /dev/shm
  tmpfs                  8057956      1116   8056840   1% /run
  tmpfs                  8057956         0   8057956   0% /sys/fs/cgroup
  tmpfs                  8057956       248   8057708   1% /tmp
  tmpfs                   204800         0    204800   0% /mnt/tmp
  /dev/sda3              3966144     28424   3716536   1% /dom/storoswd/b_iscsi/log
  /dev/sda2              5916420     84332   5508504   2% /dom/storoswd/b_iscsi/config
  tmpfs                  1611592         0   1611592   0% /run/user/0
      10.192.54.156:6789:/ 924139520 115941376 808198144  13% /nas/cephfs_test