ceph-csi代码分析-块设备挂载

简要介绍CSI和Ceph-CSI中RBD块设备挂载的流程的实现。

csi

container storage interface旨在为容器编排引擎和存储系统间建立一套标准的存储调用接口，通过该接口能为容器编排引擎提供存储服务。

The Container Storage Interface (CSI) is a standard for exposing arbitrary block and file storage systems to containerized workloads on Container Orchestration Systems (COs) like Kubernetes.

第三方存储，比如ceph、glusterfs，需要实现两种形式的服务nodeplugin（csi-plugin NodeServer）和provisioner（csi-plugin ControllerServer）。

nodeplugin在每个节点上运行，作为grpc服务，执行具体的卷操作。必须实现Identity RPC和节点RPC（CSI Identity，CSI Node 接口），以DaemonSet方式运行。DaemonSet在每个节点上只运行一个pod副本。

provisioner执行全局性的存储操作，比如创建、删除网络卷。必须实现Identity RPC和控制节点RPC（CSI Identity，CSI Controller 接口）。以StatefulSet方式运行。

相同image不同配置

rbd-csi在nodeserver上以nodeplugin方式运行，在controllerserver上以provisioner方式运行。具体实现均是非阻塞的grpc服务，可满足k8s对于ceph块设备的需求。

部署rbd-csi，需要对image进行不同的设置，运行在nodeserver的yaml配置

        - name: csi-rbdplugin
          securityContext:
            privileged: true
            capabilities:
              add: ["SYS_ADMIN"]
            allowPrivilegeEscalation: true
          # for stable functionality replace canary with latest release version
          image: quay.io/cephcsi/cephcsi:canary
          args:
            - "--nodeid=$(NODE_ID)"
            - "--type=rbd"
            - "--nodeserver=true"  
            - "--endpoint=$(CSI_ENDPOINT)"
            - "--v=5"
            - "--drivername=rbd.csi.ceph.com"
            - "--enableprofiling=false"

运行在controllerserver的yaml配置

        - name: csi-rbdplugin
          securityContext:
            privileged: true
            capabilities:
              add: ["SYS_ADMIN"]
          # for stable functionality replace canary with latest release version
          image: quay.io/cephcsi/cephcsi:canary
          args:
            - "--nodeid=$(NODE_ID)"
            - "--type=rbd"
            - "--controllerserver=true"
            - "--endpoint=$(CSI_ENDPOINT)"
            - "--v=5"
            - "--drivername=rbd.csi.ceph.com"
            - "--pidlimit=-1"
            - "--rbdhardmaxclonedepth=8"
            - "--rbdsoftmaxclonedepth=4"
            - "--enableprofiling=false"

选项--nodeserver和--controllerserver决定了以何种方式运行。

接口实现

作为rbd-csi实现了csi的三类接口。

• CSI Controller接口

创建卷、创建快照、删除快照、删除卷等比较宏观的卷操作。

• CSI Node接口

实现在工作节点上的行为， 比如挂载、卸载卷，获得卷的统计信息。

• CSI Identity接口

实现了获取插件能力的接口。

rbd部分主要代码实现位于ceph-csi/internals/rbd内。

Node接口

卷的挂载和Node接口相关，按照csi的实现规范，rbd-csi实现了7个Node接口。

接口	对应请求	说明
NodeExpandVolume	NodeExpandVolumeRequest	对卷进行扩容
NodeGetCapabilities	NodeGetCapabilitiesRequest	返回Node接口的能力
NodeGetVolumeStats	NodeGetVolumeStatsRequest	获得卷的统计信息 ，裸块和文件系统返回不同的信息
NodePublishVolume	NodePublishVolumeRequest	将卷挂载到目标路径
NodeUnpublishVolume	NodeUnpublishVolume	从目标位置卸载卷，是publish的逆过程
NodeStageVolume	NodeStageVolumeRequest	将块设备映射，制作文件系统并挂载
NodeUnstageVolume	NodeUnstageVolumeRequest	NodeStageVolume的逆过程

挂载流程

挂载之前该卷已经创建。

挂载流程示意.png

挂载的过程：
0、记录RBD镜像元数据信息。比如image使用的池、是否加密等。记录在本地文件中。
1、map rbd image。对应rbd map /命令。
2、创建挂载目录。对应mkdir调用。
3、创建设备上的文件系统。mkfs.xfs或者mkfs.ext4程序创建文件系统，如果是裸块类型则该步跳过。
4、挂载块设备。对应mount调用。

事务的方式

挂载流程主要在func (ns *NodeServer) stageTransaction以事务的方式实现。

使用结构体stageTransaction 记录一次挂载事务的状态信息。

type stageTransaction struct { 
    // 挂载的路径是否创建成功
    isStagePathCreated bool 
    // 挂载是否成功
    isMounted bool
    // 卷是否加密 
    isEncrypted bool 
    // rbd 镜像映射的位置 
    devicePath string
}

在操作阶段对状态信息进行变更。

transaction.isMounted = true

出现问题或者最终事务执行完成返回事务状态信息。

if err != nil {         
    return transaction, err 
}

以事务的方式支持回滚。undoStagingTransaction的方法来处理。

defer func() {        
    if err != nil {                 
        ns.undoStagingTransaction(ctx, req, transaction, volOptions)         
    } 
}()

func (ns *NodeServer) undoStagingTransaction函数按照逆向func (ns *NodeServer) StageTransaction的流程进行处理。标志位状态不同，开始执行的流程位置存在不同。一般流程为：
1、从路径上卸载，对应umount调用；
2、删除该路径， 对应remove调用；
3、解除块设备在节点上的映射，对应rbd unmap操作；
4、清除本地块设备元数据记录信息，对饮remove调用删除文件。

裸块还是文件系统？

func (ns *NodeServer) mountVolumeToStagePath函数执行对块设备的挂载操作。isBlock代表使用裸块还是带有文件系统的块设备。将会以不同的命令进行处理并挂载。

if isBlock {         
   opt = append(opt, "bind")         
   err = diskMounter.Mount(devicePath, stagingPath, fsType, opt) 
} else {         
   err = diskMounter.FormatAndMount(devicePath, stagingPath, fsType, opt) 
}