简要介绍CSI和Ceph-CSI中RBD块设备挂载的流程的实现。
csi
container storage interface旨在为容器编排引擎和存储系统间建立一套标准的存储调用接口，通过该接口能为容器编排引擎提供存储服务。
The Container Storage Interface (CSI) is a standard for exposing arbitrary block and file storage systems to containerized workloads on Container Orchestration Systems (COs) like Kubernetes.
第三方存储，比如ceph、glusterfs，需要实现两种形式的服务nodeplugin（csi-plugin NodeServer）和provisioner（csi-plugin ControllerServer）。
nodeplugin在每个节点上运行，作为grpc服务，执行具体的卷操作。必须实现Identity RPC和节点RPC（CSI Identity，CSI Node 接口），以DaemonSet方式运行。DaemonSet在每个节点上只运行一个pod副本。
provisioner执行全局性的存储操作，比如创建、删除网络卷。必须实现Identity RPC和控制节点RPC（CSI Identity，CSI Controller 接口）。以StatefulSet方式运行。
相同image不同配置
rbd-csi在nodeserver上以nodeplugin方式运行，在controllerserver上以provisioner方式运行。具体实现均是非阻塞的grpc服务，可满足k8s对于ceph块设备的需求。
部署rbd-csi，需要对image进行不同的设置，运行在nodeserver的yaml配置
- name: csi-rbdplugin
securityContext:
privileged: true
capabilities:
add: ["SYS_ADMIN"]
allowPrivilegeEscalation: true
# for stable functionality replace canary with latest release version
image: quay.io/cephcsi/cephcsi:canary
args:
- "--nodeid=$(NODE_ID)"
- "--type=rbd"
- "--nodeserver=true"
- "--endpoint=$(CSI_ENDPOINT)"
- "--v=5"
- "--drivername=rbd.csi.ceph.com"
- "--enableprofiling=false"
运行在controllerserver的yaml配置
- name: csi-rbdplugin
securityContext:
privileged: true
capabilities:
add: ["SYS_ADMIN"]
# for stable functionality replace canary with latest release version
image: quay.io/cephcsi/cephcsi:canary
args:
- "--nodeid=$(NODE_ID)"
- "--type=rbd"
- "--controllerserver=true"
- "--endpoint=$(CSI_ENDPOINT)"
- "--v=5"
- "--drivername=rbd.csi.ceph.com"
- "--pidlimit=-1"
- "--rbdhardmaxclonedepth=8"
- "--rbdsoftmaxclonedepth=4"
- "--enableprofiling=false"
选项--nodeserver和--controllerserver决定了以何种方式运行。
接口实现
作为rbd-csi实现了csi的三类接口。
- CSI Controller接口
创建卷、创建快照、删除快照、删除卷等比较宏观的卷操作。
- CSI Node接口
实现在工作节点上的行为， 比如挂载、卸载卷，获得卷的统计信息。
- CSI Identity接口
实现了获取插件能力的接口。
rbd部分主要代码实现位于ceph-csi/internals/rbd内。
Node接口
卷的挂载和Node接口相关，按照csi的实现规范，rbd-csi实现了7个Node接口。
| 接口 | 对应请求 | 说明 |
|---|---|---|
| NodeExpandVolume | NodeExpandVolumeRequest | 对卷进行扩容 |
| NodeGetCapabilities | NodeGetCapabilitiesRequest | 返回Node接口的能力 |
| NodeGetVolumeStats | NodeGetVolumeStatsRequest | 获得卷的统计信息 ，裸块和文件系统返回不同的信息 |
| NodePublishVolume | NodePublishVolumeRequest | 将卷挂载到目标路径 |
| NodeUnpublishVolume | NodeUnpublishVolume | 从目标位置卸载卷，是publish的逆过程 |
| NodeStageVolume | NodeStageVolumeRequest | 将块设备映射，制作文件系统并挂载 |
| NodeUnstageVolume | NodeUnstageVolumeRequest | NodeStageVolume的逆过程 |
挂载流程
挂载之前该卷已经创建。
挂载的过程：
0、记录RBD镜像元数据信息。比如image使用的池、是否加密等。记录在本地文件中。
1、map rbd image。对应rbd map
2、创建挂载目录。对应mkdir调用。
3、创建设备上的文件系统。mkfs.xfs或者mkfs.ext4程序创建文件系统，如果是裸块类型则该步跳过。
4、挂载块设备。对应mount调用。
事务的方式
挂载流程主要在func (ns *NodeServer) stageTransaction以事务的方式实现。
使用结构体stageTransaction 记录一次挂载事务的状态信息。
type stageTransaction struct {
// 挂载的路径是否创建成功
isStagePathCreated bool
// 挂载是否成功
isMounted bool
// 卷是否加密
isEncrypted bool
// rbd 镜像映射的位置
devicePath string
}
在操作阶段对状态信息进行变更。
transaction.isMounted = true
出现问题或者最终事务执行完成返回事务状态信息。
if err != nil {
return transaction, err
}
以事务的方式支持回滚。undoStagingTransaction的方法来处理。
defer func() {
if err != nil {
ns.undoStagingTransaction(ctx, req, transaction, volOptions)
}
}()
func (ns *NodeServer) undoStagingTransaction函数按照逆向func (ns *NodeServer) StageTransaction的流程进行处理。标志位状态不同，开始执行的流程位置存在不同。一般流程为：
1、从路径上卸载，对应umount调用；
2、删除该路径， 对应remove调用；
3、解除块设备在节点上的映射，对应rbd unmap操作；
4、清除本地块设备元数据记录信息，对饮remove调用删除文件。
裸块还是文件系统？
func (ns *NodeServer) mountVolumeToStagePath函数执行对块设备的挂载操作。isBlock代表使用裸块还是带有文件系统的块设备。将会以不同的命令进行处理并挂载。
if isBlock {
opt = append(opt, "bind")
err = diskMounter.Mount(devicePath, stagingPath, fsType, opt)
} else {
err = diskMounter.FormatAndMount(devicePath, stagingPath, fsType, opt)
}