k8s rook-ceph MountDevice failed for volume pvc An operation with the given Volume ID already exists

https://github.com/rook/rook/issues/4896

环境

kubeadm 搭建的 k8s 集群，rook-ceph 部署的 ceph 存储，mon pod 所在宿主机和挂载客户端机器 pod 所在机器不在一个二层网络里。

故障

pod 挂载不上 pvc，describe pod 信息如下

MountDevice failed for volume pvc An operation with the given Volume ID already exists

经排查是网络问题导致的挂载不上。

排查方法

手动挂载

手动挂载测试命令
其中 xx.xx.xx.xx为 rook-ceph mon 的 svc ip 地址
xxxxxxxx 为 /etc/ceph/keyring中的key，这个文件在 rook-ceph-tools-xxxxx 这个 pod 中有

cat /etc/ceph/keyring
[