multipath路径残留导致虚拟机无法重启

客户反馈一台虚拟机重启后虚拟机状态显示为错误。

检查云平台各个组件服务,未发现异常后,首先尝试重置虚拟机状态,然后硬重启看下

 multipath路径残留导致虚拟机无法重启_第1张图片

一段时间后,虚拟机状态仍然为error。检查虚拟机所在计算节点的nova-compute日志,发现如下错误

multipath路径残留导致虚拟机无法重启_第2张图片


日志显示,终止虚拟机的qemu-kvm进程时失败(Failed to terminate process 2216397),有资源占用未释放(device or resource busy)。

尝试从kvm层面,用virsh destroy 命令关闭虚拟机

multipath路径残留导致虚拟机无法重启_第3张图片

如上图,virsh destroy也无法终止此qemu-kvm进程(nova的硬重启其实调用的就是destroy接口)

在宿主机上面,查看此qemu-kvm进程,发现此进程已经变成僵尸进程(Z状态),用kill --9无法kill掉,用lsof 命令尝试找出进程占用的资源文件,发现输出为空。

multipath路径残留导致虚拟机无法重启_第4张图片

咨询客户重启虚拟机之前对虚拟机有哪些操作,客户反馈卸载了一块商业存储类型的云硬盘(cinder对接的IBM的v7000,走的iscsi协议,使用过程中坑不断,不细述),怀疑可能存储资源未释放。

cinder查看卸载的云硬盘的状态,发现为未挂载的available可用状态。

multipath路径残留导致虚拟机无法重启_第5张图片

通过virsh domblklist 命令,发现虚拟机仍显示挂载有云硬盘。

multipath路径残留导致虚拟机无法重启_第6张图片

通过virsh dumpxml 命令,查看虚拟机的运行状态

multipath路径残留导致虚拟机无法重启_第7张图片

如上图,从路径名分析,商业存储云硬盘,在虚拟机里面挂载为vdb。

在宿主机上面,查看此路径如下:

multipath路径残留导致虚拟机无法重启_第8张图片

如上图,虚拟机的vdb对应于宿主机的/dev/dm-8设备,通过multipath -ll命令,发现dm-8设备仍存在,说明虚拟机占用此资源一直未释放,导致虚拟机进程无法关闭。

解决办法:

通过multipath -f命令释放此路径

multipath路径残留导致虚拟机无法重启_第9张图片

如上图,multipath -f释放此路径后,再次执行multipath -ll,dm-8设备已经不存在,重启虚拟机也正常了。

后续工作:排查卸载云硬盘的过程中,卸载已经完成,云硬盘状态已经为未挂载可用状态时,为何multipath路径仍然占用未释放的原因,进而从源头解决此问题。

你可能感兴趣的:(openstack)