本文是从软件架构设计的角度剖析oVirt的vdsmd(ovirt4.2版本),另外还有一篇是从功能架构设计的角度剖析oVirt。
API调用流程之clientIF
在vdsm中API调用框架是由clientIF来两实现的,其中包含个Server,和两个对应的Detector,一个Acceptor,Acceptor接收到的客户端数据,根据协议的不同选择把数据发送到哪个Detector和Server进行处理。
Acceptor监听管理中心的ip和port(默认54321)。
Acceptor中添加了两个detector,Acceptor接收到管理中心的socket数据后(数据包含新的dispatcher的socket),分别使用两个detector去detect数据中协议是哪个detector,从而把数据交给对应detector去处理(handle_socket),然后detector通过handle_socket把dispatcher的socket放到了对应server的监听队列中。
API调用流程之BaseManager
在另一篇文章《一文看懂ovirt的supervdsmd服务》中已经详细讲解。主要实现了vsdmd服务和其他服务对supervdsmd服务的API调用框架。
Profile
启动程序优化和代码跟踪功能,主要包括cpu(yappi线程)和内存(memprofile线程)的profile。
Metrics
启动监控上报功能,实现了两个metrics客户端:hawkular和statsd。
发送metrics信息者:
periodic线程(发送虚拟机状态和主机状态)
health线程 (发送vdsmd服务的进程状态)
Scheduler
创建vdsm.Scheduler线程,这个线程的作用是:等待其他线程分配给自己要给callable的任务,并在delay时间之后在本线程中执行此callable。和内核中的scheduler相同原理。
使用方式为:
self._scheduler.schedule(self._period, self._try_to_dispatch)
#在schedule线程中_period时间后执行_try_to_dispatch。
Periodic
周期性任务,其中定义了若干Operation,每个Operation周期性的dispatch。是由Executor模型实现的。
Operation dispatch过程简介:
每个Operation被循环的dispatch到TaskQueue中,并对应Executor模型中TaskQueue的一个task。Operation被dispatch的方式有Exclusive和Non-exclusive模式。Exclusive模式是等当前Operation(task)被执行完毕后才再次被dispatch;Non-exclusive模式是当前Operation(task)被dispatch后接着被dispatch;
Executor模型简介:
Task:执行的一个任务。
TaskQueue:最大长度为max_tasks的task队列,提供put和get功能。
Worker:一个Worker是一个periodic/num线程,它不停的从TaskQueue中取task并执行task。中最多为max_workers
Executor:负责添加task到TaskQueue中(dispatch())。初始创建workers_count个worker,每个worker每处理一个task都有固定时间限制,worker1如果超出时间限制,立刻创建一个新的worker2,这个worker1在执行完本task后就退出。worker最多有max_workers个,当创建新worker时数目达到max_workers则暂不创建。这样就保证了worker数量会在workers_count和max_workers之间。
Libvirtconnection
主要功能有:创建libvirt/events线程,启动libvirt的event_loop和事件处理功能;还提供一个连接libvirt的接口libvirtconnection.get()供使用。
ChannelListener
ovit-guest-agent的宿主机端实现,启动了一个vmchannels线程,其中实现了一个channelListener,用来和宿主机上所有虚拟机内的ovirt-guest-agent交互。交互的数据回调给guestagent的GuestInfo中。
qga
qemu-guest-agent的宿主机端实现。实现机制和periodic一样,通过定义Opertion来使用Executor模型执行周期性的任务。主要有了下面连个任务:
1.逐个虚拟机进行CapabilityCheck:默认5分钟一次,调用libvirt的默认channel ovirt-guest-agent.0,把本主机上的虚拟机内qemu-guest-agent支持的supported_commands信息更新到_capabilities中。(这里使用了"guest-info"命令)
2._cleanup:默认1小时dispatch一次,负责把_capabilities、_guest_info、_last_failure中已被删除虚拟机的信息去除。
关于qga和vmchannels
首先看虚拟机的配置:
<channel type='unix'>
<source mode='bind' path='/var/lib/libvirt/qemu/channels/a610dd49-e1ce-4bb3-8e6e-925438e688a4.ovirt-guest-agent.0'/>
<target type='virtio' name='ovirt-guest-agent.0'/>
<address type='virtio-serial' controller='0' bus='0' port='1'/>
channel>
<channel type='unix'>
<source mode='bind' path='/var/lib/libvirt/qemu/channels/a610dd49-e1ce-4bb3-8e6e-925438e688a4.org.qemu.guest_agent.0'/>
<target type='virtio' name='org.qemu.guest_agent.0'/>
<address type='virtio-serial' controller='0' bus='0' port='2'/>
channel>
其中:
ovirt-guest-agent.0是vdsm监听的socket,也是与虚拟机内部的ovirt-guest-agent服务通讯的socket。
org.qemu.guest_agent.0是libvirt默认监听的socket,也是与虚拟机内部qemu-guest-agent服务通讯的socket。
guestagent其后端有qemuguestagent和vmchannels两种实现方式。其中qemuguestagent对应虚拟机内部的qemu-guest-agent,vmchannels对应虚拟机内部的ovirt-guest-agent。
qga = self._qgaGuestInfo()
if qga is not None:
info.update(qga)
if self.isResponsive():
info.update(self.guestInfo)
qemuguestagent:
由于qemuguestagent中没有实现update_guest_info没有任何地方调用,所以从qemuguestagent中的GuestInfo永远为空,所以只能从vmchannels中读取。
vmchannels:
每个虚拟机开始运行时会向vmchannels线程中注册一个${uuid}.ovirt-guest-agent.0和回调,vmchannels通过这个回调更新GuestInfo中本虚拟机的信息。使用方式为:
self._channelListener.register(
self._create,
self._connect,
self._onChannelRead,
self._onChannelTimeout)
#_create:创建sock回调
#_connect:连接sock到${uuid}.ovirt-guest-agent.0回调
#_onChannelRead:收到虚拟机内数据后的回调,会把虚拟机数据写入GuestInfo中。
HSM线程池设计
HSM是vdsm中的主机存储管理,HSM内部自己实现了一套线程池框架,用来完成被分配的任务:
Health
启动vdsmd服务的进程信息上报功能,根据health_monitor_enable配置来决定是否启用此功能。对应health线程,周期性的用metrics客户端发送vdsmd进程信息。
VM
vm线程用来管理和本虚拟机相关的所有事务,在另一篇文章中详细讲解。
最后附上一个查看vdsmd服务进程中线程的python脚本:
import os, commands
NAME = 'vdsmd'
procs = ['/proc/'+p for p in os.listdir('/proc') if os.path.isdir('/proc/'+p) and os.path.exists('/proc/'+p+'/comm')]
for proc in procs:
with open(proc+'/comm', "rb") as f:
fields = f.readline().split()
if fields[0] == NAME:
vdsm_proc = proc
break
threads = [vdsm_proc+'/task/'+t for t in os.listdir(vdsm_proc+'/task')]
for thread in threads:
status,result = commands.getstatusoutput('cat %s/comm'%thread)
print thread + " " + result