KVM虚拟机代码揭秘——中断虚拟化

 

写写中断的东西，但是还是有些地方不理解，希望大家多多指教。

 

中断，这个概念相信大家已经不陌生了，我也没什么资格来介绍中断，就简单的说一下。我认为它从宏观上看可以分为软件部分和硬件部分。

软件部分：

软件部分在操作系统中实现，如Linux中断的x86，每一个中断对应一个中断门，中断门中包含中断处理函数（ISR或者别的）地址，优先级等等。CPU可以通过LIDT加载这个描述符表，跳转到指定的中断门。

硬件部分：

中断硬件部分就是产生中断脉冲，传给中断控制器，然后通知CPU，CPU在执行下调指令前会去查询中断情况，如果有中断信号，就执行中断。我们在这里模拟的就是硬件部分内容。

因此中断的模拟按照我的理解可以分为两个主要部分，一个是中断源的模拟，一个是给虚拟机的VCPU响应中断。

 

中断源模拟：

中断源模拟我也不是很清楚，方法很多，可以直接响应Linux的驱动，也可以别的，比如时钟中断可以设置一个定时器，定时器到了就触发中断，但是键盘，鼠标，硬盘呢？这个等待高手回？欢迎大家来讨论。

虚拟机响应虚拟中断：

KVM中断虚拟化主要依赖于VT-x技术，VT-x主要提供了两种中断事件机制，分别是中断退出和中断注入。

中断退出

是指虚拟机发生中断时，主动使得客户机发生VM-exit，这样能够在主机中实现对客户机中断的注入。

中断注入

它是指将中断写入VMCS对应的中断信息位，来实现中断的注入，当中断完成后通过读取中断的返回信息来分析中断是否正确。这个也是这里要详细将的地方。

首先中断注入有个一个标志性的函数 kvm_set_irq,这个是中断注入的最开始。

 

中断退出和注入是个关系紧密的过程，一先一后，我们放在一起来讲解，下面来分析一下KVM-KMOD-2.6.36相关实现代码，首先从 kvm_set_irq开始。

函数位置： x86/irq_comm.c/

函数参数： kvm，发生中断的客户机的结构体指针，我们知道在KVM模块中有个vmlist，链接了所有注册的虚拟机，当多次使用QEMU命令以后会产生多个虚拟机，不同虚拟机中公用一个KVM模块，通过这个kvm结构体来辨识是哪个虚拟机，当然每个虚拟机里面可以对应多个VCPU,别把这个概念弄混淆了；irq_source_id中断资源ID，对于KVM设备我们都会申请一个中断资源ID，注册KVM IO设备时申请的；irq中断请求号，这个是转化GSI之前的，比如时钟是0号，这里就是0，而不是32；level表示中断的高低电平。

int kvm_set_irq(struct kvm *kvm, int irq_source_id, u32 irq, int level)

{

         struct kvm_kernel_irq_routing_entry *e, irq_set[KVM_NR_IRQCHIPS];

                  struct kvm_irq_routing_table *irq_rt;

        ......  

          /*检查中断请求号范围*/

        if (irq < irq_rt->nr_rt_entries)                                                            

               /*提取中断路由表中对应的中断路由实体，map[irq]是一个对应中断的路由实体表头结点，这里遍历它能够得到所有对应的路由实体。

       hlist_for_each_entry(e, n, &irq_rt->map[irq], link) 

                           irq_set[i++] = *e;       

        while(i--) {

                  int r;

                   /*触发对应路由实体的触发函数，这个函数在之前的安装中断路由的时候已经注册，下面具体说明*/

                  r = irq_set[i].set(&irq_set[i], kvm, irq_source_id, level);

                  if (r < 0)

                           continue;

                  ret = r + ((ret < 0) ? 0 : ret);

        }

        return ret;

}

安装中断路由函数主要在setup_routing_entry中。

int setup_routing_entry(struct kvm_irq_routing_table *rt, struct kvm_kernel_irq_routing_entry *e, const struct kvm_irq_routing_entry *ue)

{

        struct kvm_kernel_irq_routing_entry *ei;

        struct hlist_node *n

        … …

     switch (ue->type) {

         /*普通的IRQCHIP，分为PIC和IOAPIC，路由函数分别是kvm_set_pic_irq和kvm_set_ioapic_irq，PIC分为主从两块芯片。*/

        case KVM_IRQ_ROUTING_IRQCHIP:

                  delta = 0;

                  switch (ue->u.irqchip.irqchip) {

                  case KVM_IRQCHIP_PIC_MASTER:

                           e->set = kvm_set_pic_irq;

                           max_pin = 16;

                           ......

                                              case KVM_IRQCHIP_IOAPIC:

                           max_pin = KVM_IOAPIC_NUM_PINS;

                           e->set = kvm_set_ioapic_irq;

                            ... ...

                  }

         /*MSI中断消息系统的中断触发函数kvm_set_msi*/

        case KVM_IRQ_ROUTING_MSI:

                  e->set = kvm_set_msi;

                  ......

                          }

         /*中断路由实体添加到中断

        hlist_add_head(&e->link, &rt->map[e->gsi]);

        ...

        }

 

这样就会通过kvm_set_irq()调转到对应的中断注入函数。这个触发函数从上面来看可以分为三类kvm_set_pic_irq、kvm_set_ioapic_irq、kvm_set_msi，他们分别对应不同的中断方式。

对于PIC来说

它主要是设置kvm里面的虚拟中断控制器结构体struct kvm_pic完成虚拟终端控制器的设置。如果是边缘触发，需要触发电瓶先0再1或者先1再0，完成一个正常的中断模拟。

对于IOAPIC来说

相对要复杂一点，它的大概调用过程如下，有兴趣的可以去跟一下。

kvm_set_ioapic_irq -> kvm_ioapic_set_irq -> ioapic_service -> ioapic_deliver -> kvm_irq_delivery_to_apic -> __apic_accept_irq -> apic_set_vector

 

整个流程是先检查IOAPIC状态，如果符合注入条件，则组建中断结构体，发送到指定VCPU的LAPIC，设置LAPIC的寄存器，完成虚拟中断控制器设置。

这里只介绍两个关键的容易出问题的函数，第一个是中断消息的投递，如下：

位置：x86/ioapic.c

static int ioapic_service(struct kvm_ioapic *ioapic, unsigned int idx)

{

        union kvm_ioapic_redirect_entry *pent;

        int injected = -1;

         /*取得对应中断的重定向表*/

        pent = &ioapic->redirtbl[idx];  

         /*检查中断是否被mask了，如果不允许中断则不触发*/

        if (!pent->fields.mask) {

                  /*构造APIC消息，准备发送到LAPIC*/

                  injected = ioapic_deliver(ioapic, idx);

                   /*如果投递成功并且是电瓶触发，设置目的中断请求寄存器*/

                  if (injected && pent->fields.trig_mode == IOAPIC_LEVEL_TRIG)

                           pent->fields.remote_irr = 1;

        }

        return injected;

}

然后来看下LAPIC如何接收中断，主要是在函数__apic_accept_irq中，这里就是将中断写入当前触发VCPU的kvm_lapic结构体中的相应位置。

位置：x86/lapic.c

static int __apic_accept_irq(struct kvm_lapic *apic, int delivery_mode,

                               int vector, int level, int trig_mode)

{

        int result = 0;

        struct kvm_vcpu *vcpu = apic->vcpu;

         /*APIC投递模式,表明是完成什么功能*/

  switch (delivery_mode) {

        case APIC_DM_LOWEST:

                  vcpu->arch.apic_arb_prio++;

        case APIC_DM_FIXED:

                  ......

                  if (trig_mode) {

                            /*中断触发，设置中断位，设置apic里面的寄存器变量，偏移地址APIC_TMR和Linux真实APIC控制器相同*/

                           apic_set_vector(vector, apic->regs + APIC_TMR);

                  } else

                           apic_clear_vector(vector, apic->regs + APIC_TMR);

 

                  result = !apic_test_and_set_irr(vector, apic);

                  ......

                  kvm_vcpu_kick(vcpu);

                  break;

        … …

        }

        return result;

}

对于MSI来说

就是将irq消息解析，然后构造发送给VCPU的LAPIC，后面和IOAPIC的相同。

kvm_set_msi -> kvm_irq_delivery_to_apic -> kvm_apic_set_irq -> __apic_accept_irq

这样我们就大概讲解了三种中断触发方式的实现，具体的可以参见详细代码。这里要注意，CPU主循环和中断注入是两个并行的过程，所以CPU处于任何状态都能进行设置中断，设置中断以后，就会引起中断退出（最后一点是个人意见，可能不正确，应该是要写到vmcs位）。另外来自QEMU的中断注入也是调用这个循环，所以在QEMU中的中断和CPU循环也是并行执行。

 

当我们设置好虚拟中断控制器以后，接着在KVM_RUN退出以后，就开始遍历这些虚拟中断控制器，如果发现中断，就将中断写入中断信息位，实现如下：

inject_pending_event在进入guest之前被调用。

位置：86/x86.c

参数：发生退出的虚拟cpu结构体

注意这里将NMI，exception的注入过程都注释掉了，同理。

static void inject_pending_event(struct kvm_vcpu *vcpu)

{

        … …

         /*如果存在老的还没有注入的中断，则注入之，set_irq指向vmx_irq_inject*/

        if (vcpu->arch.interrupt.pending) {

                  kvm_x86_ops->set_irq(vcpu);

                  return;

        }

        … …

        /* try to inject new event if pending */

        if (vcpu->arch.nmi_pending) {

        … …

          /*检测虚拟中断控制器，看是否有中断发生*/

         } else if (kvm_cpu_has_interrupt(vcpu)) {

                  if (kvm_x86_ops->interrupt_allowed(vcpu)) {

                                      /*获得当前中断号，并且将当前中断pending标记为true*/

                           kvm_queue_interrupt(vcpu, kvm_cpu_get_interrupt(vcpu), false);

                                      /*将中断写入VMCS的中断信息位*/

                           kvm_x86_ops->set_irq(vcpu);

                  }

        }

}

set_irq()，实现写入VMCS，代码如下：

位置： x86/vmx.c

static void vmx_inject_irq(struct kvm_vcpu *vcpu)

{

        struct vcpu_vmx *vmx = to_vmx(vcpu);

        uint32_t intr;

         /*之前得到并且设置好的中断的中断向量号*/

        int irq = vcpu->arch.interrupt.nr;

        … …

        intr = irq | INTR_INFO_VALID_MASK;

         /*看是外部中断还是软中断，我们之前注入的地方默认是false，所以是走下面分支*/

        if (vcpu->arch.interrupt.soft) {

                  intr |= INTR_TYPE_SOFT_INTR;

                   /*写VMCS位，指令长度*/

                  vmcs_write32(VM_ENTRY_INSTRUCTION_LEN,

                               vmx->vcpu.arch.event_exit_inst_len);

        } else

                  intr |= INTR_TYPE_EXT_INTR;

          /*写VMCS中断信息位*/

        vmcs_write32(VM_ENTRY_INTR_INFO_FIELD, intr);

}

这样KVM就完成了虚拟中断的注入，从中断源触发到写入虚拟中断控制器，再到VMCS的过程。

 

最后我在回过头来讲讲是什么时候触发这个kvm_set_irq的。当然中断需要模拟的时候就调用。这里调用分为两种。

1.可以直接在KVM中调用这个函数，如虚拟I8254，我在其他文章中分析过i8254的中断模拟过程，这里有这种类型设备的中断源的模拟，顺被贴一张，一般中断源的逻辑流程图：

 

 

 

2.可以从QEMU中通过调用QEMU中的函数中断注入函数kvm_set_irq.

在QEMU中，如果有中断触发，会触发到相应中断控制器，中断方式也有8259(hw/i8259.c), IOAPIC(hw/ipf.c x86下没用这个，pic和apic相同处理，将pic扩展到24个), MSI(hw/msix.c)，在这里中断控制器里面都会触发这个QEMU的kvm_set_irq函数。

至于这个kvm_set_irq函数位置在qemu-kvm.c,在这个函数中进而调用kvm_set_irq_level,最后通过一个KVM_IRQ_LINE的IOCTL调用KVM模块里面的kvm_set_irq函数。

int kvm_set_irq_level(kvm_context_t kvm, int irq, int level, int *status)

{

   ... ...

   event.level = level;

   event.irq = irq;

    /*IOCTL*/

   r = kvm_vm_ioctl(kvm_state, kvm->irqchip_inject_ioctl, &event);

    ... ...

}

 

这里我就不分析QEMU中的中断源了，毕竟主要将的是KVM，也希望大家针对QEMU中断的中断源进行讨论。发表自己的观点。