IOMMU简介

IOMMU简介


随着虚拟化技术逐渐升温，Intel和AMD近来支持了IOMMU技术。而Solaris对IOMMU技术在SPARC平台上的支持则可能要追溯到它们诞生的时候了。Solaris去年已经支持了x86平台上的IOMMU。

早期Solaris在SPARC平台上对IOMMU的支持主要有两个原因，一个是对老设备的支持，另外一个是对scatter/gather的支持。要在64位系统上支持32位设备，比如说网卡，如果没有IOMMU，就需要在物理内存底端，也就是32位设备能够访问到的地方设置一个叫做"bounce buffers"的东西，如果设备要访问高端内存，操作系统就要在高端内存和"bounce buffers"之间做一个拷贝。带来的性能影响显而易见。如果有了IOMMU，这个问题就迎刃而解了。在设备驱动做DMA邦定的时候，系统返回给驱动的不再是物理地址，而是内核空间的某个地址（有的书上叫做总线地址），传输的时候，这个内核空间地址会经由IOMMU单元，IOMMU将这个地址转换为物理地址。scatter/gather并不会带来性能上的好处，但是会简化设备驱动程序。例如网卡驱动在发送包的时候，DMA邦定后，系统可能会返回给设备驱动多个不连续的物理地址，Solaris叫做cookie。这样的话，每一个cookie都需要占用一个发送描述符。如果系统支持IOMMU的话，系统只会返回给设备驱动一个cookie。当然了有专家提醒，因为这个原因，如果设备驱动是在没有IOMMU的情况下开发的，在支持IOMMU的系统上是没有问题的。但反之不然。

x86平台上的IOMMU除了上述功能外还加入了对虚拟化的支持。简单来说有两个功能，一个DMA Remapping, 两外一个是Interrupt Remapping。DMA Remapping采用了多级页表机制，和MMU差不多。不过在转换前，IOMMU可以通过发出转换请求的PCI设备的Bus/Device/Function号来判断该设备是不是属于某一个domain。我们知道，有MMU，必定有TLB。所以有IOMMU，也肯定会有IOTLB。由于IOTLB的特殊性(TLB只服务于CPU，并且同时只有一个线程访问。而IOTLB则会有多个I/O设备同时访问)，PCI Express最近有一个草案，叫做ATS(Address Translation Services)。主要思想就是为了加快转换，避免集中式的IOTLB带来性能上的影响，在每个PCI Express设备中加入转换用的cache。具体细节可以参考PCI-SIG上的文档。对于后者，根据Solaris PSARC文档知道Solaris当前并没有实现。对于MSI/MSI-X来说，中断是由对特定地址的内存写来完成的。其中的address/data已将中断所需的信息告诉给了Root Complex，例如中断向量号，中断类型等等。Interrupt Remapping修改了data中的信息，现在data中只保存一个类似索引一样的东西，用来在Interrupt Remapping Table中寻址的。找到了对应IRTE(Interrupt Remapping Table Entry)，也就找到了中断所需的信息。当然了有硬件table，就有cache。