pcie设备卸载没有响应
用户问题
客户报障磁盘卸载不了，客户反馈他们这个镜像是从阿里云拿过来的，在其他云可以卸载，在我们的云上一直卸载不了。用户用这个镜像创建了不少机器，都出现了卸载磁盘失败的报警，导致收到不少报警。
只要qemu收到卸载请求了，如果没有卸载成功，基本都是guest内部没有响应，可是这个用户反馈这个镜像在阿里云可以正常卸载。
排查过程
一、查看系统日志
/var/log/messages 日志里没有找到卸载磁盘相关的日志，说明虚拟机完全没有响应卸载磁盘的请求。
Jan 10 02:41:40 instance-2ro0jdws kernel: pciehp 0000:00:02.2:pcie004: Slot(0-2): Attention button pressed Jan 10 02:41:40 instance-2ro0jdws kernel: pciehp 0000:00:02.2:pcie004: Slot(0-2): Powering off due to button press Jan 10 02:41:47 instance-2ro0jdws kernel: pciehp 0000:00:02.2:pcie004: Slot(0-2): Link Up Jan 10 02:41:47 instance-2ro0jdws kernel: pciehp 0000:00:02.2:pcie004: Slot(0-2): No adapter |
二、查看中断信息
客户虚拟机中断 cat /proc/interrupts
对比正常虚拟机中断
能明显发现客户的虚拟机少了24-35号中断
lspci查看出问题虚拟机的设备，发现磁盘块设备也已经有了
查看设备对应的中断
所以现在的问题是有块设备，但是对应的块设备中断没有注册。
三、查看内核代码
1、查看 /proc/interrupts 对应的内核代码
对应的函数主要 show_interrupts，我需要从这个函数里查看中断信息是从哪个变量里取出来的。
这个函数的意思大概是：获取每个中断号的信息并显示； 对于 0 <= i < NR_IRQS 的中断，调用 irq_to_desc() 获取中断的信息，并打印每个 CPU 对应的统计数量 kstat_irqs_cpu().
遍历0到NR_IRQS，然后从 irq_to_desc函数里获取注册的中断信息，所以接下来看 irq_to_desc
int show_interrupts(struct seq_file *p, void *v)
{
int i = *(loff_t *) v, j;
unsigned long flags;
...
if (i < NR_IRQS) {
struct irq_desc *desc = irq_to_desc(i);
struct irqaction *action;
raw_spin_lock_irqsave(&desc->lock, flags);
action = desc->action;
if (!action)
goto skip;
seq_printf(p, "%3d: ", i);
#ifdef CONFIG_SMP
for_each_online_cpu(j)
seq_printf(p, "%10u ", kstat_irqs_cpu(i, j));
#else
seq_printf(p, "%10u ", kstat_irqs(i));
#endif
seq_printf(p, " %14s", irq_desc_get_chip(desc)->name);
#ifndef PARISC_IRQ_CR16_COUNTS
seq_printf(p, " %s", action->name);
...
#endif
seq_putc(p, '\n');
skip:
raw_spin_unlock_irqrestore(&desc->lock, flags);
}
... |
2、irq_to_desc函数比较简单，就是从 irq_desc_tree 这个 radix 树里索引数据，所以接下来看 irq_desc_tree 是怎么添加的，找到对应的插入函数函数是 irq_insert_desc 。
struct irq_desc *irq_to_desc(unsigned int irq)
{
return radix_tree_lookup(&irq_desc_tree, irq);
} |
3、irq_insert_desc 只在函数 early_irq_init 和 alloc_descs 里有调用， early_irq_init 虽然有调用，但是执行不到，因为通过dmesg 能看到 initcnt变量为0，所以只用看 alloc_descs。
alloc_descs 被调用地方挺多的，一个一个看哪里调用了这个相关函数，困难比较大，于是切换思路，多下往上看比较麻烦，那就从上往下看，从注册pcie port 往下看。
pcie 首先注册一个标准的pci_driver即pcie_portdrv。pcie_portdrv是所有pci桥设备的驱动，在pcie_portdrv提供的probe(pcie_portdrv_probe)函数中，探测桥是否为pcie桥，然后创建pice 设备
/*
* pcie_portdrv_probe - Probe PCI-Express port devices
* @dev: PCI-Express port device being probed
*
* If detected invokes the pcie_port_device_register() method for
* this port device.
*
*/
static int pcie_portdrv_probe(struct pci_dev *dev,
const struct pci_device_id *id)
{
int status;
if (!pci_is_pcie(dev) ||
((pci_pcie_type(dev) != PCI_EXP_TYPE_ROOT_PORT) &&
(pci_pcie_type(dev) != PCI_EXP_TYPE_UPSTREAM) &&
(pci_pcie_type(dev) != PCI_EXP_TYPE_DOWNSTREAM)))
return -ENODEV;
status = pcie_port_device_register(dev); // 关键接口pcie_port_device_register, 为高级服务Hotplug、AER、DPC、PME申请中断，
if (status)
return status; |
4、pcie_port_device_register 这块代码通过函数名也能知道个大概，但是这里日志比较少，具体流程怎么走，需要添加日志，看下为什么没有走到下面的中断注册。最后通过日志，知道是在 "capabilities = get_port_device_capability(dev); " 没有获取到pcie port 的capabilities 直接返回了。
/**
* pcie_port_device_register - register PCI Express port
* @dev: PCI Express port to register
*
* Allocate the port extension structure and register services associated with
* the port.
*/
int pcie_port_device_register(struct pci_dev *dev)
{
int status, capabilities, i, nr_service;
int irqs[PCIE_PORT_DEVICE_MAXSERVICES];
/* Enable PCI Express port device */
status = pci_enable_device(dev);
if (status)
return status;
/* Get and check PCI Express port services */
capabilities = get_port_device_capability(dev);
if (!capabilities)
return 0;
pci_set_master(dev);
status = pcie_init_service_irqs(dev, irqs, capabilities);
...
} |
5、继续添加日志，发现host->native_pcie_hotplug 这个变量是false，所以现在要看下这个为什么设置成false了。
static int get_port_device_capability(struct pci_dev *dev) {
struct pci_host_bridge *host = pci_find_host_bridge(dev->bus);
int services = 0;
if (dev->is_hotplug_bridge &&
(pcie_ports_native || host->native_pcie_hotplug)) {
services |= PCIE_PORT_SERVICE_HP;
/*
* Disable hot-plug interrupts in case they have been enabled
* by the BIOS and the hot-plug service driver is not loaded.
*/
pcie_capability_clear_word(dev, PCI_EXP_SLTCTL,
PCI_EXP_SLTCTL_CCIE | PCI_EXP_SLTCTL_HPIE);
} |
6、搜索代码只有acpi_pci_root_create 函数里才会设置 host_bridge→native_pcie_hotplug，当没有 OSC_PCI_EXPRESS_NATIVE_HP_CONTROL 时才会设置 host_bridge->native_pcie_hotplug = 0
struct pci_bus *acpi_pci_root_create(struct acpi_pci_root *root,
struct acpi_pci_root_ops *ops,
struct acpi_pci_root_info *info,
void *sysdata)
{
...
host_bridge = to_pci_host_bridge(bus->bridge);
if (!(root->osc_control_set & OSC_PCI_EXPRESS_NATIVE_HP_CONTROL))
host_bridge->native_pcie_hotplug = 0;
... |
7、OSC_PCI_EXPRESS_NATIVE_HP_CONTROL 在 negotiate_os_control 里设置的, 从下图的dmesg日志能看到，是supoort变量有问题。到这里就简单了，看support是怎么生成的，最后发现是grub里设置了 pcie_aspm=off 导致的。
static void negotiate_os_control(struct acpi_pci_root *root, int *no_aspm)
{
...
support = OSC_PCI_SEGMENT_GROUPS_SUPPORT;
if (pci_ext_cfg_avail())
support |= OSC_PCI_EXT_CONFIG_SUPPORT;
if (pcie_aspm_support_enabled())
support |= OSC_PCI_ASPM_SUPPORT | OSC_PCI_CLOCK_PM_SUPPORT;
if (pci_msi_enabled())
support |= OSC_PCI_MSI_SUPPORT;
...
if ((support & ACPI_PCIE_REQ_SUPPORT) != ACPI_PCIE_REQ_SUPPORT) {
decode_osc_support(root, "not requesting OS control; OS requires", 从下图的dmesg日志能看到，在这里就return了，support值有问题，所以后面没有设置了。
ACPI_PCIE_REQ_SUPPORT);
return;
}
control = OSC_PCI_EXPRESS_CAPABILITY_CONTROL
| OSC_PCI_EXPRESS_PME_CONTROL;
if (IS_ENABLED(CONFIG_HOTPLUG_PCI_PCIE))
control |= OSC_PCI_EXPRESS_NATIVE_HP_CONTROL;
... |
8、用户把pcie 中断注册都跳过了，那热插磁盘是不是也应该有问题？
确实热插磁盘是有问题的，但是用户可能发现了这个问题，所以加了个crontab，每两分钟扫描一次pci总线，这样就能发现磁盘了，只是没有注册中断。
在用户镜像里把这个crontab删掉，这时用户镜像热插磁盘也是会没有反应，lspci和lsblk也会看不到热插的磁盘块设备。
*/2 * * * * echo 1 > /sys/bus/pci/rescan |
四、其他云厂商为什么这个镜像能正常卸载
各厂商的虚拟化原理基本一致，差异不大，而且还是同一个镜像，为什么会有这种差异？
xx云和其他云虚拟机差异我最先想到的可能就是主板不一致，于是征得用户同意，使用用户镜像创建一个i440fx虚拟机，测试发现i440fx是能正常挂卸载的。
用户镜像里只是没有注册pcie中断，pci的中断还是正常注册的，所以不影响pci形式的设备。
xx云使用的是q35主板，磁盘和网卡默认都是插在pcie root上，属于pcie 设备，当用户镜像把pcie 相关功能关闭后会影响到虚拟机设备的使用。
结论
用户通过修改grub里的 pcie_aspm=off 即可解决问题。
查清楚问题后，想了下，通过对grub里内核启动参数的增删，来定位是哪个启动参数的问题也可以，后续如果对内核不熟悉的话，可以通过修改grub的cmdline方式来定位问题。
参考
/proc/interrupts 的数值是如何获得的？ – 肥叉烧 feichashao.com
PCI Express Port Bus Driver - 知乎
2.1 Linux驱动设备模型_pwl999的博客-CSDN博客
PCI Express Port Bus Driver [LWN.net]