setpci 命令与内核 pci_enable_device 与 pci_disable_device 函数
lspci 与 setpci
lspci -nvv 查看到的部分信息：
01:00.0 0200: 1af4:1041 (rev 01)
Subsystem: 1af4:1100
Physical Slot: 0
Control: I/O+ Mem+ BusMaster+ SpecCycle- MemWINV- VGASnoop- ParErr- Stepping- SERR+ FastB2B- DisINTx+
Status: Cap+ 66MHz- UDF- FastB2B- ParErr- DEVSEL=fast >TAbort- <TAbort- <MAbort- >SERR- <PERR- INTx-
lspci 通过读取接口的 pci 配置空间获取源信息，然后进行解析并输出解析的结果。setpci 可以用来读取、修改接口 pci 配置空间的内容。
下面我使用 setpci 读取上述 lspci -nvv 输出访问的一些 pci 配置空间内容。
使用 setpci 读取 pci 配置空间
1. 查看 setpci 支持读取的 pci 配置空间寄存器
root@virt-debian10:/home/longyu# setpci --dumpregs | head -n 10
cap pos w name
00 W VENDOR_ID
02 W DEVICE_ID
04 W COMMAND
06 W STATUS
08 B REVISION
09 B CLASS_PROG
0a W CLASS_DEVICE
0c B CACHE_LINE_SIZE
0d B LATENCY_TIMER
第一列表示偏移量，第二列表示数据的长度（W 表示一个字长即两个字节长度，B 表示一个字节长度），第三列表示数据字段的名称。例如 0x00 处的一个字为 vendor id 的值，0x02 处的一个字为 device id 的值，0x04 处则为 COMMAND 的值等等。
2. 读取相关字段配置空间的值
root@virt-debian10:/home/longyu# setpci -s 01:00.0 00.w
1af4
root@virt-debian10:/home/longyu# setpci -s 01:00.0 02.w
1041
root@virt-debian10:/home/longyu# setpci -s 01:00.0 04.w
0507
root@virt-debian10:/home/longyu# setpci -s 01:00.0 06.w
0010
root@virt-debian10:/home/longyu# setpci -s 01:00.0 08.b
01
root@virt-debian10:/home/longyu# setpci -s 01:00.0 09.b
00
root@virt-debian10:/home/longyu# setpci -s 01:00.0 0a.w
0200
root@virt-debian10:/home/longyu# setpci -s 01:00.0 0c.b
00
root@virt-debian10:/home/longyu# setpci -s 01:00.0 0d.b
00
上述命令行中，-s 指定访问的 pci 设备，xxx.[wb] 表示需要读取的配置空间偏移量与长度，可以看到读取的值与文首 lspci -nvv 的部分输出（vendor id、device id）一致。
使用 setpci 写入 pci 配置空间寄存器
这里我以写入 pci 配置空间 COMMAND 寄存器为例进行描述。
写入前的 pci 配置空间 command 寄存器信息：
Control: I/O+ Mem+ BusMaster+ SpecCycle- MemWINV- VGASnoop- ParErr- Stepping- SERR+ FastB2B- DisINTx+
执行写入命令：
root@virt-debian10:/home/longyu# setpci -s 01:00.0 04.W=0
setpci 读取写入信息确认写入生效：
root@virt-debian10:/home/longyu# setpci -s 08:00.0 04.W
0000
重新查看 lspci 显示信息：
Control: I/O- Mem- BusMaster- SpecCycle- MemWINV- VGASnoop- ParErr- Stepping- SERR- FastB2B- DisINTx-
能够看到写入生效了。注意不要写入一个【正在使用】的 pci 网卡的上述 COMMAND 配置空间寄存器，一旦写入会造成网卡无法正常工作。
pci_enable_device 与 pci_disable_device 对 pci 配置空间的设定
下文中的代码摘自 3.16.35 内核。
1. pci_enable_device
/**
* pci_enable_device - Initialize device before it's used by a driver.
* @dev: PCI device to be initialized
*
* Initialize device before it's used by a driver. Ask low-level code
* to enable I/O and memory. Wake up the device if it was suspended.
* Beware, this function can fail.
*
* Note we don't actually enable the device many times if we call
* this function repeatedly (we just increment the count).
*/
int pci_enable_device(struct pci_dev *dev)
{
return pci_enable_device_flags(dev, IORESOURCE_MEM | IORESOURCE_IO);
}
EXPORT_SYMBOL(pci_enable_device);
pci_enable_device_flags
static int pci_enable_device_flags(struct pci_dev *dev, unsigned long flags)
{
struct pci_dev *bridge;
int err;
int i, bars = 0;
/*
* Power state could be unknown at this point, either due to a fresh
* boot or a device removal call. So get the current power state
* so that things like MSI message writing will behave as expected
* (e.g. if the device really is in D0 at enable time).
*/
if (dev->pm_cap) {
u16 pmcsr;
pci_read_config_word(dev, dev->pm_cap + PCI_PM_CTRL, &pmcsr);
dev->current_state = (pmcsr & PCI_PM_CTRL_STATE_MASK);
}
if (atomic_inc_return(&dev->enable_cnt) > 1)
return 0; /* already enabled */
.........
/* only skip sriov related */
for (i = 0; i <= PCI_ROM_RESOURCE; i++)
if (dev->resource[i].flags & flags)
bars |= (1 << i);
for (i = PCI_BRIDGE_RESOURCES; i < DEVICE_COUNT_RESOURCE; i++)
if (dev->resource[i].flags & flags)
bars |= (1 << i);
err = do_pci_enable_device(dev, bars);
if (err < 0)
atomic_dec(&dev->enable_cnt);
此函数中会使用每个设备的使能计数判定是否已经使能过，已经使能过则不再使能，直接返回。此函数核心在于调用 do_pci_enable_device 函数。
do_pci_enable_device 函数主要代码
static int do_pci_enable_device(struct pci_dev *dev, int bars)
{
int err;
struct pci_dev *bridge;
u16 cmd;
u8 pin;
err = pci_set_power_state(dev, PCI_D0);
if (err < 0 && err != -EIO)
return err;
.........
err = pcibios_enable_device(dev, bars);
if (err < 0)
return err;
pci_fixup_device(pci_fixup_enable, dev);
if (dev->msi_enabled || dev->msix_enabled)
return 0;
pci_read_config_byte(dev, PCI_INTERRUPT_PIN, &pin);
if (pin) {
pci_read_config_word(dev, PCI_COMMAND, &cmd);
if (cmd & PCI_COMMAND_INTX_DISABLE)
pci_write_config_word(dev, PCI_COMMAND,
cmd & ~PCI_COMMAND_INTX_DISABLE);
}
return 0;
}
do_pci_enable_device 函数首先设定设备的电源状态为 PCI_D0 状态。然后首先调用 pcibios_enable_device 做一些【架构相关】的 pci 设备使能操作。
中间跳过了我不太熟悉的 pci 桥的配置逻辑。
pci_fixup_device 用于修复一些可恢复的错误。此后对于未使能 msi 与 misx 的 pci 设备，读取 pci 配置空间中的中断引脚。当设备绑定到一个中断引脚上时，读取 PCI 配置空间的控制字节 04 偏移处的一个字节，根据读取的结果判断 INTX 是否开启，未开启，则使能 INTX 中断。
pci_disable_device 函数
/**
* pci_disable_device - Disable PCI device after use
* @dev: PCI device to be disabled
*
* Signal to the system that the PCI device is not in use by the system
* anymore. This only involves disabling PCI bus-mastering, if active.
*
* Note we don't actually disable the device until all callers of
* pci_enable_device() have called pci_disable_device().
*/
void pci_disable_device(struct pci_dev *dev)
{
struct pci_devres *dr;
dr = find_pci_dr(dev);
if (dr)
dr->enabled = 0;
dev_WARN_ONCE(&dev->dev, atomic_read(&dev->enable_cnt) <= 0,
"disabling already-disabled device");
if (atomic_dec_return(&dev->enable_cnt) != 0)
return;
do_pci_disable_device(dev);
dev->is_busmaster = 0;
}
EXPORT_SYMBOL(pci_disable_device);
pci_disable_device 用于【禁用】一个 pci 设备，当设备已经被禁用时，会打印禁用一个已经禁用过的设备的 oops 告警信息。
此后读取使能标记，原子减 1 后不为 0 时此函数直接返回。正常流程继续调用 do_pci_disable_device 函数。
do_pci_disable_device 函数
static void do_pci_disable_device(struct pci_dev *dev)
{
u16 pci_command;
pci_read_config_word(dev, PCI_COMMAND, &pci_command);
if (pci_command & PCI_COMMAND_MASTER) {
pci_command &= ~PCI_COMMAND_MASTER;
pci_write_config_word(dev, PCI_COMMAND, pci_command);
}
pcibios_disable_device(dev);
}
此函数中读取 pci 配置空间 04 偏移处两个字节大小的控制信息，清除 PCI_COMMAND_MASTER 标志后重新写回到配置空间中。最后调用 pcibios_disable_device 来执行一些架构相关的使能操作。