Linux 驱动架构简析

发表于我的博客网站(prajna.top)： http://prajna.top/doc/3/3049 欢迎大家前去交流。

这篇文章不是驱动开发教程，只不过作者读过内核源码后，想对知识做一个梳理，从源码的角度分析一下Linux的驱动架构的实现。行文也不大讲究，希望可以把问题说清楚。本文使用的kernel 源码版本是 3.13.3。

学习kernel虽然没有捷径，但是有合理的方法。

1) 首先，需要熟悉操作系统的设计与实现，推荐大家看 MINIX作者的那部书，同时把MINIX的kernel代码研读一下。 不然，你不知道操作系统都有哪些模块， 不知道操作系统要做些什么事情，提供什么功能。简单地说，操作系统首先要驱动 CPU，然后提供那几大管理（进程，内存，文件），实现一两百个系统呼叫，提供驱动接口， 用户态与内核之间进行切换。

2) 去intel的官网，找一下 ‘Intel® 64 and IA-32 Architectures Software Developer’s Manual’ ， 了解一下 CPU的架构，工作模式，底层编码。否则， 你不知道 gdt,ldt,page table,实地址，保护模式，定时器中断都是什么东西，为什么操作系统要这样来设置寄存器。这块基本上全汇编语言，对CPU的初始化，寄存器设置，手册上面都有严格的时需要求。 哪些操作需要屏蔽中断，哪些需要在一个指令周期完成等等。有了上面的基础后，大概知道一个操作系统大概要做些什么事情， 如何驱动底层的 CPU，这个时候阅读 linux的kernel代码，事半功倍。

kernel分为两个模块：一个是core: cpu， 中断，进程，内存几大管理， 提供系统呼叫。另一个是driver。 linux的driver 都是有架构的，不需要从底层做起。各类架构称为‘子系统’：如，block子系统，net子系统，usb子系统等。 别看操作系统的代码量大，其实，driver占了估计 80%的代码量， 这些都是不需要去看的。驱动是否放在内核，就是微内核与宏内核的区别。

阅读源码过程中，观其大略即可，主要了解整个结构，以及程序的流程。如：系统呼叫的调用，追一个就可以了—— 看看操作系统如何捕捉软中断， 根据中断号，dispatch到相应的服务程序，如何保存现场， 完成后，又如何回到用户态。 系统呼叫调用，核心就是 dispatch的流程。 追完一支系统呼叫，其它的大概就知道怎么回事了。driver 也就一样的， 找个简单的驱动看看， 从驱动层一直到驱动的架构，流程清楚就可以了。 如字符设备驱动， 追一下注册后， 驱动框架如何把该设备放入 list，当有用户请求的时候，它又如何查找到相应的设备，调用相应的操作函数， 一路追下来，流程大概就清楚了。

不建议一开始就阅读“linux内核源码分析” 之类的书， 会让读者一头雾水。 正确的方法应该是， 先了解相应的背景知识后，再来阅读源码。Driver 框架的源码的位于 drivers/base/， 它是整个驱动模式的基础框架，相当于OO语言的里面的Object对象。 其实，Linux 的驱动框架就是一个OO的结构， core模块定义数据结构，函数接口，实现各种通用的功能——相当于OO里面的基类。各模块的设备驱动程序则只需要实现 core模块里面定义的接口即可。

bus, driver, device 框架

linux的外围设备驱动，都是通过 bus + driver + device来管理的，其实也好理解 ，外设都是通过总线来与cpu通讯的。kernel会实现各种总线的规范以及设备管理(设备检测，驱动绑定等)，驱动程序只需要注册自己的驱动，实现对设备的读写控制即可。

这类驱动通常是2个层次：总线子系统 + 驱动模块，它的流程大概是：

1) bus_register(xx)

kernel里面的各bus子系统（如：serio, usb, pci, ...）会使用该函数来注册自己。

2) driver_register(xx)

驱动模块使用它来向总线系统注册自己，这样驱动模块只需要关注相应driver接口的实现。通常，bus子系统会对 driver_register来进行封装，如：

• serio 提供serio_register_driver()
• usb 提供usb_register_driver()
• pci提供 pci_register_driver()

3) registe_device(xx)

各总线除了管理driver外，还管理device，通常会提供一支API来添加设备，如： input_register_device, serio_add_port.实现上都是通过一个链表对设备进行管理，通常是在初始化或者probe的时候， 添加设备。

设备(device)指的是具体实现总线协议的物理设备，如对serio总线而言，i8042就是它的一个设备，而该总线连接的设备(鼠标，键盘)则是一个serio driver。

 

注册

bus.c 和 driver.c 分别对 bus,driver和device进行管理，提供注册bus, driver和查找 device 功能。

bus_register(*bus)  这个函数会生成两个list，用来保存设备和驱动。
 

INIT_LIST_HEAD(&priv->interfaces);
klist_init(&priv->klist_devices, klist_devices_get, klist_devices_put);
klist_init(&priv->klist_drivers, NULL, NULL);

* priv是 struct subsys_private定义在 driver/base/base.h

driver_register(*drv)  实际上就是调用 bus_add_driver(*drv) 把 drv 添加到 klist_drivers:

klist_add_tail(&priv->knode_bus, &bus->p->klist_drivers);

同理注册device，也是通过 bus_add_device(*dev)，添加到 klist_devices:

klist_add_tail(&dev->p->knode_bus, &bus->p->klist_devices);

以 hid_bus_type为例，执行 bus_register(&hid_bus_type) 后， hid_bus_type->p->klist_devices 和 hid_bus_type->p->klist_klist_drivers 这两个list 会被初始化，为后面的 driver和 device 注册做准备，driver数据结构如下:

       static struct hid_driver tpkbd_driver = {
		.name = "lenovo_tpkbd",
		.id_table = tpkbd_devices,
		.input_mapping = tpkbd_input_mapping,
		.probe = tpkbd_probe,
		.remove = tpkbd_remove,
	};

注册driver时,它先经过 __hid_register_driver(&tpkbd_driver),设置一些基本参数。

hdrv->driver.bus = &hid_bus_type;
.....	
driver_register(&hdrv->driver);

设置'driver.bus'字段后，driver和bus的对应关系就建立起来了。 然后， 经过 driver_register 后,hid_bus_type->p->list_drivers 保存了 tpkbd_driver.

 

Q: driver模块是不知道 hid_driver 这个数据结构的，它如何能把它的指针放到list里面呢？

答案是”不能”， list_drivers 是不能保存 hid_driver 指针的。driver模块提供了一个接口: 'struct device_driver' , hid_driver 这个结构里面需要包含该结构。

      struct hid_driver {
      		const struct hid_device_id *id_table;
        	    /* private: */  
                 struct device_driver driver;
      }

注册的时候，取的是 driver 字段的地址，也就是 hid_driver.driver 的指针， driver_register(&hdrv->driver); 当从 driver模块 callback 到 hid-core模块的时候， 如

 static int hid_bus_match(struct device *dev, struct device_driver *drv)
 {
         struct hid_driver *hdrv = container_of(drv, struct hid_driver, driver);
         struct hid_device *hdev = container_of(dev, struct hid_device, dev);

         return hid_match_device(hdev, hdrv) != NULL;
 }

使用 container_of 就把 hid_driver.driver 的指针转换成了hid_driver 的指针－－这个方法类似 OO编程里面使用基类指针指向派生类对象。Linux普通使用这个方法，来构建框架。

device和driver绑定

当增加新device的时候，bus 会轮循它的驱动列表来找到一个匹配的驱动，它们是通过device id和 driver的id_table来进行 ”匹配”的，主要是在 driver_match_device()[drivers/base/base.h] 通过 bus->match() 这个callback来让驱动判断是否支持该设备，一旦匹配成功，device的driver字段会被设置成相应的driver指针 :

really_probe()
{
	dev->driver = drv;
	if (dev->bus->probe) {
		ret = dev->bus->probe(dev);
		...
	} else if (drv->probe) {
		ret = drv->probe(dev);
		...
	}
}

然后 callback 该 driver 的 probe 或者 connect 函数，进行一些初始化操作。

同理，当增加新的driver时，bus也会执行相同的动作，为驱动查找设备。因此，绑定发生在两个阶段：

1: 驱动找设备，发生在driver向bus系统注册自己时候，函数调用链是：

driver_register --> bus_add_driver --> driver_attach() [dd.c] －－ 将轮循device链表，查找匹配的device。

2: 设备查找驱动，发生在设备增加到总线的的时候，函数调用链是：

device_add --> bus_probe_device --> device_initial_probe --> device_attach －－ 将轮循driver链表，查找匹配的driver。

 

匹配成功后，系统继续调用 driver_probe_device()  来 callback  'drv->probe(dev)' 或者 'bus->probe(dev) -->drv->connect()，在probe或者connect函数里面，驱动开始实际的初始化操作。因此，probe() 或者 connect() 是真正的驱动'入口'。

对驱动开发者而言，最基本是两个步骤：

1. 定义device id table.
2. probe()或connect()开始具体的初始化工作。

(driver和device注册流程图)

 

实例分析：atkbd键盘驱动

Serio Bus 主要是支持 PS/2，串口等串行设备协议，物理上可以通过i8042控制芯片来连接PS/2的鼠标或键盘，它的架构是:

• serio.c 实现总线框架。
• serio_register_port 注册底层读写设备－－ port就是 serio的底层通讯设备， 它执行serio总线的底层读写。
• serio_register_driver 注册驱动，与port进行绑定，利用port进行底层的读写通讯。

atkbd 驱动注册的时侯，需指定它支持的port类型。

serio->id.type		= SERIO_8042; //表明驱动需要8042的支持。

serio_register_driver()     // 注册自己， 根据设备id绑定相应的 port(本例中是8042)。 

作为serio的port， i8042 通过 serio_register_port 来注册，生成serio对象，这样驱动程序就可以通过 serio->wirte/read 来调用i8042进行底层的通讯。 数据流程框图如下：

driver 通过 bus 匹配 port，通过port与外设通讯。

我们可以在sys接口 [/sys/bus/serio/] 目录下找到设备和驱动的相关信息，里面的内容可以通过 DEVICE_ATTR_XX  系列宏定义来添加。 port 的命令规则是serio0, serio1, serioN 是自动增加的。

dev_set_name(&serio->dev, "serio%ld", (long)atomic_inc_return(&serio_no) - 1);

atkbd注册serio驱动后，还需要注册input设备，它需要实现input子系统的接口，作为一个input设备工作。input.c 定义了callback 和公用接口,子模块实现相应接口。

keybord:  drivers/input/keyboard/atkbd.c

注册设备
atkbd.c: atkbd_connect  → input_register_device()

Input子系统通过event 字符设备来与应用程序进行通讯。

evdev.c: evdev_init → input_register_handler → ....
cdev_init(xx, fops) // 处理  /dev/input/eventX的读写操作。

atkdb通过注册Serio Bus 驱动和Input device来打通从应用程序到外设通讯链路：

application --> /dev/input/eventX --> Input 子系统 --> atkdb驱动 --> serio bus --> i8042 port --> 物理键盘。

我们可以看到字符设备主要是用来提供应用层接口，Bus框架则用来管理外设驱动。

Input提供了proc文件接口，可以查看相应的信息。

cat /proc/bus/input/devices ： 可以得到某个设备的event number.
cat /proc/bus/input/handlers

通过cat eventX可以得到按键产生input_event，查看 event里面的原始数据

sudo cat /dev/input/eventXX | hexdump
      XX: event number.

USB

以usb serial的代码为例来说明一下usb总线驱动的基本工作流程。

注册

        struct usb_driver *udriver = kzalloc(sizeof(*udriver), GFP_KERNEL);
	udriver->name = "usb_ftdi";
	udriver->probe = usb_ftdi_probe;
	rc = usb_register(udriver);
	udriver->id_table = id_table;
	rc = driver_attach(&udriver->drvwrap.driver);

先创建一个udriver －－

• probe 函数用来做硬件初始化
• id_table用来标识驱动支持的芯片类型，用于匹配外设。
• usb_register 注册到usb总线
• driver_attach 插入驱动。

插入驱动后，将会与usb的底层设备(hub)进行绑定。hub在初始化的时侯，会开启一个任务来检测端口的变化，并使用缺省的"endpoint"来枚举外设，得到它的“接口描述符”，与驱动绑定后，会把该外设的信息通过 probe函数回传给驱动，通过id比对后，找到对应的外设驱动，在usb_ftdi_probe 函数进行具体的驱动初始化。

通讯

USB设备框架是 device --> interface --> endpoint。如某个设备拥有音频和存储两个功能，那么它有"音频接口“和“存储接口”，每个接口又包含几个通讯“端点”，用来同主机通讯。其中“endpoint 0” 是缺省的通讯端点，主机通过它来读取设备的各种信息－－在usb的规范里称为“描述符”，如：设备描述符，接口描述符，端点描述符，每个设备都要提供一套usb的“标志描述符”供主机来枚举它。

usb_ftdi_probe首先分析“接口描述符”，得到它的端口信息－－

for (i = 0; i < iface_desc->desc.bNumEndpoints; ++i) {
	epd = &iface_desc->endpoint[i].desc;
	if (usb_endpoint_is_bulk_in(epd)) {
			...
	} else if (usb_endpoint_is_bulk_out(epd)) {
			...
	} else if (usb_endpoint_is_int_in(epd)) {
			...
	} else if (usb_endpoint_is_int_out(epd)) {
			...
	}
}

usb共有4类“端点”－－

1. bulk : 用于大量的数据传输，如：U盘。
2. Control : 控制信息传输。
3. Interrupt : 低频低延时数据传输。
4. Isochronal： 周期性数据传输。

驱动需要在probe函数分析“端点描述符”来创建相应的端点，每个“端点”都有IN/OUT两个方向－－

• IN ： Host 读取 设备数据。
• OUT : Host 写数据到设备。

控制管道

endpoint 0是usb协议的标准控制端点，主机通过这个端点来枚举设备，读取它的信息。usb_control_msg 这个函数通过"控制管道"来读写外设的'寄存器'，核心参数是 "Request"， "Request Type"，"wWalue"和"wIndex"。具体参数值需要向设备制造查询，如果是通用设备可以直接查询相应的规范。

以FTDI_SIO_GET_MODEM_STATUS 为例:

/*
 *   BmRequestType:   1100 0000b
 *   bRequest:       5
 *   wValue:          zero
 *   wIndex:          Port
 *   wLength:         1
 *   Data:            Status
 */
    usb_control_msg(dev,  usb_rcvctrlpipe(dev, 0),
                    5, 0xC0, 0, priv->port,
                    buf, 1, WDR_TIMEOUT);

根据设备的定义，我们得到的参数如下：

• request －－ 6
• requesttype －－ 0xC0
• wValue －－ 0
• wIndex －－ Port (在设备的描述符里找回)

usb_rcvctrlpipe(dev, 0)，创建一个读的“管道”，使用的是默认的控制端点0。

下面是一个设置"波特率"的例子:

#define FTDI_SIO_SET_BAUDRATE_REQUEST_TYPE 0x40
#define FTDI_SIO_SET_BAUDRATE_REQUEST 3
/*
 * BmRequestType:  0100 0000B
 * bRequest:       FTDI_SIO_SET_BAUDRATE
 * wValue:         BaudDivisor value - see below
 * wIndex:         Port
 * wLength:        0
 * Data:           None
*/

具体调用如下：

	usb_control_msg(port->serial->dev,
			    usb_sndctrlpipe(port->serial->dev, 0),
			    FTDI_SIO_SET_BAUDRATE_REQUEST,
			    FTDI_SIO_SET_BAUDRATE_REQUEST_TYPE,
			    1, port,
			    NULL, 0, WDR_SHORT_TIMEOUT);

usb_sndctrlpipe(dev, 0)，创建默认(端点0)的写控制“管道”，由于只是改命令无 附加数据，buf参数是'NULL'，长度是'0'，其它的核心参数，根据协议规范写入即可。

Bulk 管道

bulk 用于大量的数据传输，数据封装在urb里，urb 全称为"USB Request Block" ，类似于网络的IP包，它由Host调度，通过层次的hub传递到设备。USB2是主机对从机的单向通讯，读写数据都由主机来发动。

Host写数据到设备

usb_fill_bulk_urb(port->write_urbs[i], udev,
			usb_sndbulkpipe(udev, epd->bEndpointAddress),
			port->bulk_out_buffers[i], buffer_size,
			write_bulk_callback, port);

usb_submit_urb(urb, mem_flags);  // 启动

void  write_bulk_callback(struct urb *urb) {
	
	count = port->serial->type->prepare_write_buffer(
		port, urb->transfer_buffer, port->bulk_out_size);
	urb->transfer_buffer_length = count;

	result = usb_submit_urb(urb, mem_flags);
}

如上图的示例代码，它是一个连续传输数据的流程，

首先，usb_fill_bulk_urb －－

• usb_sndbulkpipe 定义一个主机输出的管道。
• port->bulk_out_buffers[i]和buffer_size 提供数据缓冲和大小。
• write_bulk_callback， urb传输完成后的callback。

其次， usb_submit_urb －－ 启动"写数据"，提交urb到主机去调度。

最后，定义 write_bulk_callback 函数 －－

• 更新数据缓冲区。
• 再次usb_submit_urb ，轮循调用这个callback，直到数据传输完毕，如果数据可以一次性传输完成的，就不需要定义这个 callback了。

Host 从设备读取数据

usb_fill_bulk_urb(port->read_urbs[i], udev,
			usb_rcvbulkpipe(udev, epd->bEndpointAddress),
			port->bulk_in_buffers[i], buffer_size,
			type->read_bulk_callback, port);

usb_submit_urb(port->read_urbs[index], mem_flags); // 启动


static void read_bulk_callback(struct urb *urb) {
	for (i = 0; i < urb->actual_length; i++) 
		printk(KERN_CONT " 0x%x", urb->transfer_buffer[i]);
 	usb_submit_urb(port->read_urbs[urbinx], GFP_ATOMIC);
}

上面的代码则是一个连续读取数据的流程，

首先，usb_fill_bulk_urb －－

• usb_rcvbulkpipe 定义一个主机输出的管道。
• port->bulk_in_buffers[i]和buffer_size 提供数据缓冲和大小。
• read_bulk_callback， urb传输完成后的callback。

其次， usb_submit_urb －－ 启动"读数据"，提交urb到主机去调度。

最后，定义 read_bulk_callback 函数 －－

• 提取缓冲区的数据。
• 再次usb_submit_urb ，轮循调用这个callback，直到数据传输完毕，如果不需要再读取数据，就不要再提交 urb。

从上面例子可以看出，bulk的读写流程都是先创建urb，然后使用 usb_submit_urb来启动读写，在callback里面处理数据，如果需要继续读写，则在callback函数里，再次调用 usb_submit_urb。

Interrupt 管道

通讯流程同bulk，只是 usb_fill_int_urb 多了一个 'interval' 参数，用来设置它的调度时间，可以进行一些时序控制。

Isochronal 管道

用来传输一定速率的数据，如：音视频流。速率通过 'interval' 参数来设置，驱动通过循环检测 URB的状态，来持续写入/读取数据。

块设备

块设备指的是存储设备，块设备驱动就是存储驱动如：HD，SSD。它不同于外设驱动，Linux 用 Block 子系统对它们进行管理，把应用层的IO读写请求，转变为Request ，传给相应的块设备驱动。

那么文件系统与Block子系统是什么关系呢？

Block子系统主要是提供最底层的数据读写，也就是raw io，文件系统使用它进行ＩＯ操作，文件系统只专注于文件系统格式，以读取分区为例: 文件系统在初始化阶段，会call blkdev_get， 如果块设备还没有初始化，blkdev_get 则 调用块设备的 rescan_partitions， 去扫描分区，初始化设备。

注册

#define FR_MAJOR  310
#define DEVICE_NAME "fooram"
注册块设备(主设备号)
register_blkdev(FR_MAJOR, DEVICE_NAME);
unregister_blkdev(FR_MAJOR,DEVICE_NAME);

注册设备(MAJOR, MINOR)
blk_register_region(MKDEV(FR_MAJOR, 0),1, ....);
blk_unregister_region(MKDEV(FR_MAJOR, 0),1, ...);

添加磁盘

dev->gd = alloc_disk(1);
dev->queue =blk_mq_init_queue(&dev→tag_set);  //初始化请求队列
dev->gd->major = FR_MAJOR;
dev->gd->first_minor = 0;
dev->gd->fops = &fr_fops;
dev->gd->queue = dev->queue;
dev->gd->private_data = dev;
sprintf (dev->gd->disk_name, "frd0");
set_capacity(dev->gd, size);
add_disk(dev->gd);

初始化请求队列

struct blk_mq_tag_set  tag_set;

dev->tag_set.ops = &fr_mq_ops;
dev->tag_set.nr_hw_queues = 1;
dev->tag_set.queue_depth = 16;
dev->tag_set.numa_node = NUMA_NO_NODE;
dev->tag_set.flags = BLK_MQ_F_SHOULD_MERGE;
dev->tag_set.driver_data = dev;
err = blk_mq_alloc_tag_set(&dev->tag_set);
dev->queue = blk_mq_init_queue(&dev→tag_set);

static struct blk_mq_ops fr_mq_ops = {
    .queue_rq       =  fr_queue_rq,
    .map_queue   =  blk_mq_map_queue,
};

初始化请求队列是添加磁盘的核心操作，块设备驱动的核心就是围绕着“请求队列”来展开，它的核心任务就是优化这个队列读写请求。当add_disk把磁盘加入系统后，请求队列就随时可以调度了。

处理设备请求

BIO 数据结构

Request Queue

请求队列的每个"请求"（struct request）都包含着一个bio队列，bio结构里面就是设备的寻址(扇区，长度)和对应的内存空间。 “读”请求就是把设备对应的扇区写到相应的内存空间，“写”请求则刚好相反，把内存的数据写入相应的扇区。最简单的驱动就是用一个循环，依次处理各个请求，进行底层的IO读写，如：

Loop处理请求 (fr_queue_rq)

rq_for_each_segment (bvec, rq, iter) {
       char *buffer = kmap_atomic(bvec.bv_page) + bvec.bv_offset;
        unsigned nsecs = bvec.bv_len >> 9;
        fr_transfer(dev, sector, nsecs, buffer, write);
        sector += nsecs;
        kunmap_atomic(buffer);
 }

设备读写数据(fr_transfer)

这个函数就是具体存储设备的底层读写操作，PCI设备可以用PCI_WRITE来写数据，USB设备也可以使用 BULK管道来传输数据。下面的示例代码没有物理设备是一个ram disk，简单地用memcpy 来传输数据。

    loff_t  pos = sector << SECTOR_SHIFT;  //起始扇区
    loff_t  len = nsecs << SECTOR_SHIFT;   // Size

    //底层IO 如，PCI_WRITE(IOBase, register add,);
    if (write)
        memcpy(dev->data + pos, buffer, len);
    else
        memcpy(buffer, dev->data + pos, len);

 

参考资料

 

1: Linux 3.13源码。

 

2: Linux Device Drivers。

---
欢迎大家来我的网站交流: 般若程序蝉