Linux: 设备节点创建移除过程简析
文章目录
- 1. 前言
- 2. 分析背景
- 3. 设备节点的创建和移除
-
- 3.1 通过 devtmpfs 创建移除设备节点
-
- 3.1.1 devtmpfs 初始化
- 3.1.2 通过 devtmpfs 创建设备节点
-
- 3.1.2.1 发出设备创建请求
- 3.1.2.2 处理设备创建请求
- 3.1.2.3 通知用户态设备事件监听程序：设备对象添加
- 3.1.3 通过 devtmpfs 删除设备节点
-
- 3.1.3.1 发出设备移除请求
- 3.1.3.2 处理设备移除请求
- 3.1.3.3 通知用户态设备事件监听程序：设备对象移除
- 3.2 通过系统调用 sys_mknod()/sys_unlink() 创建移除设备节点
-
- 3.2.1 通过系统调用 sys_mknod() 创建设备节点
- 3.2.2 通过系统调用 sys_mknod() 移除设备节点
- 4. 参考资料
1. 前言
限于作者能力水平，本文可能存在谬误，因此而给读者带来的损失，作者不做任何承诺。
2. 分析背景
本文基于 Linux 4.14 内核源码进行分析。
3. 设备节点的创建和移除
用户空间的应用程序，经常会通过 /dev/XXX 设备节点，和内核空间进行交互，如读取键盘输入、利用串口设备通信等等。那么，这些 /dev/XXX 设备节点是如何创建和删除的呢？接下来就来探讨这些细节。在不同的历史时期，Linux 设备节点的创建删除方式各不相同，本文不会一一展开。最大的变化，大概是从 devfs 变化为现今一直在使用的 devtmpfs ，本文针对 devtmpfs 进行讨论。在不同的场景下，设备节点的创建移除会有些差异，下面我们一一列举这些不同的情形。
3.1 通过 devtmpfs 创建移除设备节点
3.1.1 devtmpfs 初始化
devtmpfs 创建一个名为 "kdevtmpfs" 内核线程，然后 driver core 在添加(device_add())、移除(device_del())设备过程中 ，通过 devtmpfs 接口 devtmpfs_create_node()/devtmpfs_delete_node() ，将 设备创建、移除请求信息(struct req) 添加到内核线程 "kdevtmpfs" 的请求队列 requests ，接着唤醒内核线程 "kdevtmpfs" 处理请求，然后陷入睡眠等待直到请求处理完成；内核线程 "kdevtmpfs" 被唤醒后，逐个取出请求信息，按请求类型 创建 (vfs_mknod())、移除(vfs_unlink()) 设备节点，之后唤醒等待请求完成的线程。最后，driver core 会给用户空间设备事件监听程序(如 udevd)发送消息，让监听程序对设备事件做相应处理。
start_kernel()
rest_init()
pid = kernel_thread(kernel_init, NULL, CLONE_FS);
kernel_init()
kernel_init_freeable()
do_basic_setup()
driver_init()
devtmpfs_init() /* 初始化 devtmpfs */
...
usermodehelper_enable()
do_initcalls() /* init 初始化接口: 包括驱动注册加载 */
prepare_namespace() /* 挂载 rootfs */
/* drivers/bash/devtmpfs.c */
static struct task_struct *thread;
int __init devtmpfs_init(void)
{
int err = register_filesystem(&dev_fs_type); /* 注册 devtmpfs 文件系统类型 */
...
/* 创建 【设备节点创建请求处理线程】 */
thread = kthread_run(devtmpfsd, &err, "kdevtmpfs");
if (!IS_ERR(thread)) {
/*
* 等待 "kdevtmpfs" 【设备节点创建请求处理线程】 就绪：
* "kdevtmpfs" 线程函数 devtmpfsd() 会在挂载初始化好 devtmpfs 后，
* 会调用
* complete(&setup_done);
* 宣告已经准备好接收 【设备节点创建请求处理】 了。
*/
wait_for_completion(&setup_done);
} else {
...
}
}
static int devtmpfsd(void *p)
{
char options[] = "mode=0755";
int *err = p;
*err = sys_unshare(CLONE_NEWNS);
if (*err)
goto out;
/* 挂载 devtmpfs 文件系统 */
*err = sys_mount("devtmpfs", "/", "devtmpfs", MS_SILENT, options);
if (*err)
goto out;
sys_chdir("/.."); /* will traverse into overmounted root */
sys_chroot(".");
/*
* 唤醒在 devtmpfs_init() 中等待的线程:
* devtmpfs_init() -> wait_for_completion(&setup_done)
*/
complete(&setup_done);
while (1) { /* 处理设备节点创建请求 */
// 后面细述
...
}
out:
complete(&setup_done);
return *err;
}
通过 ps 命令可以查看到 kdevtmpfs 线程：
root@qemu-ubuntu:~# ps -ef | grep kdevtmpfs | grep -v grep
root 32 2 0 07:58 ? 00:00:00 [kdevtmpfs]
3.1.2 通过 devtmpfs 创建设备节点
3.1.2.1 发出设备创建请求
/* drivers/base/core.c */
int device_add(struct device *dev)
{
...
if (MAJOR(dev->devt)) {
error = device_create_file(dev, &dev_attr_dev);
...
error = device_create_sys_dev_entry(dev);
...
/* 向 devtmpfs 的 "kdevtmpfs" 内核线程发出 设备节点创建 请求 */
devtmpfs_create_node(dev);
}
...
}
添加创建请求：
/* drivers/base/devtmpfs.c */
int devtmpfs_create_node(struct device *dev)
{
if (!thread) /* "kdevtmpfs" 内核线程尚未就绪 */
return 0;
...
req.name = device_get_devnode(dev, &req.mode, &req.uid, &req.gid, &tmp);
...
if (req.mode == 0)
req.mode = 0600; /* req.mode != 0 表示设备创建请求，否则是删除请求 */
if (is_blockdev(dev))
req.mode |= S_IFBLK;
else
req.mode |= S_IFCHR;
req.dev = dev;
init_completion(&req.done);
wake_up_process(thread); /* 唤醒 "kdevtmpfs" 线程，处理请求 */
wait_for_completion(&req.done); /* 等待请求处理完成 */
kfree(tmp);
return req.err;
}
3.1.2.2 处理设备创建请求
/* drivers/bash/devtmpfs.c */
static int devtmpfsd(void *p)
{
...
while (1) { /* 处理设备节点创建请求 */
spin_lock(&req_lock);
while (requests) {
struct req *req = requests;
requests = NULL;
spin_unlock(&req_lock);
while (req) { /* 逐个处理请求 */
struct req *next = req->next;
req->err = handle(req->name, req->mode,
req->uid, req->gid, req->dev);
/*
* 通知请求处理完成：
* devtmpfs_create_node() / devtmpfs_delete_node()
* wait_for_completion(&req.done)
*/
complete(&req->done);
req = next;
}
spin_lock(&req_lock);
}
/* 没有请求期间，陷入睡眠 */
__set_current_state(TASK_INTERRUPTIBLE);
spin_unlock(&req_lock);
schedule();
}
return 0;
out:
...
}
static int handle(const char *name, umode_t mode, kuid_t uid, kgid_t gid,
struct device *dev)
{
if (mode) /* 处理节点创建请求 */
return handle_create(name, mode, uid, gid, dev);
else /* 处理节点删除请求 */
return handle_remove(name, dev); // 后面展开
}
/* 处理设备节点创建请求 */
static int handle_create(const char *nodename, umode_t mode, kuid_t uid,
kgid_t gid, struct device *dev)
{
struct dentry *dentry;
struct path path;
int err;
dentry = kern_path_create(AT_FDCWD, nodename, &path, 0);
...
/* 调用具体文件系统的 mknode 接口，如 ext4 的 ext4_mknod() */
err = vfs_mknod(d_inode(path.dentry), dentry, mode, dev->devt);
...
return err;
}
3.1.2.3 通知用户态设备事件监听程序：设备对象添加
/* drivers/base/core.c */
int device_add(struct device *dev)
{
...
if (MAJOR(dev->devt)) {
error = device_create_file(dev, &dev_attr_dev);
...
error = device_create_sys_dev_entry(dev);
...
/* 向 devtmpfs 的 "kdevtmpfs" 内核线程发出 设备节点创建 请求 */
devtmpfs_create_node(dev);
}
...
/* 通知用户态设备事件监听程序: 添加了设备对象 */
kobject_uevent(&dev->kobj, KOBJ_ADD);
...
}
典型的用户态设备事件监听程序 udev ，在监听到添加设备事件后，按照配置的规则，做 修改设备节点权限、添加设备节点符号链接 等动作。
到此，系统启动期间，所有的设备节点创建工作已经完成，但是由于我们挂载 devtmpfs 、以及其下设备节点的创建工作，是在 rootfs 挂载前完成的，这样用户空间是无法在根目录 / 下看到这些设备节点的，所以在 rootfs 挂载完成后，系统重新挂载 devtmpfs 到了 rootfs 的 /dev 目录，来看细节：
start_kernel()
rest_init()
pid = kernel_thread(kernel_init, NULL, CLONE_FS);
kernel_init()
kernel_init_freeable()
do_basic_setup()
driver_init()
devtmpfs_init() /* 初始化 devtmpfs */
...
usermodehelper_enable()
do_initcalls() /* init 初始化接口: 包括驱动注册加载 */
prepare_namespace() /* 挂载 rootfs */
/* init/do_mounts.c */
void __init prepare_namespace(void)
{
...
mount_root(); /* 挂载根文件系统(rootfs) */
out:
devtmpfs_mount("dev"); /* 将 devtmpfs 重新挂载到根文件系统的 /dev 目录 */
sys_mount(".", "/", NULL, MS_MOVE, NULL);
sys_chroot(".");
}
3.1.3 通过 devtmpfs 删除设备节点
3.1.3.1 发出设备移除请求
/* drivers/base/core.c */
void device_del(struct device *dev)
{
...
if (MAJOR(dev->devt)) {
devtmpfs_delete_node(dev); /* 向 devtmpfs 的 "kdevtmpfs" 内核线程发出 设备节点创建 请求 */
device_remove_sys_dev_entry(dev);
device_remove_file(dev, &dev_attr_dev);
}
...
}
3.1.3.2 处理设备移除请求
/* drivers/bash/devtmpfs.c */
static int handle_remove(const char *nodename, struct device *dev)
{
struct path parent;
struct dentry *dentry;
int deleted = 0;
int err;
dentry = kern_path_locked(nodename, &parent);
...
if (d_really_is_positive(dentry)) {
...
if (!err && dev_mynode(dev, d_inode(dentry), &stat)) {
...
/* 调用具体文件系统的 unlink 接口，如 ext4 的 ext4_unlink() */
err = vfs_unlink(d_inode(parent.dentry), dentry, NULL);
...
}
}
if (deleted && strchr(nodename, '/'))
delete_path(nodename);
return err;
}
3.1.3.3 通知用户态设备事件监听程序：设备对象移除
/* drivers/base/core.c */
void device_del(struct device *dev)
{
...
if (MAJOR(dev->devt)) {
devtmpfs_delete_node(dev); /* 向 devtmpfs 的 "kdevtmpfs" 内核线程发出 设备节点移除 请求 */
device_remove_sys_dev_entry(dev);
device_remove_file(dev, &dev_attr_dev);
}
...
/* 通知用户态设备事件监听程序: 设备对象移除了 */
kobject_uevent(&dev->kobj, KOBJ_REMOVE);
...
}
典型的用户态设备事件监听程序 udev ，在监听到添加移除事件后，按照配置的规则，做 移除设备节点符号链接 等动作。
3.2 通过系统调用 sys_mknod()/sys_unlink() 创建移除设备节点
并非所有的设备节点都经由、或必须经由 driver core 创建移除，也可以通过系统调用 sys_mknod()/sys_unlink() 来完成。
3.2.1 通过系统调用 sys_mknod() 创建设备节点
/* fs/namei.c */
sys_mknod()
sys_mknodat(AT_FDCWD, filename, mode, dev)
/* 为 @filename 创建 dentry */
dentry = user_path_create(dfd, filename, &path, lookup_flags);
...
switch (mode & S_IFMT) {
...
case S_IFCHR: case S_IFBLK:
error = vfs_mknod(path.dentry->d_inode,dentry,mode,
new_decode_dev(dev));
...
}
int vfs_mknod(struct inode *dir, struct dentry *dentry, umode_t mode, dev_t dev)
{
...
error = dir->i_op->mknod(dir, dentry, mode, dev); /* 如 ext4_mknod() */
...
}
3.2.2 通过系统调用 sys_mknod() 移除设备节点
sys_unlink()
do_unlinkat(AT_FDCWD, pathname)
error = vfs_unlink(path.dentry->d_inode, dentry, &delegated_inode)
int vfs_unlink(struct inode *dir, struct dentry *dentry, struct inode **delegated_inode)
{
...
error = dir->i_op->unlink(dir, dentry); /* ext4_unlink(), ... */
...
}
4. 参考资料
https://lwn.net/Articles/331818/#:~:text=Sievers%20outlines%20the%20differences%20between%20devtmpfs%20and%20Adam,600%20for%20an%20early%20version%20of%20Richter%27s%20mini-devfs.
https://manpages.ubuntu.com/manpages/xenial/man7/udev.7.html