Linux 内核内存管理 pfn_to_online_page宏

一、Memory Hotplug

1.1 简介

Linux 内存热插拔（Memory Hotplug）是指在运行时动态增加或移除物理内存模块，而不需要重新启动系统。这个功能允许管理员根据系统需要增加或减少内存容量，以满足应用程序的需求或进行硬件维护。

内存热插拔在服务器环境中尤为重要，因为它允许在不中断系统运行的情况下灵活地管理内存资源。

Linux 内核提供了内存热插拔的支持，具体包括以下方面：
（1）内存热插拔事件检测：内核通过硬件或固件接口检测到内存模块的插入或移除事件。这些事件通常通过总线、ACPI（高级配置与电源接口）或其他平台特定的机制进行通知。

（2）内存热插拔事件处理：一旦内核检测到内存插入或移除事件，它会启动相应的处理过程。这包括检测新插入的内存模块的属性和容量，并相应地更新内核的内存管理数据结构。

（3）内存段管理：内核将物理内存划分为多个内存段，每个内存段包含一定数量的物理页框。内存热插拔过程中，内核会根据内存模块的插入或移除来更新内存段的映射关系。

（4）内存热插拔事件通知：内核通过系统事件通知机制（如UEVENT）或文件系统接口（如/sys/devices/system/memory）向用户空间发送内存热插拔事件的通知。

（5）内存管理：内核通过内存热插拔支持可以动态地分配和释放新增的内存容量。这使得系统可以根据需要动态调整内存资源的分配，以提高性能和灵活性。

Linux 内存热插拔支持允许在运行时动态增加或移除物理内存模块，通过更新内核的内存管理数据结构和内存段映射关系，实现对内存资源的动态管理，并提供相应的事件通知机制，以便用户空间和应用程序可以响应内存热插拔事件。

1.2 热插拔事件通知机制

在 Linux 中，内存热插拔事件通知是通过以下机制之一向用户空间发送的：

（1）UEVENT：UEVENT 是 Linux 内核中一种通用的事件传递机制，用于向用户空间发送设备相关事件。内存热插拔事件通常以 UEVENT 的形式发送。当内核检测到内存插入或移除事件时，会生成相应的 UEVENT 消息，并通过 netlink 接口将该消息发送到用户空间。用户空间可以通过监听 netlink socket，并解析收到的 UEVENT 消息来获取内存热插拔事件相关的信息。

#define NETLINK_KOBJECT_UEVENT	15	/* Kernel messages to userspace */

NETLINK_KOBJECT_UEVENT：提供内核广播 uevent 的接口，通常由 udev 使用，是内核通用模型向用户层发送信息所采用的协议（内核热插拔机制的基础）。

（2）sysfs 文件系统接口：Linux 内核提供了 sysfs 文件系统，其中包含了设备、驱动程序和其他内核对象的信息。对于内存热插拔事件，内核会在 sysfs 文件系统中相应的目录下创建或删除相应的文件或目录节点来表示内存的插入或移除。用户空间可以通过监视 sysfs 文件系统中相应的路径并检测文件或目录的创建或删除来获取内存热插拔事件的通知。

内存热插拔事件相关的信息通常位于 /sys/devices/system/memory 目录下。

这些机制提供了不同的接口和方式，供用户空间应用程序或守护进程监听和接收内存热插拔事件的通知。用户空间可以根据具体的需求选择适合的机制来接收和处理内存热插拔事件。

二、pfn_to_online_page

2.1 pfn_to_online_page

通常 pfn与 struct page 之间的转化都是 pfn_to_page 宏，这里介绍下pfn_to_online_page 宏。

# cat /boot/config-4.19.90-23.8.v2101.ky10.x86_64 | grep CONFIG_MEMORY_HOTPLUG
CONFIG_MEMORY_HOTPLUG=y

// linux-4.19.90/include/linux/memory_hotplug.h

#ifdef CONFIG_MEMORY_HOTPLUG
/*
 * Return page for the valid pfn only if the page is online. All pfn
 * walkers which rely on the fully initialized page->flags and others
 * should use this rather than pfn_valid && pfn_to_page
 */
#define pfn_to_online_page(pfn)					   \
({								   \
	struct page *___page = NULL;				   \
	unsigned long ___pfn = pfn;				   \
	unsigned long ___nr = pfn_to_section_nr(___pfn);	   \
								   \
	if (___nr < NR_MEM_SECTIONS && online_section_nr(___nr) && \
	    pfn_valid_within(___pfn))				   \
		___page = pfn_to_page(___pfn);			   \
	___page;						   \
})

pfn_to_online_page用于获取 online 的 struct page 。
宏定义的实现逻辑如下：
（1）使用pfn_to_section_nr宏将___pfn转换为对应的内存段号（section number）。内存段是物理内存的分段单位。
（2）过online_section_nr函数判断内存段号___nr是否在线（online）。online_section_nr函数用于检查指定内存段号是否为在线状态。
（3）如果内存段号___nr小于总内存段数（NR_MEM_SECTIONS）并且该内存段号在线，并且___pfn在有效范围内（通过pfn_valid_within宏判断），则执行下面的代码块。
（4）在代码块中，通过pfn_to_page宏将___pfn转换为对应的struct page指针。

2.2 pfn_to_section_nr

// linux-4.19.90/include/linux/mmzone.h

/* PFN_SECTION_SHIFT		pfn to/from section number */
#define PFN_SECTION_SHIFT	(SECTION_SIZE_BITS - PAGE_SHIFT)

static inline unsigned long pfn_to_section_nr(unsigned long pfn)
{
	return pfn >> PFN_SECTION_SHIFT;
}

函数的实现逻辑非常简单，它使用位移操作符（>>）将物理页框号右移 PFN_SECTION_SHIFT 位，然后返回结果作为内存段号。

PFN_SECTION_SHIFT 是一个宏定义，表示物理页框号和内存段号之间的位移量。这个值是根据系统的物理内存布局和内存段的大小来确定的。

通过这个函数，可以将物理页框号转换为对应的内存段号，从而在内核中进行内存段相关的操作和管理。

备注：内存热插拔（Memory Hotplug）：内存热插拔是指在运行时动态增加或移除物理内存模块。内核使用内存段号来管理和跟踪物理内存的热插拔操作。通过将物理页框号转换为对应的内存段号，内核可以准确地定位和操作要插入或移除的物理内存段。

其对应还有一个函数：

static inline unsigned long section_nr_to_pfn(unsigned long sec)
{
	return sec << PFN_SECTION_SHIFT;
}

2.3 online_section_nr

static inline int online_section(struct mem_section *section)
{
	return (section && (section->section_mem_map & SECTION_IS_ONLINE));
}

static inline int online_section_nr(unsigned long nr)
{
	return online_section(__nr_to_section(nr));
}

（1）
online_section该函数接受一个指向 struct mem_section 结构体的指针 section，表示要检查的内存段。struct mem_section 是内核中用于表示物理内存段的数据结构。SECTION_IS_ONLINE 是一个标志位，表示内存段是否在线的标识。

函数的作用是检查给定的内存段是否有效且在线。通过检查 section 是否为非空指针，并且检查 section->section_mem_map 中的 SECTION_IS_ONLINE 标志位，来确定内存段是否在线。如果内存段有效且在线，则返回非零值，否则返回零。

（2）
online_section_nr函数接受一个无符号长整型参数 nr，表示要检查的内存段号。__nr_to_section(nr) 是一个宏定义，用于将内存段号转换为对应的内存段结构体（struct mem_section）指针。

函数的作用是通过调用 online_section 函数，检查给定内存段号对应的内存段是否在线。它将内存段号转换为对应的内存段结构体指针，并将该指针作为参数传递给 online_section 函数进行检查。

参考资料

Linux 4.19.90