Linux对NUMA技术的支持

本博文为原创,遵循CC3.0协议,转载请注明出处:http://blog.csdn.net/lux_veritas/article/details/8962475

--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------


并行计算的背景:

自计算机诞生之日起,对其提供更强计算能力的追求始终没有间断。早期的计算机通过不断地提高时钟频率来加快处理速度。现在,时钟的问题越来越遇到限制,根据爱因斯坦相对论,电子的速度不会超过光速,频率的不断提高,意味着电子信号从一段到达另一端的距离就要越短,计算机就要不断变小。但是,伴随时钟的加快,处理器的热量也急剧增大,散热部件必不可少,迫使计算机的体积不可能无限制的减小,通过加快时钟来增强计算能力的方法遇到了瓶颈。

既然不能将计算机无限变小,那么就尝试另一种思路,通过扩展计算单元的数量,达到增强计算能力的目的。于是就有了多处理机系统,包括并行计算机,以及分布式计算机系统。NUMANon Uniform Memory Access)作为多处理机系统一种典型架构,具有区别于其他多处理机系统的特性。

1.具有对所有CPU可见的统一的地址空间

2.通过LOADSTORE指令访问远端存储器

3.访问远端存储器的速度低于访问本地存储器


NUMA系统简介:

NUMANon Uniform Memory Access),即非一致内存访问,是针对UMAUniform Memory Access)提出的。典型的UMA架构,如SMPSymmetric MultiProcessing)机器,多个CPU以及一个或多个主存储器模块通过一条系统总线通信。随着系统规模的扩大,CPU数量不断增加,对系统总线的争抢现象越发严重,系统总线带宽成为了多CPU访存的瓶颈。

NUMA架构下,多CPU对主存的访问并非对等的,每个CPU都有自己的主存, CPU与自己的主存物理上距离更近,访问速度更快,而访问远端存储器的速度相对要慢。NUMANode来管理CPU与主存。一个NUMA系统由多个NUMA Node组成,其中每个Node可以拥有多个CPU,但是只有一个内存控制器,保证本Node的所有CPU对本Node的主存实现对等访问,而其它NodeCPU对本Node的主存访问延迟要大一些。


NUMA系统的启动流程:

系统加电,对于单CPU机器,CPU直接执行BIOS程序,但是对于多处理机系统,由哪个CPU执行该程序是个问题。针对这个问题,Intel提出了Multiple Processor Initialization Protocol,该协议规定了两种类型的CPU,作为主启动CPUBSPBootstrap Processor),作为应用服务CPUAPApplication Processor),系统加电后通过主板上的硬件选择机制,选择一个CPU作为BSP,而将其它CPU作为AP。(具体的协议与选择算法细节,参考《IA-32 Architectures Software Developer's Manual 3A》,Chapter 7Multiple Processor Management[1]BSP上执行BIOS程序,读取/设置CMOS相关信息,并完成自检程序,为其它AP建立管理列表,此时所有AP均处于空转状态。

Linux通过读取系统的firmware中的ACPI表,获得NUMA系统的CPU及物理内存分布信息,最重要的是SRATSystem Resource Affinity Table)和SLITSystem Locality Information Table)。SRAT中包含两个结构,Processor Local APIC/SAPIC Affinity Structure用于记录CPU信息,Memory Affinity Structure用于记录主存信息[3]Linux kernel中通过include/acpi/actbl1.hacpi_table_slitacpi_table_srat记录SLITSRAT结构信息,通过acpi_numa_init()函数读取系统firmware中的数据,赋值给以上两个结构,用于NUMA系统初始化。代码(以Linux2.6.36 kernel为例)如下: 

start_kernel()(init/main.c) -> setup_arch()(arch/x86/kernel/setup.c) -> acpi_numa_init()(drivers/acpi/numa.c)

int __init acpi_numa_init(void)
{
	int ret = 0;

	/* SRAT: Static Resource Affinity Table */
	if (!acpi_table_parse(ACPI_SIG_SRAT, acpi_parse_srat)) {
		acpi_table_parse_srat(ACPI_SRAT_TYPE_X2APIC_CPU_AFFINITY,
				     acpi_parse_x2apic_affinity, nr_cpu_ids);
		acpi_table_parse_srat(ACPI_SRAT_TYPE_CPU_AFFINITY,
				     acpi_parse_processor_affinity, nr_cpu_ids);
		ret = acpi_table_parse_srat(ACPI_SRAT_TYPE_MEMORY_AFFINITY,
					    acpi_parse_memory_affinity,
					    NR_NODE_MEMBLKS);
	}

	/* SLIT: System Locality Information Table */
	acpi_table_parse(ACPI_SIG_SLIT, acpi_parse_slit);

	acpi_numa_arch_fixup();
	return ret;
}

相关结构在文件include/acpi/actbl1.h中:
/*******************************************************************************
 *
 * SLIT - System Locality Distance Information Table
 *        Version 1
 *
 ******************************************************************************/

struct acpi_table_slit {
	struct acpi_table_header header;	/* Common ACPI table header */
	u64 locality_count;
	u8 entry[1];		/* Real size = localities^2 */
};

/*******************************************************************************
 *
 * SRAT - System Resource Affinity Table
 *        Version 3
 *
 ******************************************************************************/

struct acpi_table_srat {
	struct acpi_table_header header;	/* Common ACPI table header */
	u32 table_revision;	/* Must be value '1' */
	u64 reserved;		/* Reserved, must be zero */
};

/* Values for subtable type in struct acpi_subtable_header */

enum acpi_srat_type {
	ACPI_SRAT_TYPE_CPU_AFFINITY = 0,
	ACPI_SRAT_TYPE_MEMORY_AFFINITY = 1,
	ACPI_SRAT_TYPE_X2APIC_CPU_AFFINITY = 2,
	ACPI_SRAT_TYPE_RESERVED = 3	/* 3 and greater are reserved */
};

/*
 * SRAT Sub-tables, correspond to Type in struct acpi_subtable_header
 */

/* 0: Processor Local APIC/SAPIC Affinity */

struct acpi_srat_cpu_affinity {
	struct acpi_subtable_header header;
	u8 proximity_domain_lo;
	u8 apic_id;
	u32 flags;
	u8 local_sapic_eid;
	u8 proximity_domain_hi[3];
	u32 reserved;		/* Reserved, must be zero */
};

/* Flags */

#define ACPI_SRAT_CPU_USE_AFFINITY  (1)	/* 00: Use affinity structure */

/* 1: Memory Affinity */

struct acpi_srat_mem_affinity {
	struct acpi_subtable_header header;
	u32 proximity_domain;
	u16 reserved;		/* Reserved, must be zero */
	u64 base_address;
	u64 length;
       u32 reserved1;
	u32 flags;
       u64 reserved2;	       /* Reserved, must be zero */
};



Reference

[1]IA-32 Architectures Software Developer's Manual 3A

[2] https://www.kernel.org/doc/ols/2003/ols2003-pages-169-184.pdf

[3] http://www.acpi.info/DOWNLOADS/ACPIspec40a.pdf

[4] http://lwn.net/Articles/7177/

[5] http://wenku.baidu.com/view/40f93e05eff9aef8941e06d4.html

[6] http://www.techarp.com/showfreebog.aspx?lang=0&bogno=351



你可能感兴趣的:(内核学习)