(N)UMA 模型中的内存组织------《深入Linux内核架构》笔记

UMA(一致内存访问，uniformmemory access)： 计算将内存以连续的方式组织起来。SMP中每个cpu访问各内存区具有一样的速度

NUMA(非一致内存访问，non-uniformmemory access):SMP中的各个cpu都有本地的内存，可支持快速访问。各个cpu之间通过总线连接，对其它cpu的内存的访问将会慢于对自己内存的访问。结构如下图：

在内核中内存划分为节点，每个节点关联到一个cpu，在内核中用pg_data_t表示。

各个节点进一步划分为域，在内核中用structzone来表示。对于x86来说，总共有ZONE_DMA,ZONE_NORMAL,ZONE_HIGMENT三个域实例。ZONE_DMA负责对负责分配用于DMA操作的内存，ZONE_NORMAL负责分配可以直接映射到内核段的内存，ZONE_HIGMENT负责分配超出内核段的物理内存(应该是指另外的3GB内存)。

注意：内存域这个概念是对于物理内存而言的，而不是虚拟内存

每个域中会包含一个structfree_area成员，该成员用于实现伙伴系统，管理该区域中的空闲内存页。

页在内核中对应的结构体为structpage，该结构体采用union语法来减少结构体的大小。Page中的mapping指定了页帧所在的地址空间，virtual用于存储该页的虚拟地址，在x86体系中virtual成员是没有的。  

上图展示了节点，域，页之间的关系。这里再对每个概念所涉及功能进一步阐述（这里只是简单介绍部分功能，详细信息请参考《深入linux内核架构》3.2节）：

//节点（简化版）
typedef struct pglist_data {
	struct zone node_zones[MAX_NR_ZONES];//指明该节点下包含有多少个域
	//指向page实例数组的指针，用于描述节点的所有物理内存页,它包含了节点中所有内存域的页
	struct page *node_mem_map;
	//备用节点的内存域的链表，用于在NUMA中，该节点无法提供内存，需要到其它的节点分配
	struct zonelist node_zonelists[MAX_ZONELISTS];
	struct bootmem_data *bdata;//用于为分配在系统初始化之前所需要的内存？
}pg_data_t;


//域（简化版,并没有考虑NUMA）
struct zone {
	unsigned long watermark[NR_WMARK];//系统在分配页之后，需要保证剩余下了的页的数量大于水印
	//当空闲页数低于该值时，读取空闲页将会导致附加的操作被执行，而这一附加的操作是为了躲避能让水印被违反的per-cpucounter drift。
	unsigned long percpu_drift_mark;
	//分别为各个内存域指定若干的保留页，用于系统的紧急内存分配
	unsigned long lowmem_reserve[MAX_NR_ZONES];
	struct per_cpu_pageset pageset[NR_CPUS];//用于存放冷热页，在高速缓存中的页称为热页。
	struct free_area free_area[MAX_ORDER];//用于实现伙伴系统
	spinlock_t lock;//自旋锁
	ZONE_PADDING(_pad1_)//用于实现将每个自旋锁放置于不同的缓存行，x86中每个缓存行为32Bytes
	//以下两个成员用于页面回收程序使用
	spinlock_t lru_lock;
	struct zone_lru {
		struct list_head list;
	}lru[NR_LRU_LISTS];//分别保存活动页和非活动页。页访问频繁及认为为活动页
	struct zone_reclaim_stat reclaim_stat;
	unsigned long pages_scanned; /* since last reclaim */
	unsigned long flags;// 用于描述内存域所处的状态，比如被LOCKED，所有的不能回收
	atomic_long_t vm_stat[NR_VM_ZONE_STAT_ITEMS];//用于保存对该域的统计数据，如活动页的数目
	ZONE_PADDING(_pad2_)
	//以下三个字段，实现进程等待某一页
	wait_queue_head_t *wait_table;
	unsigned long wait_table_hash_nr_entries;
	unsigned long wait_table_bits;
	struct pglist_data *zone_pgdat;//关联到自己所属的节点
	unsigned long zone_start_pfn;// 内存域的第一个页帧
	unsigned long spanned_pages; //总共的长度，包含空洞
	unsigned long present_pages; //内存数量（不包含空洞）
	const char *name;//域的名字，内核将很少使用的字段放到结构体的末尾
}____cacheline_internodealigned_in_smp;


//页（简化版），slab,freelist,inuse用于实现slub
struct page {
unsigned long flags	;//记录该页的状态信息，如该页是否被LOCKED，是否脏等等
	atomic_t_count;//使用计数，表示内核中引用该页的次数
	union {
		atomic_t_mapcount;// _mapcount为32位,表示在页表中多少项指向该页
		struct {
			u16inuse;//用于slub分配器，对象的数目，该成员不需要原子特性
			u16objects;
		};
	};
	union {
		struct {
			//一个指向私有数据的指针，根据页的用途，可以用不同的方式使用该指针
			unsigned longprivate;
			//指定页帧所在的地址空间，index是页帧在内部的偏移量。当mapping最低位置1时该指针并不指向address_space实例，而是指向anon_vma
			struct address_space *mapping;
		};
		struct kmem_cache *slab;//用于SLUB分配器，指向slab的指针
		struct page *first_page;//指向compoundpage中的首页
	};
	union {
		pgoff_tindex;/* Our offset within mapping. */
		void *freelist;/* SLUB: freelist req. slablock */
	};
	struct list_head lru;//用于将页按不同的类别分组，如活动和不活动
#ifdefined(WANT_PAGE_VIRTUAL)
	void*virtual;
//在x86体系中，没有该成员
#endif/*WANT_PAGE_VIRTUAL */